Rethinking Atomic Decomposition for LLM Judges: A Prompt-Controlled Study of Reference-Grounded QA Evaluation

Probleemstelling

In de evaluatie van LLM-outputs wordt vaak gebruikgemaakt van "LLM-as-a-judge" pipelines. Een populaire aanpak is atomische decompositie: het breken van een kandidaat-antwoord in afzonderlijke feitelijke claims die vervolgens één voor één worden geverifieerd tegen een referentie. De aanname is dat deze gedetailleerde, gestructureerde aanpak nauwkeuriger is dan een holistische beoordeling.

Het paper identificeert echter een belangrijke verwarrende factor (confound): atomische prompts zijn doorgaans langer, rijker in instructies en genereren meer tokens dan holistische prompts. Het is onduidelijk of een eventueel prestatievoordeel voortkomt uit de decompositie zelf, of simpelweg uit de rijkere prompting en extra generatie. De auteurs onderzoeken dit specifiek voor de taak van referentie-gebaseerde classificatie (ondersteund, gedeeltelijk ondersteund, of niet-ondersteund), waarbij de nadruk ligt op volledigheid (completeness).

Methodologie

De auteurs voeren een gecontroleerde empirische vergelijking uit tussen twee ontwerpen voor judges, waarbij ze proberen de variabelen zo veel mogelijk gelijk te houden:

1. Ontwerpvarianten:

   • Self-Decomposing Atomic Judge: Het model moet het antwoord zelf ontleden in claims en deze verifiëren in één prompt (standaard "decompose-and-verify" patroon).
   • Prompt-Controlled Holistic Judge: Het model krijgt dezelfde inputs en een even gedetailleerde rubric (beoordelingsrichtlijnen), maar wordt niet gevraagd om het antwoord te ontleden. Het geeft een directe score/verdict.
   • Schema-Matched Judge (Ablatie): Een variant die de JSON-structuur van de atomische judge behoudt, maar de instructie voor decompositie verwijdert, om te zien of het formaat de oorzaak is van verschillen.

2. Experimenteel Opzet:

   • Datasets: TruthfulQA, ASQA en QAMPARI (200 bronvoorbeelden per dataset).
   • Modellen: Vier model-families (Opus-4.6, GPT-4.1, Gemini Flash, en DeepSeek-V3.2 als open-weight anker).
   • Controles:
     • Identieke inputvelden.
     • Drie onafhankelijk geschreven prompt-varianten per ontwerp (totaal 9 kruisvergelijkingen) om prompt-woordkeuze-artefacten uit te sluiten.
     • Statistische tests op het niveau van de bronvoorbeelden (paired sign tests, cluster bootstrap).
     • Token-accounting: Er wordt gekeken naar het werkelijke tokenverbruik.

3. Evaluatietaak: Classificatie van een kandidaat-antwoord als supported, partially_supported (onvolledig), of unsupported ten opzichte van een referentie.

Belangrijkste Resultaten

De resultaten tonen aan dat de atomische aanpak niet automatisch superieur is, en in veel gevallen zelfs slechter presteert dan een goed afgestemde holistische rubric:

• Algemene Prestaties:
  • ASQA en QAMPARI: De holistische judge presteert significant beter dan de atomische judge over alle vier de model-families heen. De winst is statistisch betrouwbaar in drie van de vier gevallen.
  • TruthfulQA: De atomische judge heeft een klein voordeel, maar de prestaties liggen dicht bij elkaar.
• Token-efficiëntie: De holistische judge gebruikt aanzienlijk minder tokens (1,4x tot 2,3x minder op ASQA/QAMPARI) omdat deze geen tussenstap van claim-ontleding hoeft te genereren.
• Oorzaak van het Voordeel (Per-class Analyse):
  • Het voordeel van de holistische judge is geconcentreerd in het detecteren van onvolledigheid (partially_supported gevallen).
  • Op ASQA detecteert de holistische judge onvolledige antwoorden veel betrouwbaarder dan de atomische judge (bijv. +30,5% punten voordeel voor GPT-4.1).
  • Beide methoden presteren bijna perfect op volledig ondersteunde voorbeelden.
• Robuustheid:
  • Referentiekwaliteit: De grootste daling in nauwkeurigheid voor beide methoden treedt op wanneer de referentie degradeert (korter of afwezig). Geen van beide ontwerpen biedt inherent meer weerstand tegen foutieve gronding.
  • Prompt-stabiliteit: Het resultaat is stabiel over alle drie de prompt-varianten heen, wat bevestigt dat het een eigenschap is van het ontwerp, niet van een specifieke prompt.

Belangrijkste Bijdragen

1. Empirisch Tegenvoorbeeld: Het paper levert een gecontroleerd bewijs dat de heuristiek "decompositie is altijd beter" niet opgaat voor referentie-gebaseerde volledigheidstaken. Een goed afgestemde holistische rubric is een sterkere of gelijkwaardige startpunt.
2. Gestandaardiseerde Vergelijking: Door prompt-inhoud, input en token-accounting strikt te controleren, wordt aangetoond dat het voordeel van atomische judges vaak komt door extra token-generatie en niet door de logica van decompositie zelf.
3. Inzicht in Onvolledigheid: De studie lokaliseert het specifieke zwakke punt van self-decomposing judges: ze zijn minder goed in het detecteren van globale ontbrekende informatie (incompleteness) dan een holistische beoordeling met een expliciete rubric voor volledigheid.
4. Validatie van Labels: Een analyse met menselijke annotatie bevestigt dat het voordeel van de holistische judge standhoudt, zelfs wanneer de benchmark-labels (die streng zijn op volledigheid) worden afgezwakt naar een puur feitelijk correctheidscriterium.

Betekenis en Conclusie

De bevindingen zijn specifiek voor self-decomposing single-prompt patterns op QA-style benchmarks met supplied references.

• Voor Praktici: Bij het evalueren van antwoorden op volledigheid tegen een referentie, hoeft men niet standaard te kiezen voor een complexe atomische decompositie-pipeline. Een holistische judge met een gedetailleerde rubric is vaak nauwkeuriger, goedkoper (minder tokens) en robuuster.
• Beperkingen: De resultaten gelden niet noodzakelijk voor multi-stage pipelines (waar decompositie extern wordt aangeleverd) of voor open-domein evaluatie zonder referentie.
• Kernboodschap: Decompositie is geen magische oplossing voor betere beoordeling; in de context van volledigheidstaken kan een holistische benadering met een goed ontworpen rubric de atomische aanpak overtreffen.