Technische Samenvatting: Gecontroleerde Iteratieve Verfijning van Large Language Model Responsies

1. Probleemstelling

Iteratieve verfijning biedt een pad naar het verbeteren van Large Language Model (LLM) responsies zonder gradiëntupdates, maar huidige benaderingen kampen met drie kritieke uitdagingen:

1. Zelfevaluatie-bias: Modellen die hun eigen tekst genereren en evalueren, lijden vaak aan zelfvoorkeur, verbositeitsbias of onvoldoende foutdetectie, wat leidt tot vertekende feedbacksignalen.
2. Circulaire Validatie: Veel studies gebruiken hetzelfde interne scoresignaal als zowel het controlemechanisme voor verfijning als het bewijs van succes, wat een risico op circulariteit creëert waarbij de optimalisatiemetriek wordt verward met de uitkomstmetriek.
3. Ongecontroleerde Trade-offs: Verfijning brengt computationele kosten (tokens) met zich mee zonder dat er een garantie is dat marginale rondes de kwaliteit verbeteren. Bovendien kunnen geaggregeerde scores stijgen terwijl beschermde criteria (bijv. feitelijkheid) stilzwijgend verslechteren.

Bestaande literatuur heeft vastgesteld dat iteratieve loops kunnen helpen (bijv. Self-Refine, Reflexion) en dat LLM-als-rechter lijdt aan specifieke biases. Er is echter een gebrek aan rigoureuze, controleerbare methodologieën die het generatieproces, het online controlesignaal en de onafhankelijke uitkomstmeting scheiden om te bepalen of de voordelen van verfijning robuust zijn over verschillende evaluator-identiteiten en stopbeleid.

2. Methodologie

Het artikel stelt een gecontroleerd, controleerbaar inference-time framework voor dat vier afzonderlijke rollen ontkoppelt:

• Generator ($G$): Produceert het initiële antwoord ($A_0$) en daaropvolgende kandidaat-revisies ($C_t$).
• Loop Evaluator ($E_L$): Scoort kandidaten op vijf dimensies (Feitelijkheid, Coherentie, Onderbouwing, Diepgang van Analyse, Linguïstische Robuustheid) en biedt diagnostische feedback. Het opereert in een same-model of cross-model configuratie.
• Deterministische State Controller: Een regelgebaseerd mechanisme dat beslist of een kandidaat de behouden staat ($R_{t-1}$) vervangt. Het vertrouwt niet enkel op het subjectieve "oordeel" van de evaluator, maar handhaaft:
  • Aggregate Gain Threshold: Een minimale genormaliseerde winst ($\gamma = 0.02$).
  • Critical-Criterion Guard: Feitelijkheid en Onderbouwing mogen niet meer dan een begrensde tolerantie ($\tau_c = 0.05$) achteruitgaan.
  • Diagnostische Straffen: Deterministische aftrekpunten voor specifieke defecten (bijv. discrepanties in citaties, niet-onderbouwde claims).
  • Evaluator Veto: Een expliciete "afwijzing" door de evaluator blokkeert acceptatie, zelfs als de geaggregeerde score stijgt.
• Blind Outcome Evaluator ($E_B$): Een vastgesteld, derde model dat alleen de uiteindelijke vraag en respons evalueert. Het is blind voor het generatieverloop, interne scores, het aantal iteraties of de configuratie. Dit biedt een gemeenschappelijke, onbevooroordeelde schaal voor het vergelijken van verschillende experimentele condities.

Stopbeleid (Stopping Policies):

• Hard-Cap: Een vaste limiet van 8 verfijningspogingen.
• Dynamisch: Adaptief stoppen op basis van interne signalen (bijv. afwijzingsreeksen, lage progressie, score-stabiliteit).

Experimenteel Ontwerp:
De studie bestaat uit twee complementaire onderzoeken:

• Studie 1 (Component Ablatie): Gebruikt 20 geconstrueerde vragen over 8 domeinen. Het vergelijkt een volledige configuratie met varianten die het ontbreken van ensemble sampling, de critical-criterion guard of strikte evaluatie hebben.
• Studie 2 (Evaluator $\times$ Stopping Interactie): Gebruikt 50 FLASK-Hard vragen in een $2 \times 2$ factorieel ontwerp (Same-model vs. Cross-model Evaluator $\times$ Dynamisch vs. Hard-Cap stopping). Cruciaal is dat deze studie gebruikmaakt van gedeelde master-trajecten, waarbij Dynamic-runs worden afgeleid van de exacte prefix van Hard-Cap-runs om een eerlijke kostenvergelijking te garanderen.

3. Belangrijkste Bijdragen

1. Architecturale Scheiding: Formaliseert een reproduceerbare scheiding tussen generatie, online loop-evaluatie, deterministische state-vervanging en blinde uitkomstmeting. Dit voorkomt dat het controlesignaal wordt verward met de uitkomstmetriek.
2. Multi-Criteria Controle Regel: Introduceert een stap-voor-stap controleerbare regel die diagnostische straffen, minimale winst-drempels, evaluator-veto's en begrensde bescherming voor kritieke criteria (feitelijkheid/onderbouwing) combineert, waardoor geen aanspraak wordt gemaakt op volledige Pareto-optimalisatie terwijl veiligheid tegen regressie wordt gewaarborgd.
3. Gepaard Empirisch Bewijs: Levert twee afzonderlijke corpora van bewijs: een multi-domein component-ablatie en een strikt gepaard $2 \times 2$ ontwerp met gedeelde trajecten, waarmee de effecten van evaluator-identiteit en stopbeleid worden geïsoleerd.
4. Kwaliteit-Kosten Rapportage: Rapporteert operationele kosten (tokens) naast blind-geëvalueerde kwaliteit, wat onthult dat hoewel verfijning over het algemeen beter presteert dan directe generatie, de voordelen van extra judge sampling, cross-model evaluatie en adaptief stoppen conditioneel zijn, en niet universeel.

4. Resultaten

Studie 1 (Ablatie):

• De No Ensemble configuratie behaalde de hoogste geobserveerde blind score (0.6673) terwijl deze 50,5% minder tokens gebruikte dan de Full configuratie.
• Holm-gecorrigeerde statistische analyse toonde aan dat het verwijderen van de ensemble, de critical-criterion guard of strikte evaluatie de blind quality niet significant veranderde ten opzichte van de Full configuratie.

Studie 2 (Evaluator $\times$ Stopping):

• Alle vier de iteratieve configuraties presteerden beter dan directe generatie in gepaarde vergelijkingen.
• Cross Hard-Cap behaalde de hoogste gemiddelde blind score (0.6611).
• Same Dynamic vertoonde de sterkste geobserveerde efficiëntie.
• Dynamic Stopping verminderde het tokengebruik met 51,9% (cross-model) en 55,8% (same-model) vergeleken met Hard-Cap.
• Quality Cost: Dynamic stopping veroorzaakte een significante kwaliteitskosten alleen onder cross-model evaluatie (Holm-gecorrigeerde $p = 0.000413$).
• Interactie-effect: Evaluator-identiteit was niet significant binnen een enkel stopbeleid, maar de interactie tussen evaluator-identiteit en stopbeleid was significant ($p = 0.00346$). Dit geeft aan dat hetzelfde stopbeleid anders reageert afhankelijk van welk model het interne signaal genereert.

5. Betekenis en Claims

Het artikel claimt dat gecontroleerde iteratieve verfijning de blind-geëvalueerde responskwaliteit verbetert over de geteste settings in vergelijking met directe generatie. Het wijst echter expliciet universele claims af dat meer judge sampling, cross-model evaluatie of adaptief stoppen altijd superieur is.

De primaire betekenis ligt in de demonstratie dat:

• Evaluator-identiteit en Stopbeleid Interageren: De effectiviteit van een stopregel is afhankelijk van de evaluator die het signaal levert. Een regel die goed werkt met het ene model, kan onderpresteren met een ander.
• Kosten-Efficiëntie Trade-offs Bestaan: Adaptief stoppen kan het tokengebruik drastisch verminderen, maar deze efficiëntie kan gepaard gaan met een kwaliteitsverlies, afhankelijk van de evaluator-configuratie.
• Eenvoud Beter Kan Presteren dan Complexiteit: In de ablatie-studie presteerde een eenvoudigere configuratie (No Ensemble) beter dan de complexere Full configuratie, zowel in score als in efficiëntie.

De studie concludeert dat hoewel iteratieve verfijning een levensvatbare strategie is, de implementatie ervan een zorgvuldige kalibratie vereist van de interactie tussen evaluator en stopbeleid, in plaats van aan te nemen dat "meer verfijning" of "cross-model controle" inherent beter is. Het framework biedt een controleerbare, reproduceerbare methode om deze trade-offs te meten zonder de controlemechanisme te verwarren met de uitkomst.