Technische Samenvatting: SEVA – Self-Evolving Verification Agent met Process Reward

1. Probleemstelling

LLM-agenten (Large Language Model) worden geconfronteerd met een kritieke betrouwbaarheidsbottleneck: hallucinatie. Hoewel fact-attribution verifiers dienen als een veiligheidslaag om te bepalen of de claims van een agent worden ondersteund door brondocumenten, lijden bestaande oplossingen (bijv. MiniCheck, ClearCheck) aan een fundamentele beperking: ze geven alleen ondoorzichtige binaire labels uit (Waar/Onwaar).

Deze ondoorzichtigheid creëert twee duidelijke defecten in scenario's met een hoog risico:

1. Gebrek aan Zelfcorrectie: Wanneer een verifier een claim markeert, kan de agent niet bepalen waarom het fout is (bijv. of een getal werd opgeblazen, een entiteit werd verwisseld, of een kwalificatie werd gefabriceerd), wat autonome correctie verhindert.
2. Auditability Gap (Auditbaarheidsgat): Menselijke operators kunnen de beslissing niet zinvol auditen omdat de redenering achter het label onzichtbaar is.

Bovendien faalt het trainen van dergelijke gestructureerde verifiers via Reinforcement Learning (RL) met behulp van standaard binaire beloningen. Wanneer dit wordt toegepast op outputs met meerdere componenten (bijv. JSON met alignments, redenering en labels), veroorzaken binaire beloningen advantage collapse in Group Relative Policy Optimization (GRPO). Omdat de meeste responsen in een trainingsgroep een beloning van 0 ontvangen (door parseerfouten of een enkele foutieve component), verdwijnt de variantie binnen de groep, waardoor de policy gradient verdwijnt en de training stagneert.

2. Methodologie

2.1. Gestructureerd Verificatieschema (SEVA)

SEVA is ontworpen om gestructureerde, auditeerbare output $v = (A, C, y, \gamma, e, s)$ te produceren in plaats van een enkel label:

• Evidence Alignment ($A$): Triples die claim-spans mappen naar bron-spans met status (match, mismatch, niet gevonden).
• Reasoning Chain ($C$): Stap-voor-stap verificatie die de logica traceert tegen de bronbewijzen.
• Label & Confidence ($y, \gamma$): Een binair attributielabel gekoppeld aan gekalibreerd vertrouwen.
• Error Diagnosis ($e, s$): Als een claim niet toe te schrijven is, identificeert het model een van zes fouttypen (numerieke overdrijving, negatie-omkering, scope-inflatie, temporele verschuiving, entiteitsvervanging, fabricage) en stelt een oplossing voor.

2.2. Process Reward Mechanisme

Om de advantage collapse van binaire beloningen te overwinnen, introduceren de auteurs een Process Reward functie $R$ die de kwaliteit van de verificatie deelt in vijf onafhankelijke componenten plus een kalibratieterm:
$$R = \underbrace{w_f R_f + w_a R_a + w_c R_c}_{\text{Process (70\%)}} + \underbrace{w_l R_l + w_d R_d}_{\text{Outcome (30\%)}} + R_{cal}$$

• Componenten:
  • $R_f$: Formaatvaliditeit (JSON parsing).
  • $R_a$: Alignment kwaliteit (grounding).
  • $R_c$: Kwaliteit van de reasoning chain (stap-voor-stap logica).
  • $R_l$: Correctheid van het label.
  • $R_d$: Nauwkeurigheid van de foutdiagnose.
  • $R_{cal}$: Asymmetrische kalibratieterm (beloont correctheid met hoog vertrouwen, straft fouten met hoog vertrouwen af).
• Weging: De procescomponenten (formaat, alignment, redenering) worden voor 70% gewogen, terwijl de outcome componenten (label, diagnose) 30% wegen. Dit dwingt de agent om het gedrag van verificatie onder de knie te krijgen voordat de uitkomst wordt geoptimaliseerd.
• Theoretische Rechtvaardiging: De auteurs bewijzen (Propositie 1 & 2) dat binaire beloningen bij generatie met meerdere componenten leiden tot nul variantie in GRPO-groepen (advantage collapse), terwijl process rewards een niet-nul variantie behouden door componentscores te ontkoppelen, wat een niet-verdwijnende gradiënt garandeert.

2.3. Trainingspipeline

1. Supervised Fine-Tuning (SFT): Een 3B model (Qwen2.5) wordt fijngetuned op 4.992 gestructureerde voorbeelden geannoteerd door GPT-4o-mini.
2. GRPO met Process Reward: Het SFT-model ondergaat 350 stappen GRPO-training. De process reward herstelt de gradiënt, waardoor het model gelijktijdig de structurele kwaliteit en nauwkeurigheid kan verbeteren.
3. Self-Evolution Loop: Een Verify→Reflect→Probe→Refine loop wordt geïmplementeerd.
   • Reflect: Aggregeert foutdiagnoses om zwakke categorieën te identificeren.
   • Probe: Genereert gerichte adversariële data voor deze zwakke categorieën.
   • Refine: Fine-tuned het model op de nieuwe data.
   • Deze loop werd vier keer geïtereerd op een 7B model variant.

3. Belangrijkste Resultaten

3.1. Prestaties en Structurele Kwaliteit

• Nauwkeurigheid: SEVA-3B getraind met process reward bereikt een 69.0 F1 op de ClearFacts benchmark, wat overeenkomt met GPT-4o-mini (69.8 F1) en significant beter presteert dan de SFT baseline (64.9 F1).
• Structurele Betrouwbaarheid: Process reward drijft formaat-compliance van 72% (SFT) naar 100% en alignment kwaliteit van 0.917 naar 0.997.
• Vergelijking: Hoewel binaire verifiers zoals MiniCheck-7B een hogere ruwe nauwkeurigheid bereiken (81.2 F1), doen zij dit met binaire outputs. SEVA evenaart de prestaties van grote modellen terwijl het de auditeerbare substantie (alignments, redenering, fixes) levert die vereist is voor implementatie in scenario's met een hoog risico.

3.2. Trainingsdynamiek: Impliciet Curriculum

De process reward induceert een impliciet curriculum:

• Fase 1 (Stappen 0–150): De agent beheerst het verificatie-gedrag (formaat, alignment, redeneerketens).
• Fase 2 (Stappen 150–350): De agent verfijnt de verificatie-uitkomsten (F1 score).
  Dit gebeurt zonder expliciete scheduling, gedreven door de 70/30 reward weging.

3.3. Self-Evolution en Specialisatie

Iteratieve verfijning via de self-evolution loop onthulde een structurele bevinding: specialisatie, geen generalisatie.

• Elke verfijningsronde produceerde een benchmark-specialist in plaats van een strikt betere generalist.
• Trade-off: Rondes 2–4 verbeterden de prestaties op HaluEval (+14.9 pp) maar verslechterden de prestaties op TruthfulQA (−12.4 pp).
• Dit effect hield aan, zelfs met 4x meer trainingsdata (Ronde 4), wat aangeeft dat het een door de datadistributie geïnduceerd fenomeen is in plaats van overfitting. De gestructureerde output was essentieel om deze per-categorie dynamiek bloot te leggen, wat geaggregeerde nauwkeurigheid verborgen zou hebben.

3.4. Ablatie-studies

• Falende Binaire Beloning: Het vervangen van de process reward door een binaire reward in GRPO resulteerde in <65 F1 en geen structurele verbetering, wat bevestigt dat binaire beloningen de training doen stagneren door advantage collapse.
• Reward Sensitiviteit: Een 70/30 split (process/outcome) leverde de beste balans; het te zwaar kantelen naar uitkomsten degradeerde de structurele kwaliteit, terwijl het te zwaar kantelen naar proces de label nauwkeurigheid verminderde.

4. Betekenis en Claims

Het artikel claimt drie primaire bijdragen:

1. SEVA Agent: Een gestructureerde verifier die de nauwkeurigheid van GPT-4o-mini evenaart terwijl het auditeerbare, diagnostische output levert (alignments, redenering, foutenherstel) die noodzakelijk is voor menselijke controle (human-in-the-loop trust).
2. Process Reward Oplossing: Een formele oplossing voor het "advantage collapse" probleem in RL voor generatie met meerdere componenten. De auteurs stellen dat voor elke RL-taak met generatie met meerdere componenten, de granulariteit van de beloning moet overeenkomen met de granulariteit van de output.
3. Structureel Inzicht in Zelfverbetering: De ontdekking dat iteratieve zelfverfijningsloops, wanneer gedreven door gerichte adversariële probes, de neiging hebben om specialisten te produceren in plaats van generalisten. Dit daagt de aanname van monotone verbetering uit die gebruikelijk is in de Self-Refine en STaR literatuur.

De auteurs concluderen dat de vijf-componenten decompositie een "dual-use asset" is: het extraheert meerdere gradiënten per respons (wat leren mogelijk maakt) en legt per-categorie dynamieken bloot (wat de ontdekking van specialisatie mogelijk maakt). Ze suggereren dat toekomstige betrouwbare agent-pipelines prioriteit moeten geven aan architecturale reacties (bijv. per-domein routing) boven simpelweg het toevoegen van meer trainingsrondes om generalisatie te bereiken.