Technische Samenvatting: Interactieve Kritiek-herzieningstraining voor Betrouwbare Gestructureerde LLM-gegenereerde Output

Probleemstelling

Grote Taalmodellen (LLM's) tonen sterke capaciteiten in open-ended generatie, maar blijven breekbaar in complexe, gestructureerde besluitvormingsworkflows zoals het invullen van formulieren, compliance-checks en onderhoudsrapportage. In deze domeinen moeten outputs lokaal correct, globaal consistent en controleerbaar zijn volgens specifieke regels. Bestaande verfijningsmethoden vertrouwen vaak op heuristische debatten, self-play of door LLM gegenereerde supervisie, wat een "tweede-orde verzekeringsprobleem" introduceert: de verifieerder zelf vereist beoordeling. Een verifieerder die wordt beloond voor het vinden van fouten, kan overtuigende maar slecht onderbouwde bezwaren genereren, terwijl een generator nauwkeurige outputs kan over-corrigeren of nuttige feedback kan negeren. Bovendien behandelen huidige multi-agent benaderingen debat vaak als een prompting-mechanisme in plaats van een rol-specifiek trainingsparadigma, en missen ze een systematisch kader om agenten te co-trainen met gestructureerd verzekeringsbewijs.

Methodologie: DPA-GRPO

De auteurs stellen DPA-GRPO (Dual Paired-Action Group-Relative Policy Optimization) voor, een game-theoretisch kader voor het trainen van een tweespeler Markov-spel tussen een Generator en een Verifieerder.

Het Generator-Verifieerder Spel

De interactie wordt gemodelleerd als een spel met een eindige horizon waarbij de Generator outputs voorstelt voor gestructureerde besluitvormingseenheden (bijvoorbeeld regels op een belastingformulier). De Verifieerder observeert het voorstel en kiest tussen twee acties:

1. NS (No-SAC): Stil blijven en het voorstel accepteren.
2. SAC (Safety Assurance Case): Een gestructureerde interventie indienen die een Claim, Argument en Bewijs bevat (volgend op de safety-case methodologie) om het voorstel uit te dagen.

Als een SAC wordt ingediend, moet de Generator kiezen tussen:

1. KEEP: Het oorspronkelijke voorstel indienen.
2. REVISE: Een nieuw kandidaat-herziene voorstel indienen.

Trainingsmechanisme

DPA-GRPO construeert gepaarde counterfactuele actiegroepen bij elke besluitvormingseenheid om beide agenten simultaan te trainen met rol-specifieke beloningen en KL-geregulariseerde Group-Relative Policy Optimization (GRPO):

• Verifieerdersparen: {SAC, NS}. De verifieerder wordt beloond voor het indienen van SAC's bij onjuiste voorstellen en voor het stil blijven bij correcte voorstellen.
• Generatorparen: {KEEP, REVISE} (voorwaardelijk op het indienen van een SAC). De generator wordt beloond voor het selecteren van de actie (het behouden van het origineel of het herzien) die leidt tot de correcte uiteindelijke output.

De training maakt gebruik van een beloningsorakel om correctheid te bepalen ($S_x$ voor het initiële voorstel, $S_z$ voor de herziening). De doelstellingen worden geregulariseerd met KL-divergentie-termen tegen bevroren referentiebeleidslijnen om instabiele beleidsdrift te voorkomen. De verliesfunctie voor elke rol is een contrastief, voorkeur-achtig doel dat is afgeleid van de groep-genormaliseerde voordelen van de gepaarde acties.

Theoretische Analyse

Het artikel analyseert de spel-dynamiek om voorwaarden te stellen voor Lokale Nash-evenwichten.

• Niet-geregulariseerd spel: De auteurs tonen aan dat als een agent een positieve waarschijnlijkheid toekent aan strikt lager-beloonde acties (bijvoorbeeld een verifieerder die een fout mist of een generator die een schadelijke herziening maakt), een winstgevende eenzijdige afwijking bestaat.
• KL-geregulariseerd spel: Onder standaard aannames voor stochastische benadering volgen de DPA-GRPO-updates de Gewone Differentiaalvergelijking (ODE) van het spel. De geïsoleerde asymptotisch stabiele limietpunten van deze ODE corresponderen met stationaire punten waar agenten lokaal optimaal zijn voor hun rol-specifieke beloningen, waardoor suboptimale acties effectief worden onderdrukt via kansverhoudingen van acties die afhankelijk zijn van het beloningsgat.

Belangrijkste Bijdragen

1. Formulering: De auteurs formuleren gestructureerde LLM-validatie als een tweespeler Markov-spel waarbij verifieerder-interventies worden uitgedrukt als gestructureerde Safety Assurance Cases (SAC's) die claims, argumenten en bewijs bevatten.
2. Algoritme: Zij stellen DPA-GRPO voor, een dubbel gepaard-actie trainingsmethode die counterfactuele SAC/No-SAC en Keep/Revise-vergelijkingen construeert. Dit maakt parallelle training mogelijk van zowel het interventiebeleid van de verifieerder als het herzieningsbeleid van de generator met behulp van rol-voorwaardelijke beleidslijnen.
3. Theoretisch Kader: Het artikel ontwikkelt een interpreteerbare casustaxonomie (8 gevallen) die trainingsignalen verbindt met lokale Nash-voorwaarden en stochastische-benaderingsdynamiek, en biedt een principiële manier om interactiegedrag te diagnosticeren.
4. Empirische Evaluatie: De methode wordt geëvalueerd op TaxCalcBench TY24, een benchmark voor het invullen van gestructureerde belastingformulieren.

Experimentele Resultaten

Experimenten werden uitgevoerd met Qwen3-4B en Qwen3-8B backbones, waarbij DPA-GRPO werd vergeleken met zero-shot generatie en RL-baselines met alleen een single-agent generator (GRPO, DAPO, GSPO).

• Nauwkeurigheid: DPA-GRPO behaalde de hoogste testset-nauwkeurigheid voor beide modelgroottes (0,53 voor Qwen3-4B en 0,57 voor Qwen3-8B), en presteerde beter dan zero-shot baselines en generator-only RL-methoden.
• Dynamiek van de Casustaxonomie: Analyse van de overgangen tussen besluitvormingseenheden onthulde specifieke gedragsverbeteringen:
  • Toename van Geval 1 (Correct/Stil): De frequentie van correcte voorstellen die zonder interventie werden geaccepteerd, nam aanzienlijk toe (bijvoorbeeld van 27,4% naar 42,4% voor Qwen3-4B), wat aangeeft dat de generator leert om hogere kwaliteit initiële outputs te produceren.
  • Vermindering van Geval 4 (Gemiste Fouten): Het percentage onjuiste voorstellen dat de verifieerder niet oppikte, nam aanzienlijk af (bijvoorbeeld van 55,3% naar 37,2%), wat een verbeterde gevoeligheid van de verifieerder aantoont.
  • Verbetering van Geval 6a (Gecalibreerde Afwijzing): De generator leerde om slechte herzieningen af te wijzen wanneer een SAC werd ingediend (toename van 9,3% naar 16,6%), wat aantoont dat het niet blindelings de uitdagingen van de verifieerder volgt, maar zijn Keep/Revise-beslissingen calibreren.

Betekenis en Claims

Het artikel stelt dat DPA-GRPO een principiële oplossing biedt voor safety-case-gebaseerde verzekering in gestructureerde LLM-workflows. De betekenis hiervan ligt in:

• Voorbij heuristisch debat: Het vestigt een trainingsparadigma waarbij agenten co-geadaptiseerd worden door gestructureerde, verifieerbare interacties in plaats van alleen prompting of schaling tijdens de testfase.
• Interpreteerbaarheid: Door het gebruik van SAC's (Claim-Argument-Bewijs) biedt het systeem controleerbare verslagen van waarom een output werd uitgedaagd of geaccepteerd, waardoor bezwaren interpreteerbaar worden.
• Dubbele Verbetering: Het kader verbetert zowel het vermogen van de generator om correcte initiële voorstellen te produceren als het vermogen van de verifieerder om fouten te detecteren en herzieningen te sturen, in plaats van uitsluitend te vertrouwen op reinforcement learning aan de generator-zijde.
• Theoretische Grondslag: Het verbindt de praktische trainingsignalen met game-theoretische evenwichtsconcepten en biedt een theoretische basis voor waarom de interactie convergeert naar gewenste collectieve gedragingen.

De auteurs wijzen op beperkingen en erkennen dat de methode hogere rekenkosten met zich meebrengt door het trainen van twee agenten en afhankelijk is van deterministische ground-truth labels in de huidige benchmark. Zij benadrukken dat, hoewel SAC's de auditbaarheid verbeteren, ze geen formele garanties van correctheid of veiligheid bieden in situaties met hoge risico's zonder expertbeoordeling.