🤖 AI

From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification

Dit artikel introduceert ProFact, een agentic reinforcement learning-framework dat meerstaps feitenverificatie end-to-end optimaliseert door een verenigd beleid te trainen met procesbewuste beloningen om de beperkingen van geïsoleerde stadiumoptimalisatie en vaste heuristieken te overwinnen.

Oorspronkelijke auteurs: Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Gepubliceerd 2026-06-12

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een detective bent die een mysterie probeert op te lossen. Je hebt een bewering (een uitspraak van iemand) en je moet uitzoeken of deze Waar, Onwaar, of simpelweg Onvoldoende Bewijs is.

In het verleden probeerden AI-detectives dit op te lossen door een rigide, vooraf geschreven checklist te volgen. Ze braken een bewering af in vragen, zochten naar antwoorden en gokten vervolgens het oordeel. Het probleem? Elke stap werd in isolatie uitgevoerd. De persoon die de vragen schreef, sprak niet met de persoon die de antwoorden zocht, en de persoon die het oordeel velde, wist niet hoe hard de anderen werkten. Het was als een estafette waarbij de hardlopers nooit de stok goed overdragen — ze renden alleen hun eigen stukken en hoopten op het beste.

ProFact is een nieuwe manier om een AI-detective te trainen met een methode genaamd "Agentic Reinforcement Learning". Zo werkt het, met behulp van eenvoudige analogieën:

1. De "Eén Brein"-aanpak (Unified Policy)

In plaats van aparte experts voor het stellen van vragen, het vinden van bewijs en het vellen van een definitief oordeel, traint ProFact één enkel AI-brein om de hele taak van begin tot eind uit te voeren.

De Oude Manier: Stel je een lopende band in een fabriek voor. Werker A maakt een onderdeel, Werker B schildert het en Werker C verpakt het. Als de doos er lelijk uitziet, krijgt Werker C de schuld, maar hebben Werker A en B niet weten dat zij een fout hebben gemaakt.
De ProFact-manier: Stel je een meesterkok voor die een complete maaltijd bereidt. Als de soep te zout is, weet de kok onmiddellijk dat hijzelf te veel zout heeft toegevoegd. Hij leert om de snijtechniek, de kruiden en het kookproces allemaal tegelijk aan te passen, omdat hij verantwoordelijk is voor het hele gerecht.

2. De "Coach" met Directe Feedback (Process-Aware Rewards)

De grootste uitdaging bij het trainen van deze AI-detectives is dat het "antwoordmodel" (de uiteindelijke waarheid) pas aan het einde komt. Als de AI het uiteindelijke oordeel fout heeft, weet hij niet waarom. Stelde hij de verkeerde vragen? Vond hij het verkeerde bewijs? Of heeft hij aan het einde gewoon fout gegokt?

Het Probleem van het "Sparse Signal": Het is als het spelen van een videogame waarbij je pas aan het einde een "Game Over"-scherm krijgt. Je weet niet of je verloor omdat je te vroeg sprong, een power-up miste of tegen een muur aanliep.
De Oplossing van ProFact: De onderzoekers gaven de AI een coach die bij elke stap feedback fluistert.
- Stap 1 (Vragen stellen): De coach zegt: "Goed gedaan, je hebt die grote bewering afgebroken in kleine, duidelijke vragen!" (Beloning voor Vraagkwaliteit).
- Stap 2 (Bewijs vinden): De coach zegt: "Geweldig! Je hebt precies het document gevonden dat je punt bewijst." (Beloning voor Bewijs-verankering).
- Stap 3 (Het Oordeel): De coach zegt: "Correct! Je hebt de waarheid geraden." (Beloning voor Finale Nauwkeurigheid).

Dit verandert een vaag "Game Over" in een gedetailleerde scorekaart, waardoor de AI precies leert welke zetten tot succes leidden en welke tot falen.

3. Leren door Trial and Error (Reinforcement Learning)

Om echt goed te worden, leest de AI niet alleen een boek; hij speelt het spel duizenden keren.

Hij probeert verschillende manieren om een bewering af te breken.
Hij probeert verschillende manieren om naar bewijs te zoeken.
Hij vergelijkt zijn verschillende pogingen (zoals een groep studenten die dezelfde toets maakt). Als één student een betere score haalt, leert de AI om de strategie van die student te kopiëren.

De Resultaten: Sneller en Slimmer

Toen de onderzoekers ProFact testten, zagen ze twee grote overwinningen:

Betere Nauwkeurigheid: De AI werd veel beter in het achterhalen van de waarheid omdat hij leerde om zijn stappen perfect te coördineren. Hij gokte niet alleen; hij bouwde een solide zaak.
Sneller en Goedkoper: Verrassend genoeg was ProFact ook sneller en gebruikte het minder rekenkracht dan de oudere methoden. Omdat het een efficiëntere strategie had geleerd, verspilde het geen tijd aan het stellen van onnodige vragen of het lezen van irrelevante documenten. Het leerde een slanke, efficiënte detective te zijn.

Samenvatting

Kortom, ProFact verandert het chaotische proces van fact-checking in een vloeiende, gecoördineerde dans. Door de AI een "coach" te geven die hem bij elke stap prijst of corrigeert (en niet alleen aan het einde), leert de AI betere vragen te stellen, beter bewijs te vinden en nauwkeurigere beslissingen te nemen, terwijl hij dit sneller doet dan voorheen.

Technische Samenvatting: ProFact – Agentic Reinforcement Learning voor Multi-Stage Fact Verification

1. Probleemstelling

Geautomatiseerde feitenverificatie in open-domain omgevingen is inherent een multi-stage besluitvormingsproces dat bestaat uit claim-decompositie, evidence gathering en verdict-voorspelling. Hoewel recente benaderingen Large Language Models (LLMs) combineren met retrieval-augmented reasoning, optimaliseren bestaande methoden deze stadia doorgaans in isolatie of vertrouwen ze op vaste heuristieken voor coördinatie. Deze scheiding leidt tot suboptimale resultaten waarbij tussenliggende beslissingen (bijv. het genereren van verificatievragen) niet zijn afgestemd op het uiteindelijke doel van accurate verdict-voorspelling. Bovendien is het optimaliseren van de volledige verificatie-trajectorie uitdagend vanwege sparse en delayed supervision: het uiteindelijke waarheidslabel levert pas aan het einde van het proces een beloning op, wat het moeilijk maakt om krediet toe te wijzen aan specifieke tussenliggende acties (zoals een specifieke zoekopdracht of een decompositiestap).

2. Methodologie: ProFact Framework

De auteurs stellen ProFact voor, een agentic reinforcement learning (RL) framework ontworpen voor end-to-end optimalisatie van multi-stage fact verification trajectorieën.

2.1 Formulering als een Markov Decision Process (MDP)

ProFact modelleert fact verification als een finite-horizon MDP ( $M = (S, A, P, r, \rho_0, T)$ ):

State ( $S$ ): Bevat de claim, gegenereerde vragen, opgehaalde bewijslast (evidence), QA-paren en de huidige reasoning stage.
Action ( $A$ ): Uniforme acties gegenereerd door een enkele policy $\pi_\theta$ , inclusief het genereren van verificatievragen, het aanroepen van search tools, het synthetiseren van evidence-grounded antwoorden en het voorspellen van het uiteindelijke verdict.
Trajectory: Een sequentie van states en acties $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ die de volledige verificatieworkflow representeert.

2.2 Drie-staps Verificatie Rollout

De agent voert een drie-staps workflow uit die menselijke fact-checking nabootst:

Question Stage: De agent decomponeert de claim in een set verificatievragen ( $Q$ ).
Search Stage: Voor elke vraag voert de agent iteratieve retrieval uit vanuit een vooraf gebouwde evidence store (met behulp van semantic search via Qwen3-Embedding-0.6B en kNN) en genereert evidence-grounded antwoorden ( $A$ ). De context wordt tussen vragen gereset om onnodige expansie te voorkomen.
Verdict Stage: Gebaseerd op de geaccumuleerde evidence en antwoorden, voorspelt de agent het uiteindelijke waarheidslabel (Supported, Refuted, Not Enough Evidence, of Conflicting Evidence).

2.3 Process-Aware Reward Function

Om de sparsity van het eindlabel aan te pakken, introduceert ProFact een process-aware reward function die dense, stage-level supervisie biedt:

Question Stage Reward ( $r_q$ ): Berekend via METEOR-gebaseerde matching tussen gegenereerde vragen en gold-standard vragen.
Search Stage Reward ( $r_s$ ): Berekend via METEOR-gebaseerde matching tussen gegenereerde vraag-antwoord paren en gold-standard evidence annotaties.
Verdict Stage Reward ( $r_v$ ): Een indicatorfunctie ($1$ als het voorspelde label overeenkomt met het gold label, $0$ anders).
Total Return: De som van de beloningen over de trajectorie, wat een sparse outcome signaal transformeert naar intermediate learning signalen.

2.4 Optimalisatie via GRPO

Het framework maakt gebruik van Group Relative Policy Optimization (GRPO) voor training. In plaats van een aparte critic network te gebruiken, schat GRPO de advantage function door een groep van $G$ gesamplede trajectorieën voor dezelfde claim te vergelijken. De advantage $\hat{A}_{i,g}$ wordt berekend door de totale return van een trajectorie te normaliseren tegenover het gemiddelde en de standaarddeviatie van de groep. Dit maakt een stabiele, end-to-end optimalisatie van de uniforme policy mogelijk zonder dat een value function approximatie nodig is, wat moeilijk is gezien de heterogene aard van stage rewards en retrieval dependencies.

3. Belangrijkste Bijdragen

Agentic Verification Framework: ProFact verenigt claim decomposition, evidence retrieval en verdict prediction in een enkele policy met expliciete retrieval acties, waarbij fact verification wordt geformuleerd als een long-horizon agentic besluitvormingsprobleem.
Process-Aware Trajectory Optimization: De introductie van een process-aware reward function biedt dense intermediate feedback, waardoor het model kan leren welke tussenliggende gedragingen (decomposition, search, reasoning) bijdragen aan de uiteindelijke accuratesse.
Empirische Validatie: Uitgebreide experimenten tonen aan dat ProFact zowel de verificatieprestaties als de inference efficiëntie verbetert vergeleken met sterke baselines.

4. Experimentele Resultaten

Experimenten werden uitgevoerd op de AVeriTeC dataset met vier open-source backbone modellen (Qwen2.5-3B/7B, Qwen3-4B/8B).

Prestaties: ProFact presteerde consistent beter dan baselines (Consistency, InFact, HerO) over alle metrieken.
- AVeriTeC Score: ProFact behaalde de hoogste scores (bijv. 48.00 op Qwen2.5-7B vs. 42.80 voor HerO), wat duidt op superieure end-to-end verificatiecapaciteit.
- Accuratesse: ProFact vertoonde verbeterde accuratesse in de uiteindelijke label-voorspelling.
- Intermediate Kwaliteit: ProFact behaalde de beste Q-only METEOR scores, wat wijst op sterkere claim decomposition, en competitieve Q&A METEOR scores.
Efficiëntie: ProFact demonstreerde significante winst in inference efficiëntie. Vergeleken met InFact verminderde ProFact de tijd per claim met ongeveer 50–70% en verminderde het het tokenverbruik substantieel (bijv. 0.38M output tokens vs. 0.66M voor InFact op Qwen2.5-7B).
Ablatie Studie: Het verwijderen van process rewards (w/o PR) resulteerde in een consistente prestatiedaling over alle backbones, wat bevestigt dat supervisie van enkel het eindlabel onvoldoende is voor het leren van effectieve multi-stage trajectorieën.
Algoritme Vergelijking: GRPO bleek superieur aan PPO, DAPO en GiGPO voor deze taak, waarschijnlijk door het vermogen om stabiele trajectorie-niveau signalen te bieden zonder de complexiteit van het leren van een value function voor heterogene stage rewards.

5. Betekenis en Claims

Het artikel claimt dat process-aware trajectory optimization een kritiek mechanisme is voor multi-stage fact verification. Door verificatie te behandelen als een verenigd besluitvormingsproces in plaats van een pipeline van geïsoleerde modules, stelt ProFact eerdere beslissingen (zoals decomposition) in staat om zich aan te passen aan de vereisten van latere stadia (zoals verdict prediction). De resultaten benadrukken dat:

Intermediate supervisie essentieel is voor effectieve credit assignment in long-horizon taken.
Agentic RL met process-aware rewards tegelijkertijd de accuratesse kan verbeteren en de inference kosten kan verlagen door meer gerichte, minder redundante verificatiestrategieën te leren.
Grotere modellen niet noodzakelijkerwijs leiden tot betere evidence-grounded verificatie, omdat ze mogelijk meer vertrouwen op parametrische kennis dan op retrieved evidence; het ProFact framework blijft echter effectief over verschillende model schalen.

De auteurs concluderen dat hun werk de effectiviteit aantoont van end-to-end reinforcement learning voor het optimaliseren van complexe, multi-stage reasoning workflows in geautomatiseerde fact verification.