🤖 AI

From Verdict to Process: Agentic Reinforcement Learning for Multi-Stage Fact Verification

Dieses Paper stellt ProFact vor, ein agentenbasiertes Reinforcement-Learning-Framework, das die mehrstufige Faktenverifizierung durch das Training einer einheitlichen Policy mit prozessbewussten Belohnungen end-to-end optimiert, um die Einschränkungen isolierter Stufenoptimierung und fester Heuristiken zu überwinden.

Ursprüngliche Autoren: Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Veröffentlicht 2026-06-12

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Rongxin Yang, Shenghong He, Siyuan Zhu, Chao Yu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen. Sie haben eine Behauptung (eine Aussage, die jemand gemacht hat) und müssen herausfinden, ob sie Wahr, Falsch oder einfach Nicht genügend Beweise für eine Entscheidung sind.

In der Vergangenheit versuchten KI-Detektive, dies zu lösen, indem sie einer starren, vorgefertigten Checkliste folgten. Sie brachen die Behauptung in Fragen auf, suchten nach Antworten und raten dann über das Urteil. Das Problem? Jeder Schritt wurde isoliert durchgeführt. Die Person, die die Fragen schrieb, sprach nicht mit der Person, die nach den Antworten suchte, und die Person, die das Urteil fällte, wusste nicht, wie hart die anderen gearbeitet hatten. Es war wie ein Staffellauf, bei dem die Läufer den Stab nie richtig übergaben – sie liefen nur ihre eigenen Etappen und hofften das Beste.

ProFact ist eine neue Methode, um einen KI-Detektiv zu trainieren, und zwar unter Verwendung einer Methode namens „Agentic Reinforcement Learning“. Hier ist, wie es funktioniert, erklärt mit einfachen Analogien:

1. Der „Ein-Gehirn“-Ansatz (Unified Policy)

Anstatt separate Experten für das Stellen von Fragen, das Finden von Beweisen und das Fällen eines endgültigen Urteils zu haben, trainiert ProFact ein einziges KI-Gehirn, um die gesamte Aufgabe von Anfang bis Ende zu erledigen.

Der alte Weg: Stellen Sie sich eine Fabrik-Fließband vor. Arbeiter A fertigt ein Teil, Arbeiter B bemalt es und Arbeiter C verpackt es. Wenn der Karton hässlich ist, bekommt Arbeiter C die Schuld, aber Arbeiter A und B wissen nicht, dass sie einen Fehler gemacht haben.
Der ProFact-Weg: Stellen Sie sich einen einzelnen Meisterkoch vor, der eine ganze Mahlzeit zubereitet. Wenn die Suppe zu salzig ist, weiß der Koch sofort, dass er selbst zu viel Salz hinzugefügt hat. Er lernt, das Schneiden, das Würzen und das Kochen gleichzeitig anzupassen, weil er für das gesamte Gericht verantwortlich ist.

2. Der „Coach“ mit sofortigem Feedback (Process-Aware Rewards)

Die größte Herausforderung beim Training dieser KI-Detektive besteht darin, dass der „Lösungsschlüssel“ (die endgültige Wahrheit) erst ganz am Ende kommt. Wenn die KI das endgültige Urteil falsch fällt, weiß sie nicht, warum. Hat sie die falschen Fragen gestellt? Hat sie die falschen Beweise gefunden? Oder hat sie am Ende einfach nur falsch geraten?

Das Problem des spärlichen Signals (Sparse Signal Problem): Es ist wie das Spielen eines Videospiels, bei dem man erst ganz am Ende einen „Game Over“-Bildschirm erhält. Man weiß nicht, ob man verloren hat, weil man zu früh gesprungen ist, ein Power-Up verpasst hat oder gegen eine Wand gelaufen ist.
Die Lösung von ProFact: Die Forscher gaben der KI einen Coach, der bei jedem einzelnen Schritt Feedback flüstert.
- Schritt 1 (Fragen stellen): Der Coach sagt: „Gut gemacht, diese große Behauptung in kleine, klare Fragen aufzuteilen!“ (Belohnung für die Fragenqualität).
- Schritt 2 (Beweise finden): Der Coach sagt: „Großartig! Du hast genau das Dokument gefunden, das deinen Punkt beweist.“ (Belohnung für die Beweisgrundlage).
- Schritt 3 (Das Urteil): Der Coach sagt: „Korrekt! Du hast die Wahrheit erraten.“ (Belohnung für die endgültige Genauigkeit).

Dies verwandelt ein vages „Game Over“ in eine detaillierte Bewertung und hilft der KI zu lernen, welche Züge zum Erfolg führten und welche zum Scheitern.

3. Lernen durch Versuch und Irrtum (Reinforcement Learning)

Um wirklich gut zu werden, liest die KI nicht nur ein Buch; sie spielt das Spiel tausende Male.

Sie probiert verschiedene Wege aus, um eine Behauptung aufzuschlüsseln.
Sie probiert verschiedene Wege aus, um nach Beweisen zu suchen.
Sie vergleicht ihre verschiedenen Versuche (wie eine Gruppe von Schülern, die dieselbe Prüfung ablegen). Wenn ein Schüler eine bessere Punktzahl erreicht, lernt die KI, die Strategie dieses Schülers zu kopieren.

Die Ergebnisse: Schneller und Schlauer

Als die Forscher ProFact testeten, stellten sie zwei große Erfolge fest:

Bessere Genauigkeit: Die KI wurde viel besser darin, die Wahrheit herauszufinden, weil sie lernte, ihre Schritte perfekt zu koordinieren. Sie hat nicht nur geraten; sie hat einen soliden Fall aufgebaut.
Schneller und Günstiger: Überraschenderweise war ProFact auch schneller und verbrauchte weniger Rechenleistung als die älteren Methoden. Da sie eine effizientere Strategie erlernte, verschwendete sie keine Zeit mit unnötigen Fragen oder dem Lesen irrelevanter Dokumente. Sie lernte, ein schlanker, effizienter Detektiv zu sein.

Zusammenfassung

Kurz gesagt: ProFact verwandelt den chaotischen Prozess des Fact-Checking in einen fließenden, koordinierten Tanz. Indem man der KI einen „Coach“ gibt, der sie bei jedem einzelnen Schritt lobt oder korrigiert (und nicht erst am Ende), lernt die KI, bessere Fragen zu stellen, bessere Beweise zu finden und genauere Entscheidungen zu treffen – und das alles schneller als zuvor.

Technisches Resümee: ProFact – Agentic Reinforcement Learning für die mehrstufige Faktenverifizierung

1. Problemstellung

Die automatisierte Faktenverifizierung in Open-Domain-Szenarien ist inhärent ein mehrstufiger Entscheidungsprozess, der aus Claims-Dekomposition, Evidenzbeschaffung und Urteilsvorhersage besteht. Während jüngste Ansätze Large Language Models (LLMs) mit Retrieval-Augmented Reasoning kombinieren, optimieren bestehende Methoden diese Phasen typischerweise isoliert oder verlassen sich auf feste Heuristiken zur Koordination. Diese Trennung führt zu suboptimalen Ergebnissen, bei denen Zwischenentscheidungen (z. B. das Generieren von Verifizierungsfragen) nicht auf das ultimative Ziel der korrekten Urteilsvorhersage ausgerichtet sind. Darüber hinaus ist die Optimierung des gesamten Verifizierungstrajektorien schwierig aufgrund von spärlicher und verzögerter Überwachung (sparse and delayed supervision): Das endgültige Wahrheitslabel liefert eine Belohnung erst am Ende des Prozesses, was es schwierig macht, die Verantwortung (Credit Assignment) spezifischen Zwischenschritten (wie einer bestimmten Suchanfrage oder einem Dekompositionsschritt) zuzuweisen.

2. Methodik: ProFact-Framework

Die Autoren schlagen ProFact vor, ein Agentic Reinforcement Learning (RL) Framework, das für die End-to-End-Optimierung mehrstufiger Faktenverifizierungs-Trajektorien entwickelt wurde.

2.1 Formulierung als Markov-Entscheidungsprozess (MDP)

ProFact modelliert die Faktenverifizierung als endlichen Horizont-MDP ( $M = (S, A, P, r, \rho_0, T)$ ):

Zustand ( $S$ ): Beinhaltet den Claim, generierte Fragen, abgerufene Evidenzen, QA-Paare und die aktuelle Reasoning-Phase.
Aktion ( $A$ ): Einheitliche Aktionen, die von einer einzigen Policy $\pi_\theta$ generiert werden, einschließlich des Generierens von Verifizierungsfragen, des Aufrufs von Suchwerkzeugen, der Synthese evidenzbasierter Antworten und der Vorhersage des endgültigen Urteils.
Trajektorie: Eine Sequenz von Zuständen und Aktionen $(s_0, a_0, r_0, \dots, s_T, a_T, r_T)$ , die den vollständigen Verifizierungs-Workflow darstellt.

2.2 Dreistufiger Verifizierungs-Rollout

Der Agent führt einen dreistufigen Workflow aus, der dem menschlichen Faktencheck spiegelt:

Fragen-Phase (Question Stage): Der Agent zerlegt den Claim in eine Menge von Verifizierungsfragen ( $Q$ ).
Such-Phase (Search Stage): Für jede Frage führt der Agent ein iteratives Retrieval aus einem vordefinierten Evidenzspeicher durch (mittels semantischer Suche via Qwen3-Embedding-0.6B und kNN) und generiert evidenzbasierte Antworten ( $A$ ). Der Kontext wird zwischen den Fragen zurückgesetzt, um eine unnötige Expansion zu verhindern.
Urteils-Phase (Verdict Stage): Basierend auf der akkumulierten Evidenz und den Antworten sagt der Agent das endgültige Wahrheitslabel voraus (Unterstützt, Widerlegt, Nicht genügend Evidenz oder Widersprüchliche Evidenz).

2.3 Prozessbewusste Belohnungsfunktion (Process-Aware Reward Function)

Um die Spärlichkeit des finalen Labels zu adressieren, führt ProFact eine prozessbewusste Belohnungsfunktion ein, die dichte, phasenbezogene Überwachung bietet:

Fragen-Phase-Belohnung ( $r_q$ ): Berechnet via METEOR-basiertem Matching zwischen generierten Fragen und Goldstandard-Fragen.
Such-Phase-Belohnung ( $r_s$ ): Berechnet via METEOR-basiertem Matching zwischen generierten Frage-Antwort-Paaren und Goldstandard-Evidenz-Annotationen.
Urteils-Phase-Belohnung ( $r_v$ ): Eine Indikatorfunktion ($1$, wenn das vorhergesagte Label mit dem Gold-Label übereinstimmt, $0$ andernfalls).
Gesamter Ertrag (Total Return): Die Summe der Belohnungen über die Trajektorie hinweg, wodurch ein spärliches Ergebnis-Signal in ein Zwischen-Lernsignal transformiert wird.

2.4 Optimierung via GRPO

Das Framework verwendet Group Relative Policy Optimization (GRPO) für das Training. Anstatt ein separates Critic-Netzwerk zu verwenden, schätzt GRPO die Advantage-Funktion, indem es eine Gruppe von $G$ für denselben Claim gesampelten Trajektorien vergleicht. Die Advantage $\hat{A}_{i,g}$ wird berechnet, indem der Gesamtertrag einer Trajektorie gegen den Mittelwert und die Standardabweichung der Gruppe normalisiert wird. Dies ermöglicht eine stabile, End-to-End-Optimierung der einheitlichen Policy, ohne dass eine Value-Function-Approximation erforderlich ist, was angesichts der heterogenen Natur der Phasen-Belohnungen und Retrieval-Abhängigkeiten schwierig wäre.

3. Kernbeiträge

Agentic Verification Framework: ProFact vereinheitlicht Claim-Dekomposition, Evidenz-Retrieval und Urteilsvorhersage in einer einzigen Policy mit expliziten Retrieval-Aktionen und formuliert die Verifizierung als langfristiges agentisches Entscheidungsproblem.
Prozessbewusste Trajektorien-Optimierung: Die Einführung einer prozessbewussten Belohnungsfunktion liefert dichtes Zwischenfeedback und ermöglicht es dem Modell zu lernen, welche Zwischenverhaltensweisen (Dekomposition, Suche, Reasoning) zur finalen Genauigkeit beitragen.
Empirische Validierung: Umfassende Experimente zeigen, dass ProFact sowohl die Verifizierungsleistung als auch die Inferenz-Effizienz im Vergleich zu starken Baselines verbessert.

4. Experimentelle Ergebnisse

Die Experimente wurden auf dem AVeriTeC-Datensatz mit vier Open-Source-Backbone-Modellen (Qwen2.5-3B/7B, Qwen3-4B/8B) durchgeführt.

Leistung: ProFact übertraf die Baselines (Consistency, InFact, HerO) konsistent über alle Metriken hinweg.
- AVeriTeC-Score: ProFact erreichte die höchsten Scores (z. B. 48,00 bei Qwen2.5-7B gegenüber 42,80 für HerO), was eine überlegene End-to-End-Verifizierungsfähigkeit anzeigt.
- Genauigkeit: ProFact zeigte eine verbesserte Genauigkeit bei der Vorhersage des finalen Labels.
- Zwischenqualität: ProFact erreichte die besten Q-only METEOR-Scores, was auf eine stärkere Claim-Dekomposition hindeutet, sowie kompetitive Q&A METEOR-Scores.
Effizienz: ProFact demonstrierte signifikante Gewinne in der Inferenz-Effizienz. Im Vergleich zu InFact reduzierte ProFact die Zeit pro Claim um etwa 50–70 % und senkte den Token-Verbrauch erheblich (z. B. 0,38M Output-Token gegenüber 0,66M für InFact auf Qwen2.5-7B).
Ablationsstudie: Das Entfernen der Prozess-Belohnungen (w/o PR) führte zu einem konsistenten Leistungsabfall über alle Backbones hinweg, was bestätigt, dass die Überwachung des finalen Labels allein nicht ausreicht, um effektive mehrstufige Trajektorien zu lernen.
Algorithmenvergleich: GRPO erwies sich für diese Aufgabe als überlegen gegenüber PPO, DAPO und GiGPO, wahrscheinlich aufgrund seiner Fähigkeit, stabile Trajektorien-Signale ohne die Komplexität des Erlernens einer Value-Function für heterogene Phasen-Belohnungen bereitzustellen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass die prozessbewusste Trajektorien-Optimierung ein kritischer Mechanismus für die mehrstufige Faktenverifizierung ist. Indem ProFact die Verifizierung als einen vereinheitlichten Entscheidungsprozess statt als eine Pipeline isolierter Module behandelt, ermöglicht es frühere Entscheidungen (wie die Dekomposition), sich an die Anforderungen späterer Phasen (wie die Urteilsvorhersage) anzupassen. Die Ergebnisse unterstreichen, dass:

Zwischenliche Überwachung essenziell für ein effektives Credit Assignment in Langzeit-Aufgaben ist.
Agentic RL mit prozessbewussten Belohnungen gleichzeitig die Genauigkeit verbessern und die Inferenzkosten senken kann, indem gezieltere, weniger redundante Verifizierungsstrategien erlernt werden.
Größere Modelle nicht zwangsläufig eine bessere evidenzbasierte Verifizierung liefern, da sie eher auf parametrischem Wissen als auf abgerufener Evidenz basieren könnten; dennoch bleibt das ProFact-Framework über verschiedene Modellskalen hinweg effektiv.

Die Autoren kommen zu dem Schluss, dass ihre Arbeit die Effektivität von End-to-End Reinforcement Learning für die Optimierung komplexer, mehrstufiger Reasoning-Workflows in der automatisierten Faktenverifizierung demonstriert.