💬 NLP

DecomposeRL: Learning to Ask Useful, Informative, and Diverse Questions for Semi-Supervised, Traceable Claim Verification

DecomposeRL ist ein halbüberwachtes, nachvollziehbares Behauptungsverifikationsframework, das einen Datenkuratierungs-Trichter und GRPO-basiertes Reinforcement Learning nutzt, um ein kompaktes 7B-Modell zu trainieren, das eine Leistung erzielt, die mit deutlich größeren Baselines vergleichbar ist, während es interpretierbare Schlussfolgerungsspuren erzeugt.

Ursprüngliche Autoren: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

Veröffentlicht 2026-05-28

📖 6 Min. Lesezeit🧠 Tiefgang

CC0 1.0

Ursprüngliche Autoren: Shubhashis Roy Dipta, Ankur Padia, Francis Ferraro

Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Die „Black Box" versus der „langsame Detektiv"

Stellen Sie sich vor, Sie versuchen, ein wildes Gerücht zu überprüfen, wie zum Beispiel: „Der Autor von '1984' hat den Nobelpreis gewonnen."

Derzeit gibt es zwei Möglichkeiten, wie Computer versuchen, dies zu lösen:

Der „Black Box"-Klassifikator: Dies ist wie ein superschneller Sicherheitsbeamter, der das Gerücht betrachtet und sofort ruft: „Falsch!" Es ist schnell und meist richtig, aber wenn Sie fragen: „Warum?", zuckt er nur mit den Schultern. Es gibt Ihnen keinen Beweis. In hochriskanten Situationen (wie Medizin oder Politik) können Sie ein Urteil nicht vertrauen, ohne die Beweise zu sehen.
Der „langsame Detektiv" (Zerlegung): Dies ist wie ein Detektiv, der das Gerücht in kleine Fragen aufteilt: „Wer hat 1984 geschrieben?" -> „Hat diese Person einen Nobelpreis gewonnen?" Er schreibt jeden Schritt auf, sodass Sie den Beweis sehen können. Diese Detektiven sind jedoch oft langsam, machen Fehler und haben Schwierigkeiten, aus neuen Fällen zu lernen, ohne dass ein menschlicher Lehrer ihnen die Hand führt.

DECOMPOSERL ist ein neues System, das versucht, das Beste aus beiden Welten zu sein: ein schneller, genauer Detektiv, der für jede Antwort eine klare, überprüfbare Spur von Beweisen hinterlässt.

Wie es funktioniert: Der „kluge Fragesteller"

Anstatt nur die Antwort zu erraten, wird DECOMPOSERL so trainiert, dass es ein Meisterverhörführer ist. Seine Aufgabe ist es nicht, die Behauptung direkt zu beantworten; seine Aufgabe ist es, den perfekten Satz von Fragen zu stellen, um die Wahrheit herauszufinden.

Stellen Sie es sich wie ein Spiel von 20 Fragen vor, bei dem der Computer gegen sich selbst spielt, um den effizientesten Weg zur Wahrheit zu finden.

1. Das „Belohnungssystem" (Der Trainer)

Um diese KI beizubringen, gute Fragen zu stellen, sagten die Forscher nicht einfach „Gut gemacht" oder „Schlecht gemacht". Sie bauten ein mehrdimensionales Belohnungssystem (wie ein strenger Trainer mit einer Checkliste). Die KI erhält Punkte nur, wenn ihre Fragen drei spezifische Kriterien erfüllen:

Nützlich (Der „Spielverderber"): Wenn Sie diese Frage entfernen, ändert sich dann die endgültige Antwort?
- Analogie: Stellen Sie sich eine Jury vor. Wenn ein Geschworener fragt: „Besaß der Angeklagte ein rotes Auto?" und das Urteil gleich bleibt, war diese Frage nutzlos. Aber wenn sie fragen: „War der Angeklagte am Tatort?" und das ändert das Urteil, war diese Frage nützlich. DECOMPOSERL behält nur Fragen, die das Ergebnis tatsächlich verändern.
Informativ (Die „Nur Fakten"-Regel): Die Frage muss ausschließlich mit den bereitgestellten Beweisen beantwortbar sein und muss eine einzelne, klare Tatsache darstellen.
- Analogie: Zu fragen „Ist diese Behauptung wahr?" ist eine schlechte Frage, weil sie das Problem nur wiederholt. Zu fragen „Wie viele Seiten hat das Buch?" ist schlecht, wenn die Länge des Buches keine Rolle spielt. Die KI lernt, Dinge wie „Wer hat das Buch geschrieben?" zu fragen, was eine spezifische, fundierte Tatsache ist.
Vielfältig (Die „Keine Wiederholung"-Regel): Die Fragen sollten nicht redundant sein.
- Analogie: Wenn Sie fragen „Wer hat das Buch geschrieben?" und dann „Wer ist der Autor des Buches?", haben Sie Zeit verschwendet. Die KI lernt, verschiedene Fragen zu stellen, die verschiedene Teile des Puzzles abdecken.

2. Der „Daten-Trichter" (Der Filter)

Das Training einer intelligenten KI erfordert normalerweise Millionen von Beispielen, was teuer und langsam ist. Die Forscher hatten einen klugen Trick: Der Daten-Trichter.

Sie begannen mit einem riesigen Haufen von 155.000 Fakten-Überprüfungsbeispielen aus dem Internet.
Sie führten sie durch eine Reihe von Filtern (wie einen Kaffeefilter):
- Filter 1: Werfen Sie Behauptungen weg, die zu kurz oder zu lang sind.
- Filter 2: Werfen Sie Behauptungen weg, die zu einfach sind (selbst eine einfache KI kann sie lösen) oder zu chaotisch.
- Filter 3: Entfernen Sie Duplikate.
Das Ergebnis: Sie destillierten diesen riesigen Haufen auf eine winzige, hochwertige „Essenz" von nur 5.000 Behauptungen.
Analogie: Stellen Sie sich vor, Sie versuchen, Kochen zu lernen, indem Sie 155.000 zufällige Gerichte probieren, von denen die meisten verbrannt oder fade sind. Stattdessen filterten die Schöpfer von DECOMPOSERL das auf 5.000 perfekte, kochmeisterhafte Rezepte herunter. Die KI lernte schneller und besser von diesem kleinen, hochwertigen Satz als von dem riesigen, chaotischen Haufen.

3. Der „semi-überwachte" Trick (Lernen ohne Lehrer)

Normalerweise benötigen Sie für das Training einer KI einen Menschen, um jede einzelne Antwort zu bewerten (Gold-Labels). Aber Menschen sind langsam und teuer.

DECOMPOSERL hat einen speziellen Modus, in dem es lernen kann, selbst wenn 90 % der Antworten nicht bewertet sind.

Wie? Es verwendet eine Technik namens Selbstkonsistenz. Die KI generiert mehrere verschiedene „Pfade" (Sätze von Fragen) für dieselbe Behauptung. Wenn 7 von 8 Pfaden bei der endgültigen Urteilsfindung übereinstimmen, geht die KI davon aus, dass dieses Urteil korrekt ist, und verwendet es als „Pseudo-Label", um sich selbst zu unterrichten.
Analogie: Stellen Sie sich einen Schüler vor, der einen Test ohne Lösungsschlüssel macht. Wenn der Schüler das Problem auf fünf verschiedene Arten löst und jedes Mal das gleiche Ergebnis erhält, gewinnt er das Vertrauen, dass er richtig liegt, auch ohne dass ein Lehrer nachprüft.

Die Ergebnisse: Klein, aber mächtig

Die Forscher testeten ihr 7-Milliarden-Parameter-Modell (das in der Welt der KI relativ klein ist) gegen viel größere Modelle (32 Milliarden Parameter) und sogar gegen erstklassige proprietäre Systeme wie GPT-4.

Genauigkeit: DECOMPOSERL erreichte die Leistung von Modellen, die viermal größer waren als es selbst.
Effizienz: Es erreichte dies nur mit dem winzigen, kuratierten Datensatz von 5.000 Behauptungen.
Erfolg bei semi-überwachtem Lernen: Selbst wenn es nur mit 10 % gelabelten Daten trainiert wurde (und 90 % selbst bewertet), übertraf es immer noch alle anderen Modelle gleicher Größe.

Die „Spur" (Der Papierkrieg)

Das wichtigste Merkmal von DECOMPOSERL ist, dass es Ihnen nicht nur eine „Wahr/Falsch"-Antwort gibt. Es gibt Ihnen eine Spur.

Analogie: Wenn eine normale KI ein Magier ist, der einen Hasen aus einem Hut zieht (Sie sehen das Ergebnis, aber nicht den Trick), ist DECOMPOSERL ein Magier, der Ihnen den leeren Hut, den Hasen und den genauen Moment zeigt, in dem sie den Hasen hineingesteckt haben, Schritt für Schritt.
Die Ausgabe sieht wie ein Gespräch aus:
1. Frage: „Wer hat 1984 geschrieben?" -> Antwort: „George Orwell."
2. Frage: „Hat George Orwell den Nobelpreis gewonnen?" -> Antwort: „Nein, das Dokument sagt, dass er es nicht getan hat."
3. Urteil: WIDERLEGT (Die Behauptung ist falsch).

Dies ermöglicht es Menschen, die Arbeit zu überprüfen. Wenn die KI einen Fehler macht, können Sie die „Spur" ansehen und genau sehen, welche Frage oder Antwort zu dem Fehler geführt hat.

Zusammenfassung

DECOMPOSERL ist ein intelligenter, effizienter KI-Faktenprüfer, der lernt, die richtigen Fragen zu stellen, um ein Rätsel zu lösen. Es verwendet einen „Filter", um aus einem kleinen, hochwertigen Datensatz zu lernen, und ein „Selbstcheck"-System, um auch dann zu lernen, wenn es keinen Lehrer hat. Das Ergebnis ist ein System, das so genau ist wie riesige Supercomputer, aber eine klare, schrittweise Erklärung liefert, wie es zu seinem Schluss gekommen ist.

Technischer Zusammenfassung: DECOMPOSERL

Problemstellung

Die automatisierte Verifikation von Behauptungen steht vor einem grundlegenden Zielkonflikt zwischen Genauigkeit und Interpretierbarkeit. Aktuelle Ansätze lassen sich allgemein in zwei Kategorien einteilen:

End-to-End-Klassifikatoren: Diese erzielen auf Benchmarks eine hohe Genauigkeit, funktionieren jedoch als „Blackboxen", die ein Urteil aussprechen, ohne nachprüfbare Spuren dafür zu liefern, wie die Schlussfolgerung erreicht wurde. Diese Undurchsichtigkeit ist in hochriskanten Bereichen wie der biomedizinischen Triage, der politischen Faktenprüfung und dem wissenschaftlichen Peer-Review problematisch, da Nutzer Einsicht darin benötigen, welche Teile einer Behauptung verifiziert wurden und warum.
Zerlegungsbasierte Methoden: Diese zerlegen Behauptungen in atomare Teilfragen, um nachprüfbare Spuren zu generieren. Sie hinken jedoch in der Leistung oft hinter End-to-End-Klassifikatoren zurück. Bestehende Zerlegungsmethoden verlassen sich auf brüchiges Prompting oder teures Imitationslernen (Feinabstimmung auf Gold-Zerlegungen), ohne ein Trainingssignal zu besitzen, das die tatsächliche Eignung der Zerlegung für die Verifikationsaufgabe misst.

Methodik

Die Autoren schlagen DECOMPOSERL vor, ein Reinforcement-Learning-(RL)-Framework, das eine Policy trainiert, Behauptungen in nützliche, informative und diverse Fragen zu zerlegen, wodurch sowohl hohe Genauigkeit als auch auditierbare Spuren erzielt werden.

1. Datenkuratierungs-Trichter

Um die prohibitiven Kosten für das Training von RL-Policies auf großen, verrauschten Korpora zu adressieren, entwickelten die Autoren einen mehrstufigen Datenkuratierungs-Trichter. Ausgehend von ca. 155.000 Behauptungen über 14 heterogene Korpora hinweg destillierten sie einen kompakten, lernsignal-dichten Subset von 5.464 Behauptungen (~4 % der ursprünglichen Daten). Die Filterstufen umfassen:

Regelbasiertes Filtern: Entfernen von Behauptungen mit unzureichender Evidenzlänge, trivialer lexikalischer Überlappung oder weniger als zwei benannten Entitäten.
Schwierigkeitsbasiertes Filtern: Verwendung eines MiniCheck-7B-Verifizierers, um nur Behauptungen zu behalten, bei denen das Modell unsicher ist (Konfidenz $0,3 \le p \le 0,8$ ), wodurch sichergestellt wird, dass die Trainingsdaten nicht-triviale Schlussfolgerungsherausforderungen enthalten.
Deduplizierung und Dekontamination: Entfernen von Near-Duplicates mittels MinHash und Kosinus-Ähnlichkeit, um Datenlecks zu verhindern und Diversität sicherzustellen.
Silberne Zerlegung: Generierung von „silbernen" (pseudo-gelabelten) Zerlegungen mit GPT-5-mini für die verbleibenden Behauptungen.
Diversitätsauswahl: Verwendung eines Facility-Location-Ziels (submodulare Maximierung), um einen finalen Subset auszuwählen, der die Abdeckung im Embedding-Raum maximiert und sicherstellt, dass der Trainingsdatensatz die vollständige Verteilung der Behauptungstypen repräsentiert.
Long-Evidence-Augmentierung: Hinzufügen von Behauptungen mit langen Evidenzkontexten, um Verteilungsverschiebungen während der Evaluation zu verhindern.

2. Reinforcement-Learning-Framework

DECOMPOSERL formuliert die Behauptungsverifikation als iteratives Frage-Antwort-(QA)-Zerlegungsproblem. Die Policy ( $\pi_\theta$ ), basierend auf Qwen2.5-7B-Instruct, generiert eine strukturierte Spur, bestehend aus einer initialen Analyse, $n$ Frage-Antwort-Zyklen und einem finalen Urteil ($SUPPORTED$ oder $REFUTED$).

Die Policy wird mittels Group Relative Policy Optimization (GRPO) mit einem neuartigen multifaktoriellen Reward-Ensemble trainiert. Im Gegensatz zu früheren Arbeiten, die sich auf einen einzelnen Outcome-Reward verlassen, optimiert DECOMPOSERL sieben komplementäre Signale:

Format ( $R_{fmt}$ ): Sicherstellung der Einhaltung des XML-basierten strukturierten Ausgabe-Schemas.
Verifikation ( $R_{ver}$ ): Verankerung der Policy am Ground-Truth-Urteil (nur für gelabelte Daten).
Fragenanzahl ( $R_{qc}$ ): Bestrafung von Abweichungen von der optimalen Anzahl an Teilfragen.
Diversität ( $R_{div}$ ): Verwendung von Maximal Marginal Relevance (MMR) auf Embeddings, um redundante Fragen zu bestrafen.
Abdeckung ( $R_{cov}$ ): Ein LLM-as-a-judge bewertet, ob die Menge der Antworten allein das korrekte Urteil rekonstruieren kann.
Notwendigkeit via Leave-One-Out ( $R_{nec}$ ): Eine kritische Komponente, bei der der Judge bestimmt, ob das Entfernen einer spezifischen Frage das Urteil ändert. Fragen, die notwendig sind (ihr Entfernen kehrt das Urteil um), erhalten hohe Rewards; schädliche Fragen (die das Urteil irreführen) erhalten negative Rewards.
Gemeinsamer multiplikativer Qualitäts-Reward ( $R_{joint}$ ): Ein multiplikativer Reward, der Beantwortbarkeit, Atomicität (einzelner Fokus, keine Konjunktionen) und Korrektheit kombiniert. Dies stellt sicher, dass ein einzelnes Versagen in einer Dimension den Score der Frage auf null treibt.

3. Semi-überwachtes Lernen

Um die Knappheit an Gold-gelabelten Daten zu adressieren, unterstützt DECOMPOSERL semi-überwachtes Training. Für ungelabelte Behauptungen:

Abdeckung wird über Selbstkonsistenz approximiert: Die Mehrheitsstimme von $G$ Rollouts dient als Pseudo-Label.
Notwendigkeit wird relativ zum von der Policy rekonstruierten Urteil berechnet, nicht relativ zu einem Ground Truth.
Der Verifikations-Reward wird für ungelabelte Daten weggelassen, während die anderen Rewards label-agnostisch bleiben.

Hauptbeiträge

Multifaktorielles Reward-Ensemble: Ein neuartiges Rewardsystem, das die Qualität der Zerlegung über mehrere Dimensionen hinweg erfasst (Notwendigkeit, Abdeckung, Diversität, Atomicität) unter Verwendung einer Kombination aus deterministischen Regeln, Embedding-basierten Metriken und LLM-as-a-judge-Evaluationen.
Semi-überwachtes Potenzial: Ein Selbstkonsistenz-Mechanismus, der es dem Modell ermöglicht, aus ungelabelten Behauptungen zu lernen, indem es die intra-Prompt-Übereinstimmung nutzt, was den Ansatz für Bereiche mit teuren Annotationen praktikabel macht.
Effiziente Datenkuratierung: Ein Destillations-Trichter, der den Bedarf an Trainingsdaten um ca. 96 % reduziert (von 155.000 auf ~5.500 Behauptungen) und gleichzeitig die Signaldichte erhöht, was ein effektives RL-Training mit begrenzter Rechenleistung ermöglicht.
Leistung und Skalierbarkeit: Der Nachweis, dass ein mit diesem Framework trainiertes 7B-Parameter-Modell die Leistung deutlich größerer Modelle (32B) und proprietärer Frontier-Modelle (GPT-4.1-mini) erreichen oder übertreffen kann, während es gleichzeitig nachprüfbare Spuren liefert.

Experimentelle Ergebnisse

Die Autoren evaluierten DECOMPOSERL auf 11 Behauptungsverifikations-Benchmarks (9 in-domain, 2 out-of-domain), einschließlich biomedizinischer, politischer und wissenschaftlicher Datensätze.

Genauigkeit: Das DECOMPOSERL-7B-Modell erreichte eine ausgeglichene Genauigkeit von 86,3 % in-domain und 69,8 % out-of-domain.
Vergleich mit Baselines:
- Es übertraf alle zerlegungsbasierten Baselines (z. B. Decomposed Prompting, HiSS, ClaimDecomp) mit deutlichen Margen (+4,4 % in-domain, +2,8 % out-of-domain gegenüber der stärksten Baseline).
- Es übertraf End-to-End-Klassifikatoren wie MiniCheck-7B.
- Es erreichte die Leistung von 32B-Parameter-Modellen und dem Frontier-Modell GPT-4.1-mini bei in-domain-Aufgaben, obwohl es 4-mal kleiner als die 32B-Baseline und um eine Größenordnung kleiner als das Frontier-Modell ist.
Semi-überwachtes Leistungsprofil: Wenn nur mit 10 % gelabelten Daten trainiert ( $s=0,1$ ), behielt DECOMPOSERL-7B eine in-domain-Genauigkeit von 84,6 % und eine out-of-domain-Genauigkeit von 69,7 % bei und übertraf damit weiterhin alle 7B-Baselines.
Ablationsstudien: Das Entfernen des Notwendigkeits-Rewards verursachte den größten Rückgang der out-of-domain-Leistung (-4,8 %), was seine kritische Rolle für die Generalisierung unterstreicht. Das Entfernen von Abdeckung und Diversität beeinträchtigte ebenfalls signifikant die Robustheit, was die Notwendigkeit des gesamten Ensembles für die out-of-domain-Leistung bestätigt.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass DECOMPOSERL erfolgreich die Lücke zwischen Genauigkeit und Interpretierbarkeit in der Behauptungsverifikation schließt. Indem die Autoren die Zerlegung als RL-Problem formulieren, das von einem multifaktoriellen Reward-Ensemble geleitet wird, demonstrieren sie, dass:

Nachvollziehbarkeit nicht auf Kosten der Genauigkeit gehen muss: Das Modell erzeugt auditierbare, schrittweise Verifikationsspuren, ohne die Leistung im Vergleich zu undurchsichtigen Klassifikatoren zu beeinträchtigen.
Parameter-Effizienz: Hohe Leistung kann mit kleineren Modellen (7B) erreicht werden, wenn das Trainingssignal (Reward-Design und Datenkuratierung) optimiert wird, anstatt sich ausschließlich auf die Skalierung der Modellgröße zu verlassen.
Skalierbarkeit in ressourcenarme Umgebungen: Der semi-überwachte Ansatz ermöglicht es dem System, sich an neue Domänen anzupassen, in denen Gold-Standard-Annotationen knapp oder teuer sind, indem Selbstkonsistenz genutzt wird, um das Lernen zu bootstrappen.

Die Autoren positionieren diese Arbeit als Lösung für die „Nachvollziehbarkeitslücke" in der automatisierten Faktenprüfung und bieten eine Methode an, die sowohl genau als auch transparent ist und sich für hochriskante Anwendungen eignet, bei denen Nutzer den Schlussfolgerungsprozess einsehen müssen.