DS@GT ARC at CheckThat! 2026: LLM-Based Trace Ranking and Grouped Reward Modeling for Multilingual Numerical Claim Verification
Dieses Papier präsentiert das DS@GT ARC-System für CheckThat! 2026, welches demonstriert, dass ein LLM-basierter Verifizierer mit Best-of-N-Selektion ein leichtgewichtiges TF-IDF-Belohnungsmodell bei der mehrsprachigen numerischen Behauptenverifizierung übertrifft, während es gleichzeitig zeigt, dass AraBERT die mehrsprachigen Baselines für Arabisch übertrifft und die Zerlegung in Teilbehauptungen die Leistung nicht verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich das Internet als eine riesige, chaotische Bibliothek vor, in der jeder ein Buch schreiben kann und manche dieser Bücher manchmal mit Lügen gefüllt sind. In diesem digitalen Zeitalter verbreiten sich falsche Geschichten schneller als ein Gerücht auf einem Schulflur, wobei sie sich oft hinter einer Mauer aus Zahlen und Daten verstecken, die sie super seriös aussehen lassen. Dies ist die Welt des „Fact-Checking“, ein Bereich, in dem Wissenschaftler versuchen, Roboter-Detektive zu bauen, um Wahrheit von Fiktion zu trennen. Aber hier ist der knifflige Teil: Wenn eine Lüge eine spezifische Zahl enthält – wie etwa „50 % der Menschen taten dies“ – fühlt sie sich für unser Gehirn realer an, selbst wenn sie erfunden ist. Dies wird als „numerischer Wahrheitseffekt“ bezeichnet. Um diese hinterlistigen Lügen zu entlarven, brauchen wir Computer, die nicht nur Wörter lesen, sondern auch Mathematik betreiben und Daten prüfen können – eine Fähigkeit, die für Maschinen bisher notorisch schwer zu meistern war.
Stellen Sie sich nun ein Team von Forschern der Georgia Tech vor, die an einem hochkarätigen Wettbewerb namens „CheckThat!“ teilnehmen, um den ultimativen Faktencheck-Roboter zu bauen. Ihre Mission? Ein System zu erschaffen, das Behauptungen über Zahlen und Daten sowohl in Englisch als auch in Arabisch verifizieren kann. Aber sie wollten nicht bloß einen Roboter, der mit „Wahr“ oder „Falsch“ rät. Sie wollten einen Roboter, der einen Stapel verschiedener Argumentationspfade (wie verschiedene Detektive, die ihre Fallakten schreiben) durchsehen und den besten auswählen kann, um das Urteil zu fällen. Denken Sie an einen Richter, der nicht nur ein Urteil will, sondern auch die am besten geschriebene juristische Argumentation sehen möchte, um sicherzustellen, dass die Entscheidung fundiert ist.
Das Team, bekannt als DS@GT, probierte zwei sehr unterschiedliche Strategien aus, um dieses Rätsel zu lösen. Der erste Ansatz war wie die Einstellung eines superintelligenten, belesenen Detektivs (ein Large Language Model) und ihm eine spezielle Trainingssitzung zu geben, um zu lernen, wie man die Arbeit anderer Detektive bewertet. Sie verwendeten eine Technik namens „LoRA“, was so ist, als würde man dem Detektiv ein Set spezialisierter Textmarker geben, damit er sich auf die wichtigsten Teile des Falls konzentrieren kann, ohne sein ganzes Gehirn neu schreiben zu müssen. Sie versuchten sogar, große, komplizierte Behauptungen zuerst in kleinere, leicht verdauliche Stücke zu zerlegen, in der Hoffnung, dass dies die Aufgabe einfacher machen würde.
Der zweite Ansatz war eher wie ein schneller, cleverer Bibliothekar. Anstatt eines superintelligenten Detektivs bauten sie ein leichtgewichtiges Werkzeug, das nach spezifischen Mustern suchte, wie zum Beispiel dem Zählen, wie viele Zahlen oder Daten zwischen der Behauptung, dem Beleg und der Argumentation übereinstimmten. Es war ein „Belohnungsmodell“, das Punkte für Übereinstimmungen bei Zahlen vergab und Abweichungen bestrafte, und dann die Ergebnisse gruppierte, um zu sehen, welche Entscheidung die meiste Unterstützung hatte.
Und was haben sie herausgefunden? Der „superintelligente Detektiv“ (der LLM-Ansatz) erwies sich als der Gesamtsieger, insbesondere beim schnellen Finden des richtigen Argumentationspfads. Er war besser darin, die richtige Antwort in den meisten Situationen zu entdecken. Dennoch hatte der „schnelle Bibliothekar“ (das Belohnungsmodell) eine Geheimwaffe: Er war überraschend gut darin, mit den unordentlichen, verwirrenden Fällen umzugehen, in denen die Beweise zwischen „Wahr“ und „Falsch“ gespalten waren – eine Kategorie, die die Forscher als „Konfliktbehaftet“ (Conflicting) bezeichnen.
Interessanterweise funktionierte die Idee des Teams, große Behauptungen in kleinere Stücke zu zerlegen, nicht wie erhofft. Anstatt die Aufgabe einfacher zu machen, fügte es eher Rauschen hinzu, so als würde man versuchen, ein Puzzle zu lösen, indem man die Teile in noch kleinere, verwirrende Fragmente zerschneidet. Für den arabischen Teil der Herausforderung fanden sie heraus, dass die Verwendung eines Modells, das speziell auf Arabisch trainiert wurde (AraBERT), viel besser war als die Verwendung eines allgemeinen Modells, das viele Sprachen spricht, was beweist, dass ein Spezialist manchmal besser ist als ein Generalist.
Am Ende legt das Paper nahe, dass, obwohl große, intelligente KI-Modelle derzeit die besten Allround-Faktenchecker sind, wir den Wert einfacherer Mustererkennungs-Werkzeuge nicht ignorieren sollten, wenn es um die ambivalentesten und schwierigsten Behauptungen geht. Sie haben das Problem der Desinformation nicht für immer gelöst, aber sie haben uns eine klarere Karte gegeben, welche Werkzeuge für welche Art von Lüge am besten funktionieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.