UTS at CheckThat! 2026: Cite-Frame Engineering for Generated Fact-Checking Articles

In dem modernen Informationsökosystem ist die Verifizierung einer Behauptung nur die halbe Miete; zu erklären, warum sie wahr oder falsch ist, ist die andere Hälfte. Dies ist das Terrain des automatisierten Faktenchecks, ein Feld, in dem Computer versuchen, die akribische Arbeit von Journalisten nachzuahmen. Die Herausforderung besteht nicht nur darin, die richtigen Belege zu finden, sondern diese Belege in einen kohärenten Artikel einzubinden, den ein Mensch vertrauen kann und den ein Computer verifizieren kann. Ein kürzlicher Wettbewerb, CheckThat! 2026, stellte Teams vor die Aufgabe, Systeme zu entwickeln, die diese Faktencheck-Artikel automatisch generieren. Die Systeme mussten eine spezifische Behauptung aufgreifen, unterstützende Belege aus einer Liste von Web-Links finden und einen kurzen Bericht schreiben, der diese Links zitiert. Die Bewertung war unerbittlich: Ein Computerprogramm bewertete die Artikel danach, wie gut sie mit von Menschen geschriebenen Beispielen übereinstimmten und – entscheidend – ob jeder einzelne Satz, der eine Quelle zitierte, tatsächlich durch den Text an dieser Quelle gestützt wurde. Wenn ein System ein Detail erfand oder eine Quelle auch nur geringfügig falsch wiedergab, würde der Computer es schwer bestrafen.

Ein Team der University of Technology Sydney trat zu diesem Wettbewerb mit einem System an, das einen anderen Weg einschlug als die meisten. Während andere Teams versuchten, leistungsstarke künstliche Intelligenz zu nutzen, um den gesamten Artikel von Grund auf neu zu schreiben, baute das Sydney-Team ein System, das auf ein starres, berechenbares Template für den Haupttext vertraute und künstliche Intelligenz nur als strengen Wächter einsetzte, um die Quellen zu prüfen. Ihr Ansatz verhalf ihnen zum zweiten Platz von elf Teams. Der Schlüssel zu ihrem Erfolg lag nicht darin, kreativere Prosa zu erzeugen, sondern darin, exakt zu verstehen, wie der Computer-Richter funktionierte. Sie entdeckten, dass der Richter unglaublich konservativ war und Artikel belohnte, die sich eng an die bereitgestellten Fakten hielten, und jene ablehnte, die zusätzliche Ausschmückungen oder unverifizierte Details enthielten. Durch das Design ihres Systems, das diese strengen Regeln respektierte, schufen sie eine Maschine, die zuverlässig Faktencheck-Artikel produzieren konnte, die zwar nicht besonders elegant, aber dennoch korrekt waren.

Die Forscher begannen, indem sie die offensichtlichste Idee testeten: ein Large Language Model – eine Art von künstlicher Intelligenz, die in der Lage ist, flüssigen Text zu schreiben – den gesamten Artikel entwerfen zu lassen. Sie versuchten dies mit Modellen unterschiedlicher Größe, in der Hoffnung, die Maschine würde lernen, wie ein professioneller Faktenchecker zu klingen. Es funktionierte nicht. Die von diesen Modellen generierten Artikel scheiterten konsequent am Bewertungssystem des Computers. Das Problem war strukturell. Der Computer-Richter suchte nach spezifischen Mustern im Text, insbesondere danach, wie Quellen zitiert wurden. Wenn die künstliche Intelligenz versuchte, natürlich zu schreiben, änderte sie oft die Art und Weise, wie eine Quelle erwähnt wurde, oder fügte zusätzliche Wörter hinzu, die der Computer nicht gegen den Originalbeleg verifizieren konnte. Selbst eine kleine Änderung, wie das Hinzufügen eines Namens eines Rezensenten oder eines Datums, das nicht im Quelltext stand, führte dazu, dass der Computer den Satz ablehnte. Je fähiger die künstliche Intelligenz beim Schreiben war, desto mehr driftete sie von den strengen Mustern ab, die der Richter verlangte. Das Team erkannte, dass der Versuch, die Maschine zum „besseren Schreiben“ zu bringen, ihre Leistung eigentlich verschlechterte.

Anstatt zu versuchen, das Schreiben zu verbessern, entschied sich das Team, die Struktur zu verbessern. Sie bauten ein System, das mit einem einfachen, unveränderlichen Template begann. Dieses Template erstellte einen Basistext mit einer Überschrift, einem einzelnen Satz für jedes Beweisstück und einem Fazit. Dieser „Stub“-Entwurf war langweilig, aber er war sicher. Er folgte den Regeln perfekt. Das Team fügte diesem System zwei spezifische Werkzeuge hinzu, die wie ein Qualitätskontrolleur fungierten. Das erste Werkzeug, das sie einen „Domain-Attribution Frame“ nannten, bettete jede Zitierung einfach in eine Standardphrase wie „Laut der Website [Fakt]“ ein. Diese kleine Änderung ließ die Sätze eher wie die von Menschen geschriebenen Beispiele klingen, mit denen der Computer sie verglich, ohne jedoch die Fakten zu verändern. Das zweite Werkzeug war ein „Shadow Validator“. Bevor das System einen Satz finalisierte, fragte es ein kleines KI-Modell, ob dieser spezifische Satz tatsächlich durch den Quellen-Link gestützt wurde. Wenn das Modell mit Nein antwortete, versuchte das System den nächsten Satz aus der Quelle. Sollte auch das fehlschlagen, blieb es bei dem ursprünglichen, sicheren Satz. Dies stellte sicher, dass jede vom System produzierte Zitierung etwas war, das der Computer-Richter akzeptieren würde.

Die Ergebnisse dieses Ansatzes waren klar und messbar. Auf den Validierungsdaten, mit denen das System vor dem Wettbewerb getestet wurde, verbesserte ihre Methode das Gesamtergebnis um eine kleine, aber signifikante Marge im Vergleich zum Basis-Template. Als sie das Framing-Werkzeug und den Shadow Validator kombinierten, war die Verbesserung noch größer. Das System versuchte nicht, clever zu sein; es stellte lediglich sicher, dass jeder Satz verifizierbar war und das korrekte Format einhielt. Im finalen Wettbewerb erreichte ihr System eine Punktzahl von 0,484 und belegte damit den zweiten Platz unter elf Teams. Das Gewinnerteam hatte eine höhere Punktzahl, aber die Differenz lag ausschließlich in einer spezifischen Metrik: der Zitierpräzision. Das Gewinnerteam schaffte es, Quellen mit einer viel höheren Genauigkeit zu zitieren, wahrscheinlich indem es sich entschied, unsichere Quellen wegzulassen, während das Sydney-Team jede ihnen zur Verfügung gestellte Quelle zitierte. Das System des Sydney-Teams war so zuverlässig, dass es fast alle verfügbaren Belege zitierte, aber weil es die unsicheren nicht wegließ, war seine Präzisionspunktzahl niedriger.

Die Arbeit des Teams offenbarte zwei wichtige Lehren für die Zukunft des automatisierten Faktenchecks. Erstens: Wenn ein Computer-Richter darauf ausgelegt ist, streng bei der Verifizierung zu sein, schadet das Hinzufügen von Extrawörtern oder der Versuch, den Text menschlicher klingen zu lassen, oft der Punktzahl. Die effektivste Strategie bestand darin, den Text einfach zu halten und strikt an die Belege gebunden zu bleiben. Zweitens waren die Werkzeuge, die zur Auswahl des zu zitierenden Satzes verwendet wurden, oft irreführend. Das Team fand heraus, dass Standardmethoden, um den „besten“ Satz aus einer Quelle zu wählen – wie etwa die Suche nach dem längsten Satz oder demjenigen, der am relevantesten für die Behauptung ist – oft Sätze auswählten, die der Computer-Richter ablehnen würde. Der einzige zuverlässige Weg, einen Satz auszuwählen, war, den Richter selbst zu fragen. Diese Erkenntnis legt nahe, dass in Aufgaben, in denen Genauigkeit durch strikte Verifizierung gemessen wird, der beste Ansatz nicht darin besteht, neuen Inhalt zu generieren, sondern bestehenden Inhalt sorgfältig zu kuratieren und zu verifizieren.

Die Forscher stellten auch fest, dass ihr System eine Einschränkung hatte. Da sie verpflichtet waren, jeden bereitgestellten Beleg zu zitieren, konnten sie nicht die Strategie des Gewinnerteams übernehmen, welches wahrscheinlich unsichere Quellen ausließ, um eine hohe Genauigkeitswertung beizubehalten. Das Team aus Sydney vermutete, dass ihre Punktzahl höher ausgefallen wäre, wenn sie eine Regel hinzugefügt hätten, wonach jede Quelle, bei der sich der Richter unsicher war, verworfen wird. Sie testeten dies jedoch während des Wettbewerbs nicht. Ihre Arbeit steht als Demonstration dafür, dass in hochsensiblen Verifizierungsaufgaben ein einfaches, deterministisches System, das Genauigkeit über Kreativität stellt, komplexe KI-Modelle übertreffen kann, die versuchen, wie Menschen zu schreiben. Das Paper schließt mit dem Schluss, dass sich der Fokus für die nächste Generation dieser Systeme von der Generierung besserer Prosa hin zur Entwicklung smarterer Wege verschieben sollte, zu entscheiden, was aufgenommen und was weggelassen wird, um sicherzustellen, dass jedes Wort, das die Maschine schreibt, als wahr bewiesen werden kann.