A Grounded and Decomposed Framework for Relation-Level Hallucination Evaluation in Abstractive Summarization

Stellen Sie sich vor, Sie lesen eine Geschichte, die von einem sehr talentierten, aber leicht schelmischen Roboter geschrieben wurde. Dieser Roboter ist ein Experte für „abstraktive Zusammenfassung“, was nur eine schicke Art zu sagen ist, dass er einen langen Artikel liest und eine kurze, prägnante Version in seinen eigenen Worten schreibt. Er ist großartig darin, natürlich und flüssig zu klingen; seine Sätze fließen wie ein Fluss. Aber hier ist der Haken: Manchmal erfindet der Roboter Dinge, in seinem Bestreben, cool zu klingen. Er behält vielleicht die Namen der Personen bei, vertauscht aber, wer was mit wem gemacht hat. Es ist, als würde ein Nachrichtensprecher sagen: „Der Präsident unterzeichnete den Vertrag“, während das Dokument eigentlich besagt: „Der Vertrag wurde vom Sekretär unterzeichnet.“ Die Wörter sind da, aber die Wahrheit ist verdreht. Dies wird als „Halluzination“ bezeichnet, und in der Welt der künstlichen Intelligenz ist das ein großes Problem, denn wir brauchen unsere Zusammenfassungen nicht nur schön, sondern wahrhaftig.

Lange Zeit nutzten Wissenschaftler, die versuchten, diese lügenden Roboter zu überführen, Werkzeuge, die dem Überprüfen einer Einkaufsliste glichen. Sie zählten, wie viele Wörter der Roboter verwendete, die auch im Originalartikel vorkamen. Wenn der Roboter das Wort „Apfel“ verwendete und das Original hatte „Apfel“, war das ein Punkt für ihn. Aber das ist so, als würde man einen Koch danach beurteilen, wie viele Zutaten er verwendet hat, ohne das Gericht zu probieren. Man könnte eine Schüssel voller roher, ungekochter Zutaten haben, die perfekt zur Liste passt, aber es ist trotzdem eine schreckliche Mahlzeit. Die alten Werkzeuge waren gut darin zu prüfen, ob der Roboter sich an die Namen erinnerte, aber sie waren schrecklich darin, zu prüfen, ob er sich an die Beziehungen zwischen diesen Namen erinnerte. Sie konnten nicht zwischen einem Roboter unterscheiden, der die Wahrheit sagte, und einem, der eine sehr überzeugende Lüge erzählte.

Hier kommen ein Team von Forschern vom IIIT Bhubaneswar und einigen Industriepartnern mit einem neuen, schärferen Paar Brillen ins Spiel. Sie erkannten, dass man, um einen Lügner zu überführen, nicht nur Wörter zählt; man muss die Struktur der Geschichte verstehen. Sie entwickelten ein neues Framework zur Bewertung von Zusammenfassungen, das wie ein Detektiv agiert, der nach „Beziehungs-Halluzinationen“ sucht. Anstatt nur zu fragen: „Hast du die richtigen Wörter benutzt?“, fragen sie: „Hast du die richtigen Punkte verbunden?“

Die Forscher entwickelten ein neues Bewertungssystem namens Relation Hallucination Index (RHI). Stellen Sie sich den Originaltext als ein komplexes Netz aus Schnüren vor, die verschiedene Charaktere und Ereignisse miteinander verbinden. Eine gute Zusammenfassung sollte diese Schnüre intakt halten. Eine halluzinierende Zusammenfassung könnte eine Schnur durchschneiden und sie an die falsche Person binden. Die alten Werkzeuge würden dies übersehen, weil die Charaktere (die Wörter) immer noch da sind. Der neue RHI hingegen ist darauf ausgelegt, jede einzelne Schnur nachzuverfolgen. Er nutzt einen ausgeklügelten Prozess, um den Text in winzige Bausteine namens „Triples“ zu zerlegen – im Grunde ein Subjekt (wer), ein Verb (tat was) und ein Objekt (zu wem).

Um sicherzustellen, dass diese Triples korrekt sind, nutzte das Team nicht nur einen einfachen Scanner. Sie bauten eine „abhängigkeitsbewusste“ Extraktions-Engine. Stellen Sie sich diese Engine als einen sehr sorgfältigen Editor vor, der die Wörter nicht nur liest, sondern die Grammatik tief im Inneren versteht. Er weiß, wie er mit kniffligen Sätzen umgeht, in denen das Subjekt verborgen ist (wie im Passiv: „Der Ball wurde geworfen“ wird zu „Jemand warf den Ball“). Er weiß, wie er Wörter ignoriert, die nur Sprache berichten („Er sagte, dass...“), und sich auf die eigentlichen Fakten konzentriert. Er bereinigt die Wörter sogar, indem er sie in ihre Grundform konvertiert (aus „running“ wird „run“), damit er nicht verwirrt wird, wenn verschiedene Zeitformen auftreten. Dies stellt sicher, dass sie beim Vergleich der Zusammenfassung mit dem Original Äpfel mit Äpfeln vergleichen und nicht Äpfel mit Apfelkuchen.

Das Team testete dieses neue System auf einem massiven Spielplatz aus Daten. Sie verwendeten drei verschiedene Arten von Nachrichten-Datensätzen: XSUM (das sehr kurze, hochgradig kreative Zusammenfassungen hat), XLSUM (das Nachrichten aus vielen verschiedenen Ländern und Sprachen enthält) und den CNN/DailyMail-Datensatz (der längere, detailliertere Geschichten enthält). Sie baten vier berühmte KI-Modelle – BART-large-CNN, PEGASUS, T5-large und GPT-3.5 – 800 verschiedene Nachrichtengeschichten zusammenzufassen. Sie fügten auch eine „menschliche Referenz“-Zusammenfassung hinzu, um zu sehen, wie nah die Roboter an einen perfekten menschlichen Wert herankommen könnten.

Die Ergebnisse waren augenöffnend. Wenn sie die alten, wortzählbaren Werkzeuge verwendeten, sah PEGASUS oft wie der Gewinner aus, weil es viele der gleichen Wörter wie das Original verwendete. Aber als die Forscher ihren neuen RHI-Score anwandten, änderte sich das Bild. BART schnitt tatsächlich am besten ab, was die Bewahrung der wahren Beziehungen zwischen Ereignissen betrifft, obwohl es nicht immer die exakt gleichen Wörter verwendete. GPT-3.5 war zwar gut in einigen Dingen, zeigte aber eine hohe „Relation Insertion Variability“, was bedeutet, dass es manchmal neue Verbindungen erfand, die gar nicht da waren. Die Studie ergab, dass der neue RHI-Score viel besser darin war, diese subtilen Lügen zu entdecken als die alten Methoden.

Eine der interessantesten Entdeckungen war, dass der neue Score „normalisiert“ ist. Das bedeutet, dass er gleichermaßen gut funktioniert, egal ob man sich eine kurze, knackige Zusammenfassung oder eine lange, detaillierte ansieht. Sie brachen die Fehler in verschiedene Kategorien auf: Dinge, die das Modell richtig gemacht hat, Dinge, die es erfunden hat, Dinge, die es ausgelassen hat und Dinge, die es falsch gemacht hat. Durch das Betrachten dieser Teile konnten sie genau sehen, wie ein Modell scheiterte. Beispielsweise fanden sie heraus, dass einige Modelle zwar gut darin waren, die Hauptfakten beizubehalten, aber schrecklich darin waren, negative Aussagen zu handhaben (wie „Das Unternehmen ging nicht bankrott“).

Die Forscher führten statistische Tests durch, um sicherzustellen, dass ihre Ergebnisse nicht bloß Glück waren. Sie fanden heraus, dass die Unterschiede in den Scores zwischen den Modellen signifikant waren, was bedeutet, dass der neue RHI-Score ein zuverlässiger Weg ist, um eine gute, wahre Zusammenfassung von einer schlechten, halluzinierenden zu unterscheiden. Sie zeigten auch, dass ihre neue Methode besser ist als der alte „Entity Hallucination Index“ (der nur prüfte, ob die Namen richtig waren), weil sie die Aktionen und Verbindungen zwischen diesen Namen prüft.

Am Ende legt dieses Paper nahe, dass wir, wenn wir wollen, dass KI vertrauenswürdig ist, aufhören müssen, nur Wörter zu zählen, und statfangen müssen, die Logik der Geschichte zu prüfen. Der neue Relation Hallucination Index bietet eine Möglichkeit, genau das zu tun. Er sagt uns nicht nur, ob eine Zusammenfassung gut klingt; er sagt uns, ob die Geschichte, die sie erzählt, tatsächlich wahr ist. Die Autoren hoffen, dass dieser Art von Score in Zukunft genutzt werden kann, um KI-Modelle zu trainieren, ehrlicher zu sein, und ihnen zu helfen zu lernen, dass Eloquenz allein nicht ausreicht – man muss auch den Fakten treu bleiben.