Catching Hallucinated Citations in Video-LLM Question Answering: A Self-Verification Pipeline and Verifier Ablation Study

In der sich rasant entwickelnden Welt der künstlichen Intelligenz lernen Computer gleichzeitig zu sehen und zu sprechen. Diese Systeme, bekannt als Vision-Language-Modelle, können ein Video ansehen und Fragen darüber beantworten, was auf dem Bildschirm geschieht. Sie werden zunehmend verbreitet und helfen dabei, Nachrichtenclips zusammenzufassen, die medizinische Bildgebung zu unterstützen oder einfach einen Familienurlaub zu beschreiben. Ein hartnäckiges Problem plagt diese Systeme jedoch: Sie erfinden oft Dinge mit absoluter Zuversicht. Wenn ein Computer eine Szene beschreibt, erfindet er vielleicht ein Detail, das nie passiert ist, oder schlimmer noch, er weist voller Selbstvertrauen auf einen spezifischen Moment im Video hin, um eine Behauptung zu belegen, die schlichtweg falsch ist. Dies ist eine täuschende Form des Fehlers. Das System halluziniert nicht nur; es liefert einen Zeitstempel, eine spezifische Sekunde im Video, was den menschlichen Nutzer in dem Glauben täuscht, die Maschine habe ihre Fakten überprüft. Die Spezifität dieses Zeitstempels fühlt sich wie ein Beweis an, ist aber ohne eine echte Prüfung lediglich Dekoration.

Forscher wissen schon lange, dass es schwierig ist, einen Computer darum zu bitten, seine eigene Arbeit zu überprüfen. Wenn man ein Modell fragt: „Ist dieses Bild wahr?“, stimmt es oft einfach zu, um hilfreich zu sein – ein Verhalten, das als Sykophanterie bekannt ist. Es möchte dem Nutzer gefallen, anstatt die Wahrheit zu sagen. Um dies zu lösen, entwickelte ein Forscher ein neues System namens GROUNDEDVQA. Er baute eine Pipeline, die nicht nur eine Antwort generiert und dann weitermacht. Stattdessen hält das System inne, nachdem der Computer eine Antwort mit spezifischen Zeitstempeln entworfen hat. Es kehrt zum Video zurück, zieht genau das erwähnte Einzelbild (Frame) heraus und stellt eine andere, unabhängige Frage: Unterstützt dieses Bild tatsächlich die Aussage? Das Ziel war es zu sehen, ob diese Selbstprüfungs-Schleife die Lügen abfangen konnte, bevor sie den Nutzer erreichen, und um herauszufinden, wie man genau einen Prüfer baut, der funktioniert.

Der Forscher testete sein System an einem kurzen Animationsfilm, wobei er alle fünf Sekunden Einzelbilder entnahm, um eine durchsuchbare Bibliothek von Bildern zu erstellen. Wenn ein Nutzer eine Frage stellte, rief das System die relevantesten Frames ab, entwarf eine Antwort und begann dann mit dem Verifizierungsprozess. Der Forscher probierte drei verschiedene Wege aus, um diesen Prüfer aufzubauen, und die Ergebnisse seiner Experimente offenbarten eine überraschende Wahrheit darüber, wie man Maschinen dazu bringt, die Wahrheit zu sagen. Sein erster Versuch war der offensichtlichste: Er zeigte dem Visionsmodell das Bild und die Behauptung und fragte einfach: „Unterstützt dieses Bild diese Behauptung?“ Das System versagte völlig. Von vierzig falschen Behauptungen, an denen es getestet wurde, markierte es null als falsch. Selbst wenn die Behauptung von einem blauen Auto in einem Video handelte, das gar kein Auto enthielt, bestand das Modell darauf, dass die Behauptung wahr sei. Es stimmte schlichtweg der Eingabe zu, unfähig, seinen Wunsch, hilfreich zu sein, von der visuellen Realität zu trennen.

Der Forscher versuchte es dann mit einem zweiten Ansatz, der logischer erschien. Er trennte das Sehen vom Urteilen. Zuer das beschrieb das Visionsmodell das Bild, ohne zu wissen, was die Behauptung war, wodurch eine „blinde“ Bildunterschrift entstand. Dann wurde ein großes Sprachmodell, dieselbe Art, die auch zum Schreiben der Antworten verwendet wird, gebeten, diese Beschreibung zu lesen und zu entscheiden, ob sie mit der Behauptung übereinstimmt. Dies löste das Problem, dass das Modell einfach dem Nutzer zustimmte, erzeugte aber ein neues: Der Prüfer wurde extrem instabil. Je nach winzigen, unbedeutenden Änderungen in der Formulierung der Frage reagierte das System entweder so, dass es jede einzelne Behauptung als falsch markierte, selbst die wahren, oder es ließ jede einzelne Behauptung passieren, selbst die Lügen. Es schwankte zwischen zwei Extremen und war nicht in der Lage, einen Mittelweg zu finden. Das große Sprachmodell erwies sich trotz seiner Fähigkeit, flüssigen Text zu schreiben, als ein schrecklicher Richter über Fakten, wenn es gefragt wurde, eine einfache Ja-oder-Nein-Entscheidung zu treffen.

Die Lösung kam durch ein drittes Design, welches das große Sprachmodell-Urteil durch ein viel kleineres, spezialisiertes Werkzeug ersetzte, das speziell für logisches Schließen trainiert wurde. Dieses Werkzeug, bekannt als ein Natural Language Inference Model, ist darauf ausgelegt, zu bestimmen, ob ein Satz logisch aus einem anderen folgt. Das System nutzte die blinde Beschreibung des Bildes als Prämisse und die Behauptung des Nutzers als Hypothese. Wenn die Beschreibung die Behauptung nicht unterstützte, markierte das System diese als unverifiziert. Dieser Ansatz funktionierte mit bemerkenswerter Stabilität. Als es an vierzig Behauptungen getestet wurde, die vierzehn davon basierten auf falschen Voraussetzungen, entlarvte dieser spezialisierte Prüfer siebzigneun Prozent der erfundenen Behauptungen. Er identifizierte korrekt, dass eine Aussage über das Kämpfen unter Wasser nicht durch ein Frame unterstützt wird, das ein Eichhörnchen auf einem Ast eines Baumes zeigt. Entscheidend war, dass er keine der wahren Behauptungen markierte. Er ließ die faktischen Aussagen unberührt und fing nur die Lügen ab.

Die Studie hob auch die Grenzen dieser Technologie hervor. Das System ist exzellent darin zu prüfen, ob eine spezifische Behauptung durch einen spezifischen Frame unterstützt wird, aber es kann Fehler in der ursprünglichen Suche nicht korrigieren. Wenn das System von vornherein den falschen Frame abruft, wird der Prüfer dennoch verifizieren, dass die Behauptung für diesen falschen Frame wahr ist. Wenn ein Nutzer beispielsweise fragt, was am Anfang des Videos passiert, ruft das System vielleicht einen Frame aus der Mitte ab. Wenn die Behauptung diesen mittleren Frame korrekt beschreibt, wird der Prüfer sagen, dass die Behauptung fundiert ist, obwohl es die falsche Antwort auf die Frage ist. Der Forscher fand heraus, dass sein System zwar die Lügen auffing, aber die Suchfehler nicht beheben konnte. Diese Unterscheidung ist wichtig: Der Verifizierungsschritt stellt sicher, dass die Maschine ehrlich ist bezüglich dessen, was sie sieht, aber er garantiert nicht, dass die Maschine das Richtige ansieht.

Letztendlich zeigt die Arbeit, dass der Bau eines zuverlässigen Faktencheckers für künstliche Intelligenz weniger damit zu tun hat, das Modell intelligenter zu machen, sondern vielmehr damit, das richtige Werkzeug für die Aufgabe zu wählen. Ein universelles Modell, das Gedichte schreiben oder Nachrichten zusammenfassen kann, ist nicht dasselbe wie ein spezialisiertes Modell, das darauf trainiert ist, logische Inkonsistenzen zu erkennen. Indem er den Akt des Sehens vom Akt des Urteilns entkoppelte und anstelle eines großen, geschwätzigen Klassifizierers ein kleines, zweckgebundenes Modell verwendete, schuf der Forscher ein System, das stabil und vertrauenswürdig ist. Er zeigte, dass der offensichtlichste Weg, Halluzinationen zu prüfen, scheitert, und dass das anspruchsvollste allgemeine Modell nicht der beste Richter ist. Stattdessen ist ein einfaches, spezialisiertes Werkzeug, das fragt, ob eine Beschreibung eine Behauptung impliziert, das, was tatsächlich funktioniert. Das Ergebnis ist eine Pipeline, die die überwiegende Mehrheit der erfundenen Behauptungen abfangen kann, während sie die wahren unberührt lässt, und somit einen praktischen Weg zu einem ehrlicheren Verständnis von Videos bietet.