INFACT: A Diagnostic Benchmark for Induced Faithfulness and Factuality Hallucinations in Video-LLMs
Die Studie stellt INFACT vor, ein diagnostisches Benchmark mit 9.800 Fragen für Video-LLMs, das durch vier Testmodi und neue Metriken die Zuverlässigkeit von Modellen gegenüber Halluzinationen unter realistischen Störbedingungen und zeitlichen Interventionen bewertet und zeigt, dass hohe Basisgenauigkeit keine Garantie für Robustheit bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, Video-KI-Modelle (Video-LLMs) sind wie sehr gut ausgebildete, aber manchmal etwas träumerische Filmkritiker. Sie können dir sagen, was auf dem Bildschirm passiert, und sie kennen auch die ganze Weltgeschichte und Physik. Aber manchmal träumen sie einfach Dinge hinein, die gar nicht da sind, oder sie verwechseln Fakten mit ihrer eigenen Fantasie.
Das Papier stellt einen neuen Test vor, genannt INFACT. Man kann sich INFACT wie einen großen, strengen „Realitäts-Check" vorstellen, den man diesen Filmkritikern unterzieht, um herauszufinden, ob sie wirklich auf den Film schauen oder nur raten.
Hier ist die Erklärung in einfachen Worten:
1. Das Problem: Die zwei Arten des „Träumens" (Halluzinationen)
Bisher haben Tests oft nur geprüft, ob die KI das sieht, was auf dem Bildschirm ist. INFACT prüft zwei Dinge:
- Die Treue zum Video (Faithfulness): Schaut die KI wirklich auf den Film?
- Beispiel: Im Video läuft ein rotes Auto vorbei. Wenn die KI sagt: „Da ist ein blaues Fahrrad", ist sie nicht treu zum Video.
- Die Faktenrichtigkeit (Factuality): Weiß die KI auch die Wahrheit über die Welt?
- Beispiel: Das Video zeigt eine Zeremonie. Wenn die KI sagt: „Das ist Weihnachten", aber es ist eigentlich ein anderes Fest, hat sie zwar das Video gesehen, aber die Weltfakten verwechselt.
2. Der Test: INFACT als „Stress-Test" für das Gehirn
Statt nur ruhige, klare Filme zu zeigen, macht INFACT den Test viel spannender und schwieriger. Es gibt vier Modi, wie man die KI „gequält" wird:
- Modus 1: Der saubere Raum (Base).
- Analogie: Ein ruhiges Klassenzimmer. Die KI bekommt einen perfekten Film und eine klare Frage. Das ist der Standardtest.
- Modus 2: Der schlechte Empfang (Visuelle Verschlechterung).
- Analogie: Stell dir vor, du schaust einen Film durch eine beschlagene Brille oder bei starkem Regen. Das Bild ist unscharf oder verrauscht.
- Frage: Kann die KI trotzdem noch das rote Auto erkennen, auch wenn das Bild körnig ist?
- Modus 3: Die falschen Hinweise (Beweis-Verfälschung).
- Analogie: Das ist wie ein Trick. Jemand flüstert der KI ins Ohr: „Schau mal, da ist ein blaues Fahrrad!" (während im Film das rote Auto zu sehen ist). Oder es werden falsche Untertitel eingeblendet.
- Frage: Hört die KI auf das, was sie sieht, oder lässt sie sich von den falschen Worten verwirren?
- Modus 4: Der Zeit-Verwirrer (Zeitliche Intervention).
- Analogie: Stell dir vor, du schneidest einen Film in einzelne Bilder und mischst sie komplett durcheinander oder spulst ihn rückwärts.
- Frage: Wenn die Reihenfolge der Ereignisse zerstört ist, merkt die KI das? Oder sagt sie immer noch das Gleiche, als wäre nichts passiert? (Das nennt man „zeitliche Trägheit").
3. Was haben sie herausgefunden?
Die Forscher haben 14 verschiedene KI-Modelle getestet (von OpenAI, Google, Qwen, etc.). Hier sind die wichtigsten Erkenntnisse:
- Gute Noten im Klassenzimmer bedeuten nicht, dass man im Chaos gut ist.
Viele KIs waren im sauberen Raum (Modus 1) sehr gut. Aber sobald das Bild unscharf wurde oder falsche Hinweise kamen, machten sie plötzlich viele Fehler. Sie waren wie Schüler, die auswendig gelernt haben, aber bei einer Prüfungsstörung panisch werden. - Falsche Hinweise sind schlimmer als schlechte Bilder.
Die KIs ließen sich viel leichter von falschen Untertiteln oder flüsternden Hinweisen verwirren als von einem unscharfen Bild. Sie vertrauten dem Text mehr als ihren eigenen Augen. - Die Zeit-Verwirrung war der größte Schwachpunkt.
Viele KIs (besonders die kostenlosen, offenen Modelle) merkten gar nicht, wenn der Film rückwärts abgespielt wurde. Sie hatten eine Art „Gedächtnis-Trägheit". Sie sagten einfach die gleiche Antwort wie vorher, obwohl die logische Reihenfolge der Ereignisse im Video zerstört war. Es war, als würden sie einen Film sehen, bei dem jemand erst stirbt und dann geboren wird, und sie würden trotzdem sagen: „Das ist eine normale Geschichte."
4. Warum ist das wichtig?
Bisher haben wir oft gedacht: „Je besser die KI bei normalen Tests ist, desto besser ist sie." INFACT zeigt uns: Nein, das stimmt nicht ganz.
Eine KI kann sehr schlau wirken, aber wenn sie in der echten Welt (wo es Rauschen, falsche Informationen und chaotische Abläufe gibt) nicht zuverlässig ist, ist sie gefährlich. INFACT hilft uns, die KIs zu trainieren, nicht nur zu „raten", sondern wirklich zu verstehen, was sie sehen und wie die Welt funktioniert.
Zusammenfassend: INFACT ist wie ein Polizei-Verhör für KIs. Es stellt sie nicht nur vor die Kamera, sondern wirft ihnen auch Sand in die Augen, flüstert Lügen ins Ohr und dreht den Film rückwärts, um zu sehen, ob sie wirklich wach sind oder nur träumen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.