DO-Bench: An Attributable Benchmark for Diagnosing Object Hallucination in Vision-Language Models
DO-Bench ist ein neuer diagnostischer Benchmark, der durch gezielte Interventionen untersucht, ob Objekt-Halluzinationen in Vision-Language-Modellen auf mangelnde Wahrnehmung oder auf den Einfluss von Text-Vorwissen zurückzuführen sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das Problem: Die „Halluzinationen“ der KI
Stell dir vor, du zeigst einem Freund ein Foto von einem Wohnzimmer und fragst: „Ist da eine Katze zu sehen?“ Dein Freund antwortet: „Ja, eine schwarze Katze!“, obwohl auf dem Bild gar keine Katze ist. Er hat nicht gelogen, er hat einfach „halluziniert“.
Moderne KI-Modelle (Vision-Language Models) machen genau das ständig. Sie sehen Dinge, die nicht da sind, oder behaupten, etwas Fehlt, obwohl es direkt vor ihnen liegt. Bisher haben Forscher diese Fehler nur grob gezählt: „Die KI hat in 10 % der Fälle gefehlt.“ Aber das hilft uns nicht weiter. Wir wissen nicht, warum sie Fehler macht.
Die Lösung: DO-Bench – Das „Diagnose-Labor“
Die Forscher haben mit DO-Bench ein neues Testverfahren entwickelt. Anstatt die KI nur einmal zu fragen, bauen sie ein kleines „Labor“ auf. Sie nehmen ein Bild und verändern es ganz gezielt, um herauszufinden, wo genau der Denkfehler liegt.
Man kann sich das wie einen Arztbesuch vorstellen, bei dem man zwei verschiedene Tests macht, um die Ursache einer Krankheit zu finden:
1. Der „Brillen-Test“ (Perception-Limited)
Manchmal ist die KI einfach „kurzsichtig“. Das Objekt ist zwar da, aber es ist klein, dunkel oder versteckt im Hintergrund.
- Was die Forscher machen: Sie nehmen das Bild und zeigen der KI erst das ganze Zimmer, dann einen Ausschnitt und schließlich eine extreme Nahaufnahme des Objekts.
- Die Erkenntnis: Wenn die KI das Objekt erst bei der Nahaufnahme erkennt, wissen wir: „Ah, die KI ist nicht dumm, sie ist nur schlecht darin, Details in unübersichtlichen Szenen zu finden.“ (Das nennen sie PerceptionAbility).
2. Der „Beeinflussungs-Test“ (Prior-Override)
Das ist der psychologische Teil. Manchmal „denkt“ die KI schon, was sie sehen sollte, noch bevor sie das Bild richtig angeschaut hat. Das nennt man „Text-Prior“.
- Die Analogie: Stell dir vor, ich zeige dir ein Bild von einer Wiese und flüstere dir vorher immer wieder ins Ohr: „Da liegt ein Hund... da liegt ein Hund... ich bin mir ganz sicher, da liegt ein Hund.“ Selbst wenn du nur Gras siehst, wirst du irgendwann sagen: „Okay, vielleicht sehe ich ihn nur nicht genau, aber da ist bestimmt ein Hund.“
- Was die Forscher machen: Sie geben der KI immer stärkere Text-Hinweise („Ich vermute, da ist ein Hund“, „Ich glaube, da ist ein Hund“, „Ich bin mir absolut sicher, da ist ein Hund“), während das Bild gleich bleibt.
- Die Erkenntnis: Wenn die KI plötzlich anfängt, Dinge zu „sehen“, die gar nicht da sind, nur weil der Text es behauptet, wissen wir: „Die KI lässt sich zu leicht manipulieren und vertraut dem Text mehr als ihren eigenen Augen.“ (Das nennen sie PriorRobust).
Warum ist das wichtig?
Die Forscher haben herausgefunden, dass man diese beiden Probleme nicht einfach mit „mehr Rechenpower“ lösen kann.
Es ist wie bei einem Menschen: Einem Brillenträger hilft eine neue Brille gegen die Kurzsichtigkeit (Test 1), aber das hilft ihm nicht, wenn er extrem leichtgläubig ist und jedem Lügner glaubt (Test 2).
Das Fazit des Papers: Wenn wir wollen, dass KIs wirklich zuverlässig werden (zum Beispiel in selbstfahrenden Autos oder bei medizinischen Diagnosen), müssen wir sie nicht nur „schärfer sehen“ lassen, sondern sie auch „weniger beeinflussbar“ machen. DO-Bench ist das Werkzeug, mit dem wir genau messen können, wie weit wir auf diesem Weg noch sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.