Ill-Posed by Design: Probing Evidence Use in VLMs
Dieses Paper führt Metric VQA ein, einen Benchmark zur Schätzung der Objektgröße, der als schlecht gestelltes Problem (ill-posed problem) konzipiert ist, um aufzuzeigen, dass selbst große Vision-Language-Modelle daran scheitern, Szenengeometrie effektiv für metrische Argumentation zu nutzen, und stattdessen stark auf die Identität des Zielobjekts statt auf eine robuste Integration von Evidenzen vertrauen – eine Einschränkung, die trotz kontrafaktischer Analysen und Fine-Tuning bestehen bleibt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die Kernidee: Das „Ein-Foto-Rätsel“
Stellen Sie sich vor, Sie zeigen einer intelligenten KI ein Bild einer Kaffeetasse und fragen: „Wie hoch ist diese Tasse in Zentimetern?“
In der realen Welt ist dies eine tricky Frage (oder eine Aufgabe, die das Paper als „ill-posed“ bezeichnet). Wenn man ein Foto einer Tasse betrachtet, kann man allein durch das Betrachten der Pixel die wahre Größe nicht tatsächlich wissen. Eine winzige Spielzeugtasse und eine riesige Kaffeetasse können in einem Foto exakt gleich groß aussehen, wenn die Spielzeugtasse nah an der Kamera gehalten wird und die echte Tasse weit entfernt ist.
Um die Größe zu erraten, müssen Menschen (und KIs) Hinweise nutzen:
- Was ist es? (Es ist eine Tasse, also ist sie wahrscheinlich etwa 10 cm hoch).
- Was ist daneben? (Es ist neben einer Tastatur, also ist sie wahrscheinlich klein).
- Wie groß sieht es aus? (Es nimmt viel Platz auf dem Bildschirm ein, also ist es vielleicht riesig?).
- Die Form des Raums? (Die Perspektivlinien des Tisches könnten uns sagen, wie weit es entfernt ist).
Das Paper fragt: Wenn eine KI diese Frage beantwortet, welchen dieser Hinweise nutzt sie eigentlich?
Das Problem: Die „Zu viele Hinweise“-Falle
Normalerweise testen Wissenschaftler KIs mit einfachen Fragen, bei denen alle Hinweise auf dasselbe Ergebnis hindeuten.
- Beispiel: „Ist eine Katze in diesem Bild?“
- Die Falle: Wenn man den Schwanz der Katze unkenntlich macht, sieht die KI immer noch die Ohren und das Fell und sagt „Ja“. Der Wissenschaftler denkt: „Großartig, die KI sieht die Katze!“ Aber eigentlich hat die KI den Schwanz vielleicht einfach komplett ignoriert. Weil es zu viele Hinweise gab, änderte das Entfernen eines Hinweises das Ergebnis nicht, sodass wir nicht feststellen konnten, worauf sich die KI wirklich verlassen hat.
Die Lösung: Der „Blindfolded Detective“-Test
Die Autoren entwickelten einen speziellen Test namens Metric VQA. Sie zwangen die KI, das „Ein-Foto-Rätsel“ zu lösen, bei dem kein einzelner Hinweis ausreicht, um das richtige Ergebnis zu erzielen.
Um herauszufinden, was die KI denkt, führten sie eine „Operation“ an den Bildern durch, bevor sie diese der KI zeigten. Sie nannten dies Counterfactual Interventions (kontrafaktische Interventionen). Denken Sie daran wie ein Detektiv, der Beweismittel von einem Tatort entfernt, um zu sehen, ob sich die Geschichte des Verdächtigen ändert.
Sie testeten 12 verschiedene KI-Modelle (einige sehr kleine, einige massive) durch folgende Methoden:
- Der „Ghost“-Test: Zeigen Sie der KI die Frage, aber gar kein Bild überhaupt. (Rät sie nur basierend auf den Wörtern?)
- Der „Swap“-Test: Behalten Sie das Bild bei, aber ersetzen Sie die Tasse durch einen Toaster. (Versteht die KI, dass sie das falsche Objekt ansieht?)
- Der „Zoom“-Test: Lassen Sie die Tasse im Foto doppelt so groß aussehen, ohne das Objekt selbst zu verändern. (Wird die KI verwirrt und sagt, die Tasse sei nun riesig?)
- Der „Distortion“-Test: Verzerren Sie das Bild wie in einem Jahrmarktsspiegel. (Nutzt die KI die Form des Raums, um die Größe zu schätzen?)
Die schockierenden Ergebnisse
Hier ist das, was sie fanden, unter Verwendung einfacher Metaphern:
1. Der „Text-Only“-Cheat-Code
Selbst die größten, teuersten KI-Modelle (mit hunderten Milliarden Parametern) performten schlechter als eine rein textbasierte KI, die das Bild gar nicht sehen konnte.
- Die Metapher: Es ist wie ein Schüler, der eine Mathearbeit schreibt und so gut im Auswendiglernen des Lehrbuchs ist, dass er eine höhere Punktzahl erzielt, wenn er Augenbinden trägt und nur die Frage liest, anstatt zu versuchen, das Diagramm tatsächlich anzusehen. Die KI rät hauptsächlich basierend auf dem Namen des Objekts (z. B. „Ein ‚Laptop‘ ist normalerweise 30 cm breit“) anstatt das Bild tatsächlich zu betrachten.
2. Die „Identitäts“-Krücke
Das Einzige, worauf die KIs tatsächlich geschaut haben, war was das Objekt ist.
- Die Metapher: Wenn man die Tasse durch einen Toaster ersetzte, änderte sich die Antwort der KI drastisch. Sie wusste: „Oh, das ist ein Toaster, keine Tasse!“ Aber sie hat nicht unbedingt die Pixel des Toasters gemessen, um ihn zu messen; sie hat einfach zu ihrer internen „durchschnittlichen Toastergröße“-Vermutung gewechselt.
3. Die „Größen“-Verwirrung
Als die Forscher das Objekt heranzoomten, um es riesig aussehen zu lassen, sagte die KI nicht: „Wow, das ist eine riesige Tasse!“
- Die Metapher: Die KI war wie eine Person, die weiß, dass ein Hund normalerweise 50 cm groß ist. Wenn man ihr ein Bild eines Hundes zeigt, der groß aussieht, weil er nah an der Kamera ist, sagt die KI nicht: „Das ist ein 2-Meter-Hund!“ Sie ignoriert einfach die Größe im Bild und hält an ihrer Erinnerung darüber fest, was ein „Hund“ normalerweise ist.
4. Die „Raum“-Blindheit
Die KIs ignorierten fast vollständig die Geometrie des Raums (Perspektive, Fluchtpunkte).
- Die Metapher: Selbst wenn das Bild zu einem Jahrmarktsspiegel verzerrt wurde, änderte sich die Antwort der KI kaum. Sie nutzte die Form des Raums nicht, um bei der Größenbestimmung zu helfen.
Die „Fine-Tuning“-Lösung (und warum sie nicht voll funktionierte)
Die Forscher versuchten, die KI besser zu machen, indem sie ihr zusätzliches Training (LoRA Fine-Tuning) speziell für das Messen von Größen gaben.
- Hat es funktioniert? Ja, die Scores wurden besser.
- Hat sie gelernt zu sehen? Nein.
- Die Metapher: Es ist, als würde man einem Schüler, der schlecht in Mathe ist, beibringen, die Antworten auf spezifische Übungsaufgaben auswendig zu lernen. Er wird bei dem Test besser sein, aber er hat nicht das Konzept der Geometrie gelernt. Er ist nur besser darin geworden, basierend auf den Hinweisen zu raten, die er bereits nutzt (wie der Name des Objekts oder dessen unmittelbare Umgebung). Er hat immer noch nicht gelernt, den „Raumform“-Hinweis zu nutzen.
Das Fazit
Das Paper kommt zu dem Schluss, dass, wenn wir diese KI-Modelle bitten, Dinge aus einem einzigen Foto zu messen, sie nicht wirklich etwas „messen“. Sie raten hauptsächlich basierend auf dem, was sie über den Namen des Objekts wissen, mit ein wenig Hilfe durch das Erkennen der Identität des Objekts.
Sie sind „ill-posed by design“, weil die Aufgabe mit nur einem Foto perfekt unmöglich zu lösen ist, und diese Unmöglichkeit offenbart, dass die KI Abkürzungen nimmt. Die Autoren haben ihre Testdaten veröffentlicht, damit andere prüfen können, ob neue KI-Modelle endlich wirklich zu sehen und zu messen lernen oder ob sie nur besser im Raten sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.