Why MLLMs Struggle to Determine Object Orientations
Die Studie widerlegt die gängige Annahme, dass Multimodale Große Sprachmodelle (MLLMs) aufgrund von Einschränkungen in ihren visuellen Encodern Schwierigkeiten mit der Bestimmung von Objektorientierungen haben, und zeigt stattdessen, dass diese Informationen zwar in den Embeddings vorhanden, aber diffus über tausende Merkmale verteilt sind.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Warum KI-Bilder „verdreht" sieht – und warum es nicht die Kamera schuld ist
Stellen Sie sich vor, Sie haben einen extrem intelligenten Roboter, der sowohl sehen als auch sprechen kann. Man nennt ihn „Multimodales Großes Sprachmodell" (MLLM). Wenn Sie ihm ein Bild zeigen und fragen: „Ist dieser Hund auf dem Kopf?", sollte er das sofort erkennen. Aber das Problem ist: Diese Roboter sind oft verwirrt. Sie drehen sich im Kreis, wenn sie eigentlich geradeaus schauen sollten.
Bis vor kurzem dachten die Forscher: „Aha! Das liegt an der Kamera des Roboters." Die Idee war, dass die „Augen" des Roboters (die visuellen Encoder wie CLIP oder SigLIP) so trainiert sind, dass sie verstehen, was auf dem Bild zu sehen ist (ein Hund, ein Auto), aber nicht, wie es gedreht ist. Man verglich die Augen mit einem Fotografen, der nur weiß, dass er ein Foto macht, aber nicht, ob das Foto gerade oder schief hängt.
Die große Überraschung: Die Augen sehen alles!
Die Autoren dieses Papers (Anju Gopinath und ihr Team) wollten das überprüfen. Sie stellten sich eine sehr clevere Frage: „Wenn die Augen des Roboters die Drehung wirklich nicht sehen, dann müsste es unmöglich sein, die Drehung aus dem Bild zu berechnen, selbst wenn wir einen einfachen Mathematiker (einen linearen Regressor) nehmen, der nur die Daten der Augen anschaut."
Das Ergebnis war eine riesige Überraschung: Die Augen sehen die Drehung perfekt!
Stellen Sie sich vor, Sie nehmen die Daten, die die Kamera an das Gehirn des Roboters sendet. Wenn Sie diese Daten einem simplen Mathematiker geben, kann dieser mit einer Genauigkeit von weniger als 3 Grad vorhersagen, wie das Bild gedreht ist. Das ist so, als würde man einem blinden Mann die Schwingungen eines Instruments geben, und er könnte perfekt sagen, ob ein Bild gerade oder schief ist.
Das eigentliche Problem: Das Gehirn ist überfordert
Wenn die Augen also alles sehen, warum antwortet der Roboter dann immer noch falsch?
Hier kommt die wahre Entdeckung ins Spiel. Die Forscher haben herausgefunden, dass die Information über die Drehung zwar da ist, aber überall verstreut ist.
- Die Analogie vom riesigen Puzzle: Stellen Sie sich vor, die Information „Der Hund ist um 90 Grad gedreht" ist wie ein winziger Funke. In einem normalen Computer würde dieser Funke an einer klaren Stelle sitzen. Bei diesen KI-Modellen ist dieser Funke jedoch in zehntausenden verschiedenen Teilen des Bildes verteilt. Es ist, als wäre die Information über die Drehung in jedem einzelnen Pixel, in jedem Schatten und in jedem Haar des Hundes zerstreut.
- Das Problem für das Gehirn: Das Sprachmodell (das „Gehirn" des Roboters) sucht nach klaren Hinweisen. Aber da die Information so diffus und zerstreut ist, wie ein Nebel, der den ganzen Raum erfüllt, kann das Gehirn den Funken nicht finden. Es weiß nicht, wo es hinschauen muss, um die Drehung zu verstehen. Es ist wie der Versuch, eine Nadel in einem Heuhaufen zu finden, wobei die Nadel in Millionen winziger Teile zerlegt und in jedem Strohhalm verteilt wurde.
Ein weiterer seltsamer Effekt: Der Hintergrund ist der Anker
Die Forscher entdeckten noch etwas Seltsames. Die KI kann die Drehung eines Objekts (z. B. eines Hundes) nur dann gut erkennen, wenn der Hintergrund „normal" ist. Wenn man den Hintergrund dreht, verliert die KI sofort den Bezug und wird völlig verwirrt.
- Die Analogie: Stellen Sie sich vor, Sie sitzen in einem Zug. Wenn der Zug fährt, wissen Sie, dass Sie sich bewegen. Wenn aber der gesamte Bahnhof (der Hintergrund) sich dreht, während Sie stillsitzen, fühlen Sie sich schwindelig und wissen nicht mehr, ob Sie oder der Bahnhof sich bewegen. Die KI braucht den „normalen" Hintergrund als Anker, um zu wissen, wie das Objekt darauf gedreht ist.
Fazit in einem Satz
Die KI scheitert nicht daran, dass ihre „Augen" blind für Drehungen sind; ihre Augen sehen alles super genau. Das Problem ist, dass die Information über die Drehung so chaotisch und verstreut in den Daten liegt, dass das „Gehirn" der KI nicht weiß, wie es diese Information zusammenfügen und nutzen soll.
Es ist nicht ein Defekt der Kamera, sondern eine Herausforderung für das Gehirn, die verstreuten Hinweise richtig zu deuten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.