SceneFunRI: Reasoning the Invisible for Task-Driven Functional Object Localization
Dieser Beitrag stellt SceneFunRI vor, ein neues Benchmark mit 855 Instanzen, das die Fähigkeit von Vision-Language-Modellen bewertet, anhand von Aufgabenanweisungen und Alltagswissen über die Standorte unsichtbarer, verdeckter funktionaler Objekte zu schlussfolgern, und zeigt, dass aktuelle State-of-the-Art-Modelle bei dieser Fähigkeit erhebliche Schwierigkeiten haben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie betreten einen Raum und jemand fragt Sie: „Wo steht der Nachttisch neben dem Bett?" Sie schauen sich um, doch der Nachttisch ist vollständig hinter einem großen Kleiderschrank verborgen. Sie können ihn überhaupt nicht sehen. Dennoch wissen Sie aus dem gesunden Menschenverstand, dass Nachttische üblicherweise neben Betten stehen, und Sie können das Bett sehen. Also „füllen" Sie mental die Lücke und zeigen auf die Stelle hinter dem Kleiderschrank, wo der Nachttisch muss sein.
Diese Arbeit, SceneFunRI, handelt davon, Computern genau diesen mentalen Trick beizubringen.
Das Problem: Die „Unsichtbare"-Herausforderung
Aktuelle KI-Modelle (speziell Vision-Language-Modelle, oder VLMs) sind wie Detektive, die nur dem vertrauen, was sie mit eigenen Augen sehen können. Wenn ein Hinweis hinter einer Wand verborgen ist, geben sie oft auf oder raten zufällig. Es fällt ihnen schwer, „gesunden Menschenverstand" zu nutzen, um herauszufinden, wo sich Dinge befinden, wenn diese völlig unsichtbar sind.
Die Forscher haben einen neuen Test namens SceneFunRI (Reasoning the Invisible) entwickelt.
- Der Aufbau: Sie nahmen 855 reale Szenen, in denen ein bestimmtes Objekt (wie eine Lampe oder eine Schublade) vollständig von der Sicht verdeckt ist.
- Die Aufgabe: Die KI erhält ein Bild des Raums und einen Befehl wie: „Öffnen Sie die Schublade des Nachttischs rechts neben dem Bett."
- Das Ziel: Die KI muss den Ort des unsichtbaren Nachttisches anzeigen, ohne ihn je gesehen zu haben, und zwar nur unter Verwendung des sichtbaren Bettes und ihres Wissens darüber, wie Räume üblicherweise angeordnet sind.
Die Ergebnisse: Die KI ist immer noch ein Anfänger-Detektiv
Die Forscher testeten viele verschiedene KI-Modelle bei dieser Aufgabe. Die Ergebnisse waren demütigend:
- Das beste KI-Modell: Selbst das intelligenteste Modell (Gemini 3 Flash) traf den Ort „hinreichend genau" nur etwa 15 % der Zeit.
- Der menschliche Referenzwert: Menschen hingegen lagen etwa 66 % der Zeit richtig.
- Die Lücke: Dies zeigt, dass die KI zwar hervorragend darin ist, zu erkennen, was vor ihr liegt, aber schrecklich darin, sich vorzustellen, was hinter Hindernissen ist.
Wie sie versuchten, der KI zu helfen (Die „Prompting"-Experimente)
Die Forscher versuchten drei verschiedene Wege, die KI zu „coachen", damit sie besser wird, ähnlich wie ein Lehrer einem Schüler helfen könnte:
- Starke Anweisungen: Der KI zu sagen: „Ignorieren Sie, was Sie sehen; konzentrieren Sie sich darauf, was dort sein sollte."
- Ergebnis: Dies half ein wenig. Es war, als würde man einem Schüler sagen: „Schauen Sie sich nicht nur das Bild an; denken Sie über die Geschichte nach."
- Hinweise zum gesunden Menschenverstand: Der KI spezifische Fakten zu geben, wie „Steckdosen befinden sich normalerweise in Ecken."
- Ergebnis: Dies half nicht viel. Es war, als würde man dem Schüler ein Faktenblatt geben, ihm aber nicht beibringen, wie man es auf den spezifischen Raum anwendet. Die KI kannte die Tatsache, konnte sie aber nicht in einen Ort auf der Karte übersetzen.
- Die „Methode der Ausschließung" (SPoE): Dies war der kreativste Ansatz. Anstatt die KI zu bitten, sofort den genauen Ort zu erraten, lehrten sie sie, ein Spiel von „Heiß und Kalt" zu spielen.
- Funktionsweise: Der KI wird der gesamte Raum gezeigt. Dann wird sie gefragt: „Ist das Objekt in der linken oder der rechten Hälfte?" Sie schließt die Hälfte aus, in der das Objekt nicht sein kann. Dann teilt sie die verbleibende Hälfte erneut.
- Ergebnis: Dies funktionierte überraschend gut. Indem sie schrittweise unmögliche Bereiche ausschloss, kam die KI dem richtigen Ort viel näher. Es ist, als würde man einen verlorenen Schlüssel finden, indem man Raum für Raum überprüft, anstatt sofort das richtige Fach zu erraten.
Die große Erkenntnis
Die Arbeit kommt zu dem Schluss, dass aktuelle KI-Modelle gegenüber der unsichtbaren Welt „blind" sind. Sie sind gut darin, zu beschreiben, was sie sehen, aber sie haben nicht gelernt, eine mentale Karte dessen zu erstellen, was sie nicht sehen.
Die Forscher stellten fest, dass die KI tatsächlich besser darin ist, schlechte Vermutungen auszuschließen (wie das Abhaken von Räumen auf einer Karte), als den richtigen Ort direkt zu erraten. Um die KI in der realen Welt wirklich intelligent zu machen, müssen wir ihr beibringen, mit Unsicherheit umzugehen und Logik zu nutzen, um die Lücken zu füllen, wenn die visuellen Beweise fehlen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.