🤖 AI

PRISM: Perception Reasoning Interleaved for Sequential Decision Making

PRISM ist ein vollautomatisches Framework, das die Lücke zwischen Wahrnehmung, Denken und Entscheidung bei verkörperten Agenten schließt, indem es eine dynamische Frage-Antwort-Pipeline einsetzt, in der ein LLM aktiv ein Vision-Language-Modell kritisiert und hinterfragt, um ein aufgabenorientiertes Szenenverständnis zu generieren, wodurch es State-of-the-Art-Modelle auf Benchmarks wie ALFWorld und Room-to-Room signifikant übertrifft.

Ursprüngliche Autoren: Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Mohamed Salim Aissi, Clemence Grislain, Clement Romac, Laure Soulier, Mohamed Chetouani, Olivier Sigaud, Nicolas Thome

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein komplexes Puzzle in einem dunklen Raum zu lösen, aber Sie können immer nur einen winzigen Lichtstreifen zur Zeit sehen. Sie haben einen Fotografen (das Vision-Modell), der ein Foto machen und beschreiben kann, was er sieht, und einen Detektiv (das Sprachmodell), der brillant in Logik und Planung ist, aber blind ist.

In den meisten aktuellen Robotersystemen wirft der Fotograf einen kurzen Blick, schreibt eine generische Beschreibung wie „Ich sehe einen Tisch und einen Stuhl“ und übergibt sie dem Detektiv. Der Detektiv versucht dann herauszufinden, wie er ein Ei greifen und aufwärmen kann. Das Problem? Der Fotograf hat übersehen, dass das Ei unter einer Serviette versteckt ist oder dass die Mikrowelle eigentlich ein Toaster ist. Der Detektiv macht aufgrund unvollständiger Informationen einen Fehler.

PRISM ändert das Spiel, indem es dies in ein dynamisches Gespräch verwandelt, statt in eine Einweg-Übergabe.

Der PRISM-Ansatz: Ein Detektiv und ein Fotograf im Telefonat

Anstatt nur einen statischen Bericht zu übergeben, etabliert PRISM einen geschlossenen Kreislauf des Gesprächs zwischen dem Fotografen und dem Detektiv:

Der erste Blick: Der Fotograf betrachtet die Szene und gibt eine grobe Beschreibung ab.
Die Kritik des Detektivs: Der Detektiv liest die Beschreibung und das Ziel (z. B. „Ein Ei aufwärmen“). Er erkennt sofort die Lücken: „Warte, du hast mir nicht gesagt, wo das Ei ist oder ob es eine Mikrowelle gibt!“
Die gezielte Frage: Anstatt den Fotografen zu bitten, den gesamten Raum erneut zu beschreiben, stellt der Detektiv eine spezifische, zielorientierte Frage: „Siehst du eine Mikrowelle?“ oder „Ist ein Ei auf der Arbeitsplatte?“
Die spezifische Antwort: Der Fotograf zoomt gedanklich heran und beantwortet nur diese spezifische Frage.
Das abschließende Briefing: Der Detektiv nimmt die ursprüngliche Beschreibung, fügt die neuen Antworten hinzu und schreibt eine perfekte, prägnante Zusammenfassung, die genau das enthält, was benötigt wird, um die Aufgabe zu lösen.

Warum das wichtig ist (Die „Magie“ von PRISM)

Das Paper behauptet, dass diese Methode drei große Probleme löst:

Sie verhindert die „Halluzinations-Falle“: Wenn man dem Fotografen einfach nur sagt: „Suche nach einer Mikrowelle“, könnte er eine erfinden, die gar nicht da ist, weil er versucht, das Ziel um jeden Preis zu erfüllen. PRISM vermeidet dies, indem der Detektiv Fragen stellt, nachdem er die ursprüngliche Realität gesehen hat, wodurch die Fakten fundiert bleiben.
Es reduziert das „Rauschen“: Stellen Sie sich vor, Sie versuchen, einen Roman zu lesen, bei dem jedes Mal, wenn Sie eine Frage stellen, der Autor das gesamte Buch inklusive der hervorgehobenen Antwort erneut einfügt. Das ist das, was andere Methoden tun. PRISM ist wie ein geschickter Redakteur, der die neuen Informationen nimmt und sie in eine kurze, klare Geschichte einwebt. Dies macht es für den Roboter viel einfacher, die richtige Entscheidung zu treffen.
Es lernt von selbst: Das System benötigt keine Menschen, die eine Liste von Fragen wie „Suche nach dem Kühlschrank“ oder „Suche nach dem Herd“ schreiben. Der Detektiv (die KI) findet selbst heraus, welche Fragen zu stellen sind, basierend auf der spezifischen Situation.

Die Ergebnisse: Besser im Spiel

Die Forscher testeten dieses „Detektiv-Fotograf“-Team in zwei spielähnlichen Welten:

ALFWorld: Ein Haus, in dem man Aufgaben erledigen muss, wie z. B. Aufräumen, Essen aufwärmen oder Dinge aufheben.
Room-to-Room: Eine Navigationsaufgabe, bei der man durch ein Haus gehen muss, um ein bestimmtes Zimmer zu finden.

Das Paper behauptet:

PRISM war signifikant besser als Roboter, die lediglich eine Kamera und ein Gehirn nutzen, ohne miteinander zu kommunizieren.
Es war in einigen Fällen sogar besser als Roboter, die Zugriff auf „Cheat-Codes“ (perfekte Textbeschreibungen des Raums) hatten, einfach weil es so gut darin war, die richtigen Details zu finden.
Es arbeitet vollautomatisch. Kein Mensch musste die Fragen schreiben; die KI fand selbstständig heraus, was zu fragen war.

Das Fazit

Denken Sie an PRISM als den Unterschied zwischen einem Blind Date, bei dem man einfach nur dasitzt und hofft, dass das Gegenüber das Richtige sagt, und einem großartigen Gespräch, bei dem man Rückfragen stellt, um die andere Person perfekt zu verstehen. Indem das „Gehirn“ des Roboters die „Augen“ aktiv hinterfragt, hört der Roboter auf zu raten und beginnt zu verstehen, was genau er tun muss, um erfolgreich zu sein.

Technisches Resümee: PRISM – Perception Reasoning Interleaved for Sequential Decision Making

1. Problemstellung

Die Integration von Large Language Models (LLMs) und Vision-Language Models (VLMs) in verkörperte Agenten (embodied agents) für die sequentielle Entscheidungsfindung steht vor einer kritischen Lücke zwischen „Wahrnehmung und Denken“ (perception–reasoning gap). Während LLMs exzellent in logischer Schlussfolgerung sind und VLMs visuelle Eingaben verarbeiten können, sind die aktuellen Ansätze oft entkoppelt. In Standard-Pipelines generiert ein VLM passiv eine generische Szenenbeschreibung, die dann einem LLM zur Entscheidungsfindung zugeführt wird. Diese lose Kopplung führt zu zwei primären Problemen:

Informationsverlust: VLMs übersehen oft aufgabenkritische, feingliedrige visuelle Details, da ihnen der spezifische Kontext des aktuellen Ziels des Agenten fehlt.
Halluzination und Rauschen: Die bloße Konditionierung des VLM auf das Ziel kann Halluzinationen induzieren (das Beschreiben nicht existenter Objekte), während die naive Konkatenation von Frage-Antwort-Paaren (QA-Paaren) mit Szenenbeschreibungen lange, verrauschte Prompts erzeugt, die das nachgeschaltete Denken behindern.

Darüber hinaus verlassen sich bestehende interaktive Methoden oft auf vordefinierte Fragen oder Oracle-Annotationen, was ihre Autonomie und Anwendbarkeit in realen Umgebungen einschränkt, in denen solche Vorabinformationen nicht verfügbar sind.

2. Methodik: Das PRISM-Framework

PRISM (Perception Reasoning Interleaved for Sequential Decision Making) adressiert diese Herausforderungen durch die Etablierung einer engen, dynamischen Kopplung zwischen Wahrnehmung und Entscheidungsfindung mittels einer Dynamic Question-Answering (DQA) Pipeline. Das Framework operiert in zwei verschachtelten Phasen innerhalb eines zielgerichteten, teilweise beobachtbaren Markov-Entscheidungsprozesses (Partially Observable Markov Decision Process, POMDP):

A. Interaktive zielorientierte Wahrnehmung

Anstatt einer einmaligen Beschreibung nutzt PRISM eine iterative Kommunikationsschleife zwischen einem VLM (Wahrnehmungsmodul, $V_p$ ) und einem LLM (Denkmodul, $R$ ):

Initiale Beschreibung: Das VLM generiert eine initiale, zielagnostische Beschreibung ( $d^t_i$ ) der visuellen Beobachtung ( $o_t$ ).
Identifizierung von Lücken & Generierung von Fragen: Das LLM analysiert $d^t_i$ im Hinblick auf das Aufgabenziel ( $g$ ), um fehlende Informationen zu identifizieren. Es generiert eine Menge spezifischer, zielrelevanter Fragen ( $Q_t$ ), um das VLM abzufragen.
Gezielte Abfrage: Das VLM beantwortet jede Frage in $Q_t$ basierend auf der aktuellen visuellen Beobachtung und produziert so eine Menge von Antworten ( $\Lambda_t$ ).
Semantische Synthese: Entscheidend ist, dass das LLM die QA-Paare nicht einfach nur konkateniert. Stattdessen synthetisiert es die initiale Beschreibung, die Fragen und die Antworten zu einer kompakten, verfeinerten finalen Beschreibung ( $d^t_f$ ). Dieser Schritt filtert irrelevante Details und Halluzinationen heraus und betont stattdessen aufgabenkritische Elemente.

B. Sequentielle Entscheidungsfindung

Die verfeinerte Beschreibung ( $d^t_f$ ) wird zusammen mit dem Ziel und der Interaktionshistorie in die LLM-Policy ( $\pi_\theta$ ) eingespeist, um die nächste Aktion ( $a_t$ ) zu generieren. Die Policy wird mit LoRA (Low-Rank Adaptation) Adaptern ergänzt, die speziell für die Aktionsgenerierung trainiert wurden, während das Basis-LLM seine vortrainierten Denkfähigkeiten beibehält.

C. Trainingsstrategie

PRISM nutzt eine zweistufige Trainings-Pipeline ausschließlich innerhalb der visuellen Umgebung und verzichtet dabei auf die Nutzung privilegierter textueller Supervision:

Behavioral Cloning (BC): Die Policy wird vortrainiert, um Experten-Demonstrationen nachzuahmen (die über die PRISM-Wahrnehmungspipeline in Text umgewandelt wurden).
Online Reinforcement Learning (RL): Die Policy wird mittels Proximal Policy Optimization (PPO) weiter verfeinert. Bemerkenswerterweise bleibt die DQA-Wahrnehmungsschleife während des RL aktiv, sodass der Agent aus Online-Interaktionen lernen kann.

3. Kernbeiträge

Dynamic Question-Answering (DQA): Ein vollautomatischer Mechanismus, der Wahrnehmung und Entscheidungsfindung eng koppelt. Im Gegensatz zu früheren Arbeiten benötigt es keine handgefertigten Fragen oder Oracle-Annotationen, da das LLM dynamisch zielorientierte Abfragen generiert.
Semantische Synthese: Eine neuartige Verschmelzungsstrategie, bei der das LLM die QA-Interaktionen zu einer prägnanten, aufgabenorientierten Beschreibung synthetisiert und so das Rauschen und die Verbosiät einer naiven Konkatenation vermeidet.
Effiziente Architektur: Das Framework trennt die Wahrnehmung (VLM) vom Denken (LLM mit LoRA), was die Nutzung etablierter textbasierter RL-Verfahren ermöglicht, während die Entscheidungen in visuellen Umgebungen verankert bleiben.
Automatisierte Pipeline: Das System eliminiert die Notwendigkeit für menschliche Klärung oder vordefinierte Fragensets und erhöht so die Autonomie.

4. Experimentelle Ergebnisse

Die Autoren evaluierten PRISM auf zwei Benchmarks: ALFWorld (Haushaltsaufgaben) und Room-to-Room (R2R) (Navigation).

ALFWorld Ergebnisse

Leistung: PRISM übertrifft staatliche bildbasierte Modelle signifikant. Die PRISM BC+RL Variante erreichte eine durchschnittliche Erfolgsrate (Success Rate, SR) von 80% und übertraf damit die Idefics2 8B Baseline um 12 Punkte und die VIPERBC+RL Baseline um 5 Punkte.
Vergleich zum Oracle: PRISM reduzierte die Leistungslücke zu Methoden, die privilegierte textuelle Supervision nutzen (z. B. EMMA, EMAC+), auf ein vernachlässigbares Maß und erreichte eine vergleichbare Leistung trotz des Fehlens von Zugriff auf Objekt-IDs und okkludierte Zustände.
Ablationsstudien:
- Architektur: PRISM übertraf monolithische VLMs und statische modulare VLM-LLM-Architekturen („Raw perception“) im Durchschnitt um 6–8%.
- Merging-Strategie: Der LLM-Syntheseansatz war sowohl der „QA-Only“- als auch der „CONCAT“-Strategie (naive Konkatenation) überlegen, was bestätigt, dass die Synthese des globalen Kontextes mit aufgabenspezifischen Details besser ist als eine einfache Aggregation.
- Fragenqualität: Die dynamisch generierten Fragen von PRISM erreichten eine Leistung innerhalb von 2% der von Menschen annotierten Oracle-Fragen, was zeigt, dass das LLM Informationsbedarfe effektiv ohne vordefinierte Prior-Wissen identifizieren kann.
- Wahrnehmungsgenauigkeit: Die interaktive zielorientierte Wahrnehmung verbesserte die Genauigkeit der Szenenbeschreibungen (gemessen durch RougeL, METEOR, BERTScore und LLM-as-a-judge) signifikant gegenüber sowohl der Rohwahrnehmung als auch der zielbewussten Wahrnehmung (die unter Halluzinationen litt).

R2R Ergebnisse

PRISM erreichte mit 46,08% die höchste Erfolgsrate (SR) und eine pfadlängengewichtete Erfolgsrate (SPL 43,14) unter allen getesteten Methoden, einschließlich der Re-Implementierungen von DiscussNav und LangNav.
Das Framework demonstrierte eine überlegene Navigationseffizienz und reduzierte den Navigationsfehler (Navigation Error, NE) im Vergleich zu den re-implementierten Baselines um über 1,4 Punkte, was seine Fähigkeit unterstreicht, Rauschen zu filtern und räumliches Denken durch aufgabenrelevante Hinweise zu nutzen.

5. Bedeutung und Behauptungen

Das Paper behauptet, dass PRISM einen bedeutenden Schritt in Richtung autonomer verkörperter Agenten darstellt, indem es die Lücke zwischen Wahrnehmung und Denken effektiv schließt. Die Autoren argumentieren:

Interleaved Reasoning ist essenziell: Die enge Kopplung von Wahrnehmung und Entscheidungsfindung via DQA kompensiert die Wahrnehmungsbeschränkungen von eigenständigen VLMs.
Autonomie statt Priors: Das Framework beweist, dass hochperformante verkörperte Agenten ohne die Abhängigkeit von unrealistischen, handgefertigten Fragen oder privilegierten textuellen Umgebungen gebaut werden können.
Robustheit: Die Methode ist robust gegenüber verschiedenen VLM-Backbones (Idefics2, Qwen3-VL) und Aufgabenbereichen (Manipulation und Navigation).

Die Autoren kommen zu dem Schluss, dass ihr Ansatz zwar die Interpretierbarkeit und Autonomie verbessert, jedoch die Biases aus großskaligen vortrainierten Modellen erbt. Als zukünftige Arbeit wird die Integration dieser verschachtelten Fähigkeiten in niedrigere Steuerungssysteme, wie etwa die Robotik, identifiziert, um die Lücke zwischen Entscheidungsfindung und physischer Aktion zu schließen.