💻 computer science

IntentVLM: Open-Vocabulary Intention Recognition through Forward-Inverse Modeling with Video-Language Models

Das Papier stellt IntentVLM vor, ein neuartiges zweistufiges Video-Sprach-Framework, das von der Vorwärts-Inversen-Modellierung inspiriert ist und durch die Zerlegung der Aufgabe in die Generierung von Zielkandidaten und die strukturierte Auswahl eine state-of-the-art offene Vokabular-Menschliche-Intentionserkennung erreicht, wodurch Halluzinationen erheblich reduziert werden und die menschliche Leistung erreicht wird.

Ursprüngliche Autoren: Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

Veröffentlicht 2026-04-28

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hamed Rahimi, Clemence Grislain, Adrien Jacquet Cretides, Olivier Sigaud, Mohamed Chetouani

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie beobachten einen Freund in einer Küche. Sie sehen, wie er den Kühlschrank öffnet, eine Milchpackung herausnimmt und dann auf die Kaffeemaschine zugeht.

Ein Standardroboter würde vielleicht nur sagen: „Person hält Milch" oder „Person befindet sich in der Nähe des Kaffees". Doch ein wirklich hilfreicher Roboter muss verstehen, warum er dies tut. Bereitet der Freund Kaffee zu? Prüft er nur, ob die Milch da ist? Oder gedenkt er, sie für einen Gast in eine Tasse zu gießen?

Dieser Artikel stellt IntentVLM vor, eine neue Art von „Gehirn" für Roboter, das genau dieses Problem lösen soll. Es hilft Robotern herauszufinden, was ein Mensch plant, selbst wenn dem Roboter keine spezifische Liste möglicher Antworten beigebracht wurde.

So funktioniert es, anhand einfacher Analogien:

Das Problem: Die „Multiple-Choice"-Falle

Die meisten aktuellen Roboter sind wie Schüler, die einen Multiple-Choice-Test schreiben, bei dem der Lehrer ihnen nur fünf Optionen zur Auswahl gibt. Wenn die Antwort nicht auf der Liste steht, bleibt der Roboter stecken oder rät falsch.

Der alte Weg: Der Roboter sieht die Milch und den Kaffee und muss aus einer festgelegten Liste wählen wie: „A) Kaffee zubereiten, B) Tee zubereiten, C) Aufräumen". Wenn die Person tatsächlich „Heiße Schokolade" zubereitet, könnte der Roboter scheitern, da diese Option nicht auf der Liste stand.
Der neue Weg (IntentVLM): Der Roboter kann offene Ideen verstehen. Er benötigt keine vorab geschriebene Liste. Er kann selbstständig „Heiße Schokolade zubereiten" herausfinden.

Die Lösung: Ein zweistufiger Detektivprozess

Die Autoren ließen sich davon inspirieren, wie menschliche Gehirne funktionieren. Sie nennen dies „Forward-Inverse-Modellierung". Stellen Sie sich das wie einen Detektiv vor, der ein Rätsel in zwei Schritten löst:

Schritt 1: Der „Was-wäre-wenn?"-Generator (Forward-Modell)
Statt sofort die Antwort zu erraten, agiert der Roboter zunächst wie eine Brainstorming-Session. Er betrachtet das Video und fragt: „Was sind alle möglichen Gründe, warum diese Person dies tut?"

Analogie: Stellen Sie sich einen Detektiv vor, der Verdächtige auflistet. „Vielleicht bereitet er Kaffee zu. Vielleicht erhitzt er Milch für Tee. Vielleicht prüft er nur das Verfallsdatum."
Der Roboter generiert eine kurze Liste dieser „Kandidaten-Ideen" basierend auf dem, was er sieht.

Schritt 2: Der „Beste-Treffer"-Richter (Inverse-Modell)
Sobald der Roboter eine Liste von Möglichkeiten hat, agiert er wie ein strenger Richter. Er betrachtet das Video erneut und fragt: „Welche dieser Ideen passt am besten zu den Beweisen?"

Analogie: Der Detektiv betrachtet die Hinweise (die Person griff nach einem Becher, nicht nach einer Teetasse) und sagt: „Okay, 'Tee zubereiten' passt nicht. 'Das Datum prüfen' passt nicht. 'Kaffee zubereiten' passt perfekt."
Der Roboter wählt die beste Übereinstimmung aus seiner eigenen Liste aus.

Warum dies besonders ist

Es reduziert „Halluzinationen": Manchmal erfindet KI Dinge (Halluzinationen). Indem der Roboter gezwungen wird, zunächst Möglichkeiten aufzulisten und dann die beste auszuwählen, wird verhindert, dass er wild herumrät. Es ist, als würde man einen Schüler bitten, seinen Lösungsweg zu zeigen, bevor er die endgültige Antwort gibt.
Es ist offen-minded: Da der Roboter seine eigene Liste von Ideen generiert, ist er nicht auf einen kleinen Wortschatz beschränkt. Er kann komplexe, einzigartige Absichten verstehen, die ein Mensch haben könnte.
Es ist effizient: Die Forscher nutzten einen „intelligenten Abkürzungsweg" (genannt LoRA), um den Roboter zu unterrichten. Dies ist, als würde man dem Roboter ein spezialisiertes Notizbuch geben, um die neue Fähigkeit zu erlernen, ohne sein gesamtes Gehirn neu schreiben zu müssen. Dies hält den Roboter schnell und verhindert, dass er vergisst, wie man andere Dinge tut (wie Objekte zu erkennen).

Die Ergebnisse

Das Team testete dieses Roboterhirn an zwei verschiedenen Herausforderungen:

IntentQA: Ein Test, bei dem der Roboter Fragen zu dem beantworten musste, was Menschen in Videos zu tun versuchten.
Inst-IT Bench: Ein Test, um zu prüfen, ob der Roboter nach dem Erlernen des Verstehens von Absichten immer noch Objekte und Szenen erkennen konnte.

Das Ergebnis:

Der neue Roboter erreichte eine Genauigkeit von etwa 80 %, was einen enormen Sprung darstellt (etwa 30 % besser) im Vergleich zu früheren Methoden.
Er schnitt in diesen Tests genauso gut ab wie Menschen.
Entscheidend ist, dass das Erlernen des Verstehens von Absichten den Roboter nicht dazu brachte, das Erkennen von Objekten oder das Verstehen der Szene zu „vergessen". Er behielt sein allgemeines Wissen intakt.

Zusammenfassung

IntentVLM ist ein System, das Roboter lehrt, wie ein Detektiv zu denken: Zuerst alle möglichen Gründe für eine Handlung vorstellen und dann anhand der Beweise den logischsten auswählen. Dies ermöglicht Robotern, menschliche Ziele auf eine flexible, natürliche Weise zu verstehen und macht sie zu viel besseren Partnern für alltägliche Aufgaben.

1. Problemdefinition

Das Paper adressiert die Herausforderung der offenen Vokabular-Menschlichen Intentionserkennung in der Mensch-Roboter-Interaktion (HRI).

Die Kernherausforderung: Im Gegensatz zu physischen Aktionen sind Intentionen latente mentale Zustände, die nicht beobachtbar sind. Bestehende Methoden verlassen sich oft auf geschlossene Vokabular-Ansätze (vordefinierte Satz von Labels), die die Nuancen, die Vielfalt und die zusammengesetzten Motivationen menschlicher Ziele in unbeschränkten Umgebungen nicht erfassen können.
Grenzen aktueller Ansätze:
- Klassifizierung mit geschlossener Menge: Beschränkt das Modell auf einen festen Labelraum und limitiert damit die Ausdruckskraft.
- Direkte Generierung: Die einmalige Generierung durch Large Language Models (LLMs) oder Vision-Language Models (VLMs) führt häufig zu Halluzinationen und inkonsistenten Vorhersagen, wenn Intentionen direkt aus Videos ohne Einschränkungen abgeleitet werden sollen.
- Statische Wahrnehmung: Viele vorherige Arbeiten verlassen sich auf statische Bilder und erfassen dabei die zeitlichen Dynamiken und die kontextuelle Entwicklung, die für das Verständnis von Intentionen essenziell sind, nicht.
Ziel: Entwicklung eines Systems, das freie, natürliche Sprachbeschreibungen menschlicher Intentionen aus Videostreams ableiten kann, ohne auf ein vordefiniertes Aktionsvokabular zurückzugreifen, dabei jedoch Robustheit bewahrt und Halluzinationen reduziert.

2. Methodik: IntentVLM

Die Autoren schlagen IntentVLM vor, ein neuartiges zweistufiges Video-Sprach-Framework, inspiriert durch Vorwärts-Rückwärts-Modellierung in der Kognitionswissenschaft. Die Kernhypothese besagt, dass das Gehirn zunächst plausible zukünftige Zustände simuliert (Vorwärts), bevor es rückwärts schließend auf die Intention rückschließt (Rückwärts).

Architekturübersicht

Das Framework nutzt zwei eingefrorene Video-Sprach-Modelle (VLMs), die mit LoRA (Low-Rank Adaptation)-Adaptern für eine parameter-effiziente Feinabstimmung erweitert werden. Der Prozess ist in zwei sequenzielle Stufen unterteilt:

Stufe 1: Generierung von Zielkandidaten (Der „Vorwärts"-Schritt)

Eingabe: Beobachtete Videosequenz ( $V_O$ ) und eine textuelle Abfrage ( $Q_O$ ).
Funktion: Ein generatives Modul erzeugt eine vielfältige Menge von $K$ plausiblen Zielkandidaten ( $G_t = \{G_1, ..., G_K\}$ ), die das beobachtete Verhalten erklären.
Mechanismus: Dies fungiert als ein „Vorschlags"-Schritt, der potenzielle Ergebnisse oder Ziele basierend auf dem visuellen Kontext simuliert. Es erweitert den Suchraum, um offene Vokabular-Möglichkeiten einzuschließen, anstatt sich auf eine feste Liste zu beschränken.
Implementierung: Ein Qwen3-VL-Modell (8B Parameter) wird feinabgestimmt, um diese Kandidaten zu generieren.

Stufe 2: Strukturierte Selektion (Der „Rückwärts"-Schritt)

Eingabe: Das ursprüngliche Video, die Abfrage und die Menge der in Stufe 1 generierten Zielkandidaten.
Funktion: Ein Inferenzmodul bewertet die Kandidaten und wählt die einzige plausibelste Intention aus.
Mechanismus: Dies fungiert als ein „Experte", der über die Kandidaten schlussfolgert und sie basierend auf der Konsistenz mit visuellen Beweisen und kontextuellen Informationen rangiert.
Implementierung: Eine separate Qwen3-VL-Instanz (2B oder 4B Parameter) wird feinabgestimmt, um die Selektion durchzuführen. Das finale Ergebnis ist das Ziel mit der höchsten Posterior-Wahrscheinlichkeit, das als die abgeleitete Intention behandelt wird.

Trainingsstrategie:

Parameter-effiziente Feinabstimmung (PEFT): Nur die LoRA-Adapter werden trainiert, während die Gewichte des Basis-VLM eingefroren bleiben, um allgemeines Weltwissen zu bewahren und katastrophales Vergessen zu verhindern.
Verlustfunktion: Der Kreuzentropieverlust wird zwischen den generierten Tokens und den Ground-Truth-Labels berechnet (Kandidaten für Stufe 1, wahre Intention für Stufe 2).

3. Hauptbeiträge

Offenes Vokabular-Framework: Verschiebung von der Klassifizierung mit geschlossener Menge hin zu einem Generieren-Auswählen-Paradigma, das es dem Modell ermöglicht, Intentionen zu erkennen, die nicht in einem vordefinierten Trainingsvokabular vorhanden sind.
Kognitiv inspiriertes zweistufiges Design: Explizite Zerlegung der Intentionserkennung in Vorschlag (Generierung von Hypothesen) und Auswahl (Verifizierung von Hypothesen). Diese Struktur imitiert menschliche kognitive Prozesse (Vorwärts-Rückwärts-Modellierung) und reduziert Halluzinationen im Vergleich zur direkten Generierung signifikant.
State-of-the-Art-Leistung: Erreicht menschliche Leistungsniveaus bei Benchmarks zur Intentionserkennung und übertrifft bestehende Baselines um ein signifikantes Maß.
Robustheit und Effizienz: Zeigt, dass das modulare Design katastrophales Vergessen verhindert (Erhaltung des allgemeinen Szenenverständnisses) und mit kleineren Modellgrößen (4B) im Vergleich zu größeren Baselines hohe Leistung erzielt.

4. Experimentelle Ergebnisse

Das Modell wurde an zwei Benchmarks evaluiert: IntentQA (Intentionserkennung) und Inst-IT Bench (Instanz-Level-Reasoning).

IntentQA-Leistung:
- Genauigkeit: IntentVLM erreichte ~80 % Genauigkeit auf dem Testset.
- Vergleich: Dies stellt eine ~30 %ige Verbesserung gegenüber bestehenden Baselines (z. B. HME, HQGA, VGT) dar und entspricht der menschlichen Leistung (78,49 %).
- Ablation: Das 4B-Parameter-Modell übertraf die 2B-Version. Die Feinabstimmung steigerte die Leistung im Vergleich zu Zero-Shot-Szenarien erheblich.
Fähigkeit für offenes Vokabular:
- In einem Setting zur freien Generierung (keine Kandidatenoptionen bereitgestellt) schnitt die direkte Generierung durch Standard-VLMs schlecht ab (<20 ROUGE-Score).
- Der zweistufige Ansatz von IntentVLM verbesserte die Leistung in offenen Vokabular-Szenarien im Durchschnitt um ~5 Punkte, indem der Generierungsraum durch den Kandidatenauswahlmechanismus eingeschränkt wurde.
Generalisierung (Katastrophales Vergessen):
- Das Training auf IntentQA verschlechterte nicht die Fähigkeit des Modells, Instanz-Level-Reasoning auf dem Inst-IT Bench durchzuführen. Das feinabgestimmte Modell blieb im Vergleich zu Zero-Shot-Pendants wettbewerbsfähig.
- Effizienz: Das 4B-Parameter-IntentVLM erreichte eine Leistung, die mit Modellen vergleichbar ist, die 7B Parameter überschreiten, und hebt damit einen überlegenen Trade-off zwischen Größe und Leistung hervor.

5. Bedeutung und Auswirkung

Fortschritt in der Mensch-Roboter-Interaktion: Indem IntentVLM Robotern ermöglicht, subtile, offene menschliche Ziele (z. B. „Kaffee zubereiten" vs. „Wasser für Tee erhitzen") ohne vorprogrammierte Skripte zu verstehen, ebnet es den Weg für proaktivere und sozial bewusste Roboterassistenten.
Überbrückung von Kognitionswissenschaft und KI: Die Arbeit übersetzt das theoretische Konzept der Vorwärts-Rückwärts-Modellierung erfolgreich in eine praktische, skalierbare Deep-Learning-Architektur.
Zuverlässigkeit im Reasoning: Der strukturierte Reasoning-Ansatz (generieren-dann-auswählen) bietet eine Lösung für das „Halluzinations"-Problem, das bei generativer KI häufig vorkommt, und macht sie besser geeignet für sicherheitskritische Anwendungen wie Pflege oder assistive Robotik.
Skalierbarkeit: Die Verwendung von LoRA-Adaptern ermöglicht eine effiziente Anpassung großer Foundation-Modelle an spezifische kognitive Aufgaben ohne die Rechenkosten einer vollständigen Feinabstimmung.

Zusammenfassend zeigt IntentVLM, dass die Zerlegung der Intentionserkennung in einen strukturierten, zweistufigen kognitiven Prozess es Video-Sprach-Modellen ermöglicht, ein menschliches Verständnis komplexer, offener menschlicher Ziele zu erreichen und damit eine robuste Grundlage für die nächste Generation intelligenter Robotersysteme zu bieten.