🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

Dieses Paper schlägt TokAG vor, ein Zero-Shot-Affordance-Grounding-Framework, das einen räumlich bewussten Token-Selektionsmechanismus nutzt, um objektfokussierte Aufmerksamkeitskarten aus Large Vision-Language-Modellen zu extrahieren und dadurch eine überlegene Leistung gegenüber bisherigen schwach überwachten Methoden bei der Lokalisierung aktionsrelevanter Regionen ohne externe Überwachung erzielt.

Ursprüngliche Autoren: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Veröffentlicht 2026-07-07

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie bringen einem Roboter bei, wie er mit der Welt interagiert. Sie wollen nicht nur, dass der Roboter weiß, was ein Objekt ist (z. B. „Das ist ein Stuhl“). Sie wollen, dass er weiß, wie man es benutzt (z. B. „Hier sitzen“, „Hier drücken“ oder „Damit schneiden“). Diese Fähigkeit zu verstehen, wo eine Handlung stattfindet, nennt man Affordance Grounding (Affordanz-Verankerung).

Das Paper stellt eine neue Methode namens TokAG vor, die Computern hilft herauszufinden, wo genau an einem Objekt ein Mensch eine Handlung ausführen sollte, ohne dass dies manuell mit tausenden von beschrifteten Beispielen gelehrt werden muss.

So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Der „blinde“ Führer

Frühere Methoden waren wie ein Schüler, der versucht zu erraten, wo man auf einem Motorrad sitzt, indem er nur ein verschwommenes Foto und eine sehr kurze Notiz betrachtet, auf der einfach nur „Sitzen“ steht.

Die Verwirrung: Wenn das Foto ein Motorrad zeigt und die Notiz nur „Sitzen“ sagt, könnte der Computer verwirrt sein. Ist es der Sitz? Der Lenker? Der Tank?
Die Einschränkung: Alte Methoden verließen sich oft auf kurze, vage Anweisungen. Sie hatten Schwierigkeiten, wenn in einem Bild mehrere Dinge gleichzeitig passierten (wie jemand, der eine Zahnbürste hält und damit putzt) oder wenn zwei Handlungen ähnlich aussahen (wie das „Schieben“ eines Fahrrads im Vergleich zum „Sitzen“ darauf). Sie zeigten oft auf das gesamte Objekt anstatt auf den spezifischen Teil, der für die Handlung benötigt wird.

Die Lösung: Der „Super-Leser“ (LVLM)

Die Autoren erkannten, dass Large Vision-Language Models (LVLMs) – dieselbe Art von KI, die ein Bild betrachten und eine lange, detaillierte Geschichte darüber schreiben kann – eigentlich sehr intelligent darin sind, zu wissen, wo Dinge sind, auch wenn sie es nicht laut ausspricht.

Betrachten Sie ein LVLM als einen Super-Leser, der ein Bild und eine Frage betrachtet (z. B. „Welcher Teil der Zahnbürste wird zum Putzen verwendet?“).

Der Super-Leser spuckt nicht einfach nur die Antwort „Borsten“ aus.
Während er die Antwort Wort für Wort generiert, zeigt er gleichzeitig heimlich mit seinem internen „Finger“ (Attention/Aufmerksamkeit) auf verschiedene Teile des Bildes.
Manchmal zeigt er auf den Hintergrund (das Badezimmerwaschbecken). Manchmal zeigt er auf die gesamte Zahnb brush. Aber wenn er an das Wort „Borsten“ denkt, zeigt sein interner Finger sehr stark auf die Borsten.

Die Innovation: Der „Spotlight-Selektor“ (TokAG)

Der knifflige Teil ist, dass der Super-Leser ganze Sätze generiert und dabei für jedes Wort, das er sagt, auf viele verschiedene Dinge zeigt. Wenn man nur den ganzen Satz betrachtet, wird das „Zeigen“ unordentlich und verschwommen.

TokAG ist wie ein Spotlight-Selektor, der dieses Chaos löst:

Die Frage: Es stellt dem Super-Leser eine spezifische Frage über eine Handlung (z. B. „An welchem Teil eines Bettes sitzen Menschen?“).
Der Wort-für-Wort-Scan: Während die KI die Antwort generiert (z. B. „Die Matratze“), betrachtet TokAG die „Attention Map“ (die interne Zeigegeste) für jedes einzelne Wort, das sie produziert.
Der Filter: Es ignoriert Wörter, die auf den Hintergrund oder den ganzen Raum zeigen. Es sucht nach dem spezifischen Wort, bei dem die interne Zeigegeste der KI am stärksten auf das Objekt konzentriert ist.
- Beispiel: Wenn die KI „Matratze“ sagt, ist ihre Aufmerksamkeit eng auf die Oberfläche des Bettes fokussiert. Wenn sie „Bett“ sagt, ist die Aufmerksamkeit vielleicht weit gestreut. TokAG wählt den Moment der „Matratze“.
Das Ergebnis: Es nimmt diesen spezifischen „Moment des Fokus“ und verwandelt ihn in eine klare Heatmap, die genau zeigt, wo man sitzen muss.

Warum es besser ist

Kein Training erforderlich: Im Gegensatz zu früheren Methoden, die „trainiert“ werden mussten (mit Millionen von beschrifteten Fotos, wie ein Schüler, der ein Lehrbuch auswendig lernt), funktioniert TokAG Zero-Shot. Es nutzt einfach das Wissen, das die KI bereits besitzt, wie ein kluger Mensch, der eine neue Situation ohne Handbuch versteht.
Präzision: Es kann zwischen dem „Sitzen auf“ einem Motorrad (dem Sitz) und dem „Schieben“ eines Motorrads (dem Lenker) unterscheiden, obwohl es dasselbe Objekt ist.
Leistung: Das Paper zeigt, dass TokAG signifikant besser ist als bisherige Methoden. In Standardtests verbesserte es die Genauigkeit um etwa 10 % bis 30 % im Vergleich zu den besten bestehenden Techniken, obwohl es keine Trainingsdaten verwendete.

Die Kehrseite (Einschränkungen)

Das Paper stellt fest, dass diese Methode darauf angewiesen ist, dass die KI ein einzelnes „Schlüsselwort“ generiert, das auf den richtigen Ort zeigt.

Komplexe Handlungen: Wenn eine Handlung zwei Hände oder zwei verschiedene Teile gleichzeitig erfordert (wie das „Öffnen eines Glases“, wofür man eine Hand am Deckel und eine Hand am Glas braucht), könnte die aktuelle Methode Schwierigkeiten haben, da sie nach einem einzigen „besten“ Wort sucht.
Ablenkungen: Wenn ein Objekt ein auffälliges Logo oder Text darauf hat, könnte die KI abgelenkt werden und auf das Logo statt auf den funktionalen Teil zeigen.

Zusammenfassung

TokAG ist ein cleverer Trick, der eine „Chatbot“-KI in einen präzisen „Zeiger“ verwandelt. Anstatt die KI zu bitten, ein Kästchen zu zeichnen oder Koordinaten anzugeben, fragt man sie, die Handlung zu beschreiben, und hört dann darauf, welches Wort dazu führt, dass die KI am intensivsten auf den richtigen Teil des Objekts blickt. Es verwandelt den internen „Denkprozess“ der KI in eine präzise Karte, der Roboter und Computer folgen können.

Technische Zusammenfassung: Token-basierte Affordanz-Lokalisierung mit großen visuell-linguistischen Modellen (TokAG)

Problemstellung
Die Affordanz-Lokalisierung (Affordance Grounding) zielt darauf ab, spezifische Bildregionen zu lokalisieren, die potenzielle menschliche Handlungen unterstützen – eine Fähigkeit, die für physische Intelligenz und verkörperte Wahrnehmung essenziell ist. Während jüngste Fortschritte im schwach überwachten Lernen exozentrische Bilder mit Handlungs-Ebene-Supervision genutzt haben, stehen diese Methoden vor zwei primären Einschränkungen:

Visuelle Ambiguität bei koexistierenden Handlungen: Exozentrische Bilder enthalten oft mehrere gleichzeitige Handlungen (z. B. „halten“ und „mit einer Zahnbürste bürsten“). Bestehende Methoden haben Schwierigkeiten, handlungsspezifische visuelle Belege zu isolieren, was zu identischen oder falsch lokalisierten Heatmaps für verschiedene Handlungen auf demselben Bild führt.
Semantische Unzulänglichkeit: Aktuelle Ansätze verlassen sich auf kurze Handlungsphrasen (z. B. „drücken“), denen es an der reichen semantischen Detailtiefe fehlt, die erforderlich ist, um semantisch ähnliche Handlungen (z. B. „auf ein Motorrad drücken“ vs. „auf ein Motorrad setzen“) zu unterscheiden, welche die Lokalisierung in unterschiedlichen funktionalen Teilen (Lenker vs. Sitz) erfordern.

Obwohl große visuell-linguistische Modelle (Large Vision-Language Models, LVLMs) reiche Handlungssemantik kodieren und ihre textuellen Ausgaben implizit räumliche Hinweise enthalten, sind sie auf die Textgenerierung und nicht auf die feinkörnige räumliche Lokalisierung optimiert. Folglich geben LVLMs keine handlungsspezifischen räumlichen Karten direkt aus, und ihre internen Aufmerksamkeitsmechanismen weisen oft diffuse Muster auf, die auf irrelevante Hintergrundregionen statt auf die Ziel-Funktionsbereiche achten.

Methodik: TokAG
Die Autoren schlagen TokAG vor, ein Zero-Shot-Framework zur Affordanz-Lokalisierung, das die latenten semantisch-räumlichen Signale innerhalb vortrainierter LVLMs nutzt, ohne externe Überwachung oder aufgabenspezifisches Training. Die Pipeline arbeitet wie folgt:

Input und Generierung: Gegeben ein egozentrisches Bild und ein Text-Prompt (z. B. „Wenn Menschen [Aktion] mit [Objekt] ausführen, welcher Teil des [Objekts] wird verwendet?“), generiert ein eingefrorenes LVLM (z. B. Qwen3-VL) eine Sequenz von Output-Tokens.
Aufmerksamkeitsaggregation: Das Framework extrahiert Cross-Modal-Aufmerksamkeitskarten zwischen den generierten Output-Tokens und den visuellen Patches. Da die für die Affordanz relevanten Hinweise über verschiedene architektonische Schichten und Attention-Heads verteilt sind, aggregiert die Methode die Aufmerksamkeitsgewichte über alle Schichten und Heads für jedes Output-Token, um verteilte semantisch-räumliche Hinweise zu erfassen.
Räumlich bewusste Token-Selektion: Um das Problem der diffusen Aufmerksamkeit und des Hintergrundrauschens zu adressieren, führt die Methode eine räumliche Beschränkung ein. Unter Verwendung einer binären Objektmaske (erzeugt durch CLIPSeg) für das Zielobjekt berechnet das System einen „Überlappungsscore“ für jede aggregierte Aufmerksamkeitskarte, indem es die Aktivierungswerte strikt innerhalb der Objektregion misst.
Token-Selektion und Heatmap-Generierung: Das Framework wählt das einzelne Output-Token ( $t^*$ ), das den höchsten Aktivierungsscore über dem Zielobjektbereich liefert. Die dem ausgewählten Token entsprechende Aufmerksamkeitskarte wird auf die Originalbilddimensionen hochskaliert, um die endgültige Affordanz-Heatmap zu erzeugen.

Wesentliche Beiträge

Zero-Shot-Framework: TokAG ist das erste Zero-Shot-Framework zur Affordanz-Lokalisierung, das die Notwendigkeit einer affordanzspezifischen Überwachung durch die Nutzung von Token-Ebene-Signalen in LVLMs eliminiert.
Räumlich bewusste Token-Selektion: Die Autoren schlagen einen Mechanismus vor, der Output-Tokens systematisch basierend auf ihrer objektfokussierten Aktivierung bewertet, anstatt sich auf willkürliche Aufmerksamkeitskarten oder strukturelle Pruning-Verfahren zu verlassen. Dies transformiert implizite semantische Signale in präzise räumliche Heatmaps.
Interpretierbarkeit und Analyse: Die Arbeit liefert eine empirische Analyse, die zeigt, dass die ausgewählten Tokens oft mit bedeutsamen funktionalen Objektteilen (z. B. „Klinge“, „Sitz“, „Griff“) korrespondieren. Darüber hinaus zeigt die Analyse, dass stärkere LVLM-Backbones (z. B. 32B gegenüber 2B) semantisch relevantere Tokens auswählen, was mit einer verbesserten Lokalisierungsleistung korreliert.

Experimentelle Ergebnisse
TokAG wurde auf zwei Benchmark-Datensätzen evaluiert: AGD20K und HICO-IIF. Die Methode wurde gegen State-of-the-Art-Ansätze der schwachen Überwachung und Foundation-Model-basierte Baselines verglichen.

Leistung auf AGD20K: Auf dem ungesehenen Split (Set 2) erreichte TokAG (unter Verwendung eines 2B-Modells) einen NSS von 1,514, was eine Verbesserung um 10,7 % gegenüber der bisher besten schwach überwachten Methode (Moon et al., 1,368) darstellt. Es erreichte zudem den niedrigsten KLD (1,060) und den höchsten SIM (0,455).
Leistung auf HICO-IIF: TokAG erreichte einen NSS von 1,655 (mit dem 32B-Modell), was einer Steigerung um 29,7 % gegenüber bestehenden schwach überwachten Baselines (1,234) entspricht.
Vergleich mit Foundation Models: Das direkte Prompting von LVLMs für Koordinaten oder die Kombination von LVLMs mit Segmentierungsmodellen (z. B. SAM 3, GroundingDINO) führte zu signifikant geringerer Leistung. Der Ansatz von TokAG, räumliche Signale direkt aus Aufmerksamkeitskarten zu extrahieren, erwies sich als überlegen gegenüber naiver Koordinatenprognose oder mehrstufigen Pipelines.
Ablationsstudien: Experimente bestätigten, dass die Aggregation der Aufmerksamkeit über alle Schichten und Heads die Auswahl spezifischer Schichten oder Heads übertrifft. Zudem war die räumlich bewusste Top-1-Token-Selektionsstrategie überlegen gegenüber Heuristiken wie der Verwendung des ersten/letzten Tokens oder dem Durchschnitt aller Tokens.

Bedeutung und Ansprüche
Die Arbeit behauptet, dass TokAG einen neuen Stand der Technik für die Zero-Shot-Affordanz-Lokalisierung etabliert. Ihre primäre Bedeutung liegt in dem Nachweis, dass LVLMs trotz ihrer Natur als Textgenerationsmodelle über ausreichend implizites räumliches Wissen verfügen, um eine präzise Handlungs-Lokalisierung mittels Token-Ebene-Aufmerksamkeitsanalyse durchzuführen.

Die Autoren merken an, dass das Framework zwar hocheffektiv ist, jedoch derzeit davon ausgeht, dass Affordanzen durch ein einzelnes semantisches Token repräsentiert werden können. Sie räumen ein, dass es Schwierigkeiten bei der Handhabung kompositorischer Affordanzen (die mehrere Regionen erfordern, z. B. „ausgießen aus“) und bimanuellen Interaktionen gibt. Dennoch bietet die Arbeit einen grundlegenden, trainingsfreien Ansatz, der das Feld signifikant voranbringt, indem er die Lücke zwischen hochgradigem semantischem Verständnis und niedriggradiger räumlicher Lokalisierung schließt, ohne teure pixelgenaue Annotationen zu erfordern.