🤖 AI

Token-Based Affordance Grounding with Large Vision-Language Models

Cet article propose TokAG, un cadre de mise en évidence d'affordance en zéro cliché qui exploite un mécanisme de sélection de jetons sensible à l'espace pour extraire des cartes d'attention centrées sur les objets à partir de grands modèles de vision-langage, atteignant ainsi une performance supérieure aux méthodes de supervision faible antérieures pour localiser les régions pertinentes pour l'action sans supervision externe.

Auteurs originaux : Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Publié 2026-07-07

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Seung Il Lee, Qinqian Lei, Daguang Xu, Dong Yang, Robby T. Tan, Yixin Chen, Bo Wang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous enseigniez à un robot comment interagir avec le monde. Vous ne voulez pas seulement que le robot sache ce qu'est un objet (par exemple, « C'est une chaise »). Vous voulez qu'il sache comment l'utiliser (par exemple, « Asseyez-vous ici », « Poussez ici » ou « Coupez avec ceci »). Cette capacité à comprendre où une action se déroule est appelée l'ancrage d'affordance (Affordance Grounding).

Cette publication présente une nouvelle méthode appelée TokAG qui aide les ordinateurs à déterminer précisément où sur un objet un humain doit effectuer une action, sans avoir besoin d'être enseigné manuellement avec des milliers d'exemples étiquetés.

Voici comment cela fonctionne, expliqué par des analogies simples :

Le Problème : Le Guide « Aveugle »

Les méthodes précédentes étaient comme un étudiant essayant de deviner où s'asseoir sur une moto en regardant une photo floue et une note très courte qui dit simplement « S'asseoir ».

La Confusion : Si la photo montre une moto et que la note dit « S'asseoir », l'ordinateur pourrait être confus. Est-ce le siège ? Le guidon ? Le réservet d'essence ?
La Limitation : Les anciennes méthodes reposaient souvent sur des instructions courtes et vagues. Elles avaient du mal lorsqu'une image montrait plusieurs choses se passant en même temps (comme quelqu'un tenant une brosse à dents et se brossant les dents avec) ou quand deux actions se ressemblaient (comme « pousser » une moto vs « s'asseoir » sur elle). Elles pointaient souvent vers l'objet entier plutôt que vers la partie spécifique nécessaire à l'action.

La Solution : Le « Super-Lecteur » (LVLM)

Les auteurs ont réalisé que les Modèles de Langage-Vision de Grande Taille (LVLM) — le même type d'IA capable de regarder une image et d'écrire une histoire longue et détaillée à son sujet — sont en réalité très intelligents sur le où des choses, même s'ils ne le disent pas explicitement.

Considérez un LVLM comme un Super-Lecteur qui regarde une image et une question (par exemple, « Quelle partie de la brosse à dents est utilisée pour le brossage ? »).

Le Super-Lecteur ne se contente pas de recracher la réponse « les poils ».
Pendant qu'il est en train de « réfléchir » et de générer cette réponse mot par mot, il pointe aussi secrètement son « doigt » interne (l'attention) vers différentes parties de l'image.
Parfois, il pointe l'arrière-plan (l'évier de la salle de bain). Parfois, il pointe toute la brosse à dents. Mais lorsqu'il pense au mot « poils », son doigt interne pointe très fortement vers les poils.

L'Innovation : Le « Sélecteur de Projecteur » (TokAG)

La partie délicate est que le Super-Lecteur génère une phrase entière, et il pointe ses doigts vers beaucoup de choses différentes pour chaque mot qu'il prononce. Si vous regardez simplement la phrase entière, le « pointage » devient désordonné et flou.

TokAG est comme un Sélecteur de Projecteur qui résout ce désordre :

La Question : Il pose une question spécifique au Super-Lecteur sur une action (par exemple, « Quand les gens s'assoient sur un lit, quelle partie est utilisée ? »).
Le Balayage Mot par Mot : Pendant que l'IA génère la réponse (par exemple, « Le matelas »), TokAG examine la « carte d'attention » (le pointage interne) pour chaque mot produit.
Le Filtre : Il ignore les mots qui pointent vers l'arrière-plan ou la pièce entière. Il cherche le mot spécifique où le pointage interne de l'IA est le plus concentré sur l'objet.
- Exemple : Quand l'IA dit « matelas », son attention est étroitement focalisée sur la surface du lit. Quand elle dit « lit », l'attention peut être dispersée. TokAG choisit le « moment de focus » du mot « matelas ».
Le Résultat : Il prend ce « moment de concentration » spécifique et le transforme en une carte de chaleur claire, montrant exactement où s'asseoir.

Pourquoi c'est meilleur

Aucun Entraînement Requis : Contrairement aux méthodes précédentes qui avaient besoin d'être « entraînées » sur des millions de photos étiquetées (comme un étudiant mémorisant un manuel), TokAG fonctionne en zero-shot. Il utilise simplement les connaissances que l'IA possède déjà, comme une personne intelligente comprenant une nouvelle situation sans avoir besoin d'un manuel.
Précision : Il peut faire la différence entre « s'asseoir sur » une moto (le siège) et « pousser » une moto (le guidon), même si l'objet est le même.
Performance : L'article montre que TokAG est nettement meilleur que les méthodes précédentes. Sur les tests standards, il a amélioré la précision d'environ 10 % à 30 % par rapport aux meilleures techniques existantes, même sans utiliser de données d'entraînement.

Le Piège (Limites)

L'article note que cette méthode repose sur la génération par l'IA d'un seul « mot-clé » qui pointe vers le bon endroit.

Actions Complexes : Si une action nécessite deux mains ou deux parties différentes à la fois (comme « ouvrir un bocal » qui nécessite une main sur le couvercle et une main sur le bocal), la méthode actuelle pourrait avoir des difficultés car elle cherche un seul « meilleur » mot pour pointer.
Distractions : Si un objet possède un logo ou un texte brillant dessus, l'IA pourrait être distraite et pointer le logo au lieu de la partie fonctionnelle.

Résumé

TokAG est une astuce ingénieuse qui transforme une IA de type « chatbot » en un « pointeur » précis. Au lieu de demander à l'IA de dessiner une boîte ou d'écrire des coordonnées, on lui demande de décrire l'action, puis on écoute quel mot provoque l'attention la plus intense de l'IA sur la bonne partie de l'objet. Cela transforme le « processus de pensée » de l'IA en une carte précise que les robots et les ordinateurs peuvent suivre.

Résumé Technique : Ancrage d'Affordance par Tokens avec les Grands Modèles Vision-Langage (TokAG)

Énoncé du Problème
L'ancrage d'affordance vise à localiser des régions spécifiques de l'image qui soutiennent des actions humaines potentielles, une capacité essentielle pour l'intelligence physique et la perception incarnée. Bien que les progrès récents de l'apprentissage faiblement supervisé aient utilisé des images exocentrées avec une supervision au niveau de l'action, ces méthodes font face à deux limitations principales :

Ambiguïté Visuelle dans les Actions Cooccurantes : Les images exocentrées contiennent souvent plusieurs actions simultanées (par exemple, « tenir » et « brosser avec » une brosse à dents). Les méthodes existantes peinent à isoler les preuves visuelles spécifiques à une action, ce qui conduit à des cartes de chaleur identiques ou mal localisées pour différentes actions sur une même image.
Insuffisance Sémantique : Les approches actuelles reposent sur de brèves expressions d'action (par exemple, « pousser ») qui manquent de la richesse sémantique nécessaire pour distinguer des actions sémantiquement similaires (par exemple, « pousser » vs « s'asseoir sur » une moto) qui nécessitent un ancrage dans des parties fonctionnelles distinctes (poignée vs siège).

Bien que les Grands Modèles Vision-Langage (LVLM) encodent une sémantique d'action riche et que leurs sorties textuelles contiennent implicitement des indices spatiaux, ils sont optimisés pour la génération de texte plutôt que pour la localisation spatiale fine. Par conséquent, les LVLM ne produisent pas directement de cartes spatiales spécifiques à l'action, et leurs mécanismes d'attention interne présentent souvent des motifs diffus s'attendant à des régions d'arrière-plan non pertinentes plutôt qu'aux zones fonctionnelles cibles.

Méthodologie : TokAG
Les auteurs proposent TokAG, un cadre d'ancrage d'affordance zero-shot qui exploite les signaux sémantiques-spatiaux latents au sein des LVLM pré-entraînés sans supervision externe ou entraînement spécifique à la tâche. Le pipeline fonctionne comme suit :

Entrée et Génération : Étant donné une image égocentrée et un prompt textuel (par exemple, « Quand les gens effectuent [Action] avec [Objet], quelle partie de l'[Objet] est utilisée ? »), un LVLM gelé (par exemple, Qwen3-VL) génère une séquence de tokens de sortie.
Agrégation d'Attention : Le cadre extrait les cartes d'attention cross-modales entre les tokens de sortie générés et les patchs visuels. Reconnaissant que les indices d'affordance sont distribués à travers différentes couches et têtes d'attention, la méthode agrège les poids d'attention à travers toutes les couches et toutes les têtes pour chaque token de sortie afin de capturer les indices sémantiques-spatiaux distribués.
Sélection de Tokens Sensible à l'Espace : Pour traiter l'attention diffuse et le bruit de fond, la méthode introduit une contrainte spatiale. En utilisant un masque d'objet binaire (généré par CLIPSeg) pour l'objet cible, le système calcule un « score de chevauchement » pour chaque carte d'attention agrégée en mesurant les valeurs d'activation strictement à l'intérieur de la région de l'objet.
Sélection de Token et Génération de Carte de Chaleur : Le cadre sélectionne le token de sortie unique ( $t^*$ ) qui produit le score d'activation le plus élevé sur la zone de l'objet cible. La carte d'attention correspondant à ce token sélectionné est suréchantillonnée aux dimensions de l'image originale pour produire la carte de chaleur d'affordance finale.

Contributions Clés

Cadre Zero-Shot : TokAG est le premier cadre d'ancrage d'affordance zero-shot qui élimine le besoin de supervision spécifique à l'affordance en exploitant les signaux au niveau du token dans les LVLM.
Sélection de Token Sensible à l'Espace : Les auteurs proposent un mécanisme qui évalue systématiquement les tokens de sortie en fonction de leur activation focalisée sur l'objet, plutôt que de se fier à des cartes d'attention arbitraires ou à un élagage structurel. Cela transforme les signaux sémantiques implicites en cartes spatiales précises.
Interprétabilité et Analyse : L'article fournit une analyse empirique montrant que les tokens sélectionnés correspondent souvent à des parties fonctionnelles d'objets significatives (par exemple, « lame », « siège », « poignée »). De plus, l'analyse indique que des backbones de LVLM plus puissants (par exemple, 32B vs 2B) sélectionnent des tokens plus sémantiquement pertinents, ce qui corrèle avec une amélioration des performances d'ancrage.

Résultats Expérimentaux
TokAG a été évalué sur deux jeux de données de référence : AGD20K et HICO-IIF. La méthode a été comparée aux approches de pointe faiblement supervisées et aux bases fondées sur des modèles de fondation.

Performance sur AGD20K : Sur le split non vu (Set 2), TokAG (utilisant un modèle 2B) a atteint un NSS de 1,514, soit une amélioration de 10,7 % par rapport à la meilleure méthode faiblement supervisée précédente (Moon et al., 1,368). Il a également obtenu le KLD le plus bas (1,060) et le SIM le plus élevé (0,455).
Performance sur HICO-IIF : TokAG a atteint un NSS de 1,655 (avec le modèle 32B), représentant une augmentation de 29,7 % par rapport aux bases faiblement supervisées existantes (1,234).
Comparaison avec les Modèles de Fondation : Le prompting direct des LVLM pour des coordonnées ou la combinaison des LVLM avec des modèles de segmentation (par exemple, SAM 3, GroundingDINO) a donné des performances nettement inférieures. L'approche de TokAG consistant à extraire les signaux spatiaux directement des cartes d'attention s'est avérée supérieure à la prédiction de coordonnées naïve ou aux pipelines multi-étapes.
Études d'Ablation : Les expériences ont confirmé que l'agrégation de l'attention sur toutes les couches et têtes surpasse la sélection de couches ou de têtes spécifiques. De plus, la stratégie de sélection du Top-1 token sensible à l'espace a surpassé les heuristiques telles que l'utilisation du premier/dernier token ou la moyenne de tous les tokens.

Signification et Revendications
L'article affirme que TokAG établit un nouvel état de l'art pour l'ancrage d'affordance zero-shot. Sa principale importance réside dans la démonstration que les LVLM, bien qu'étant des modèles de génération de texte, contiennent suffisamment de connaissances spatiales implicites pour effectuer une localisation d'action précise lorsqu'ils sont accédés via une analyse d'attention au niveau du token.

Les auteurs notent que, bien que le cadre soit très efficace, il suppose actuellement que les affordances peuvent être représentées par un seul token sémantique. Ils reconnaissent les limites concernant la gestion des affordances compositionnelles (nécessitant plusieurs régions, par exemple, « verser de ») et les interactions bimanuelles. Cependant, ce travail fournit une approche fondamentale, sans entraînement, qui fait progresser considérablement le domaine en comblant le fossé entre la compréhension sémantique de haut niveau et la localisation spatiale de bas niveau sans nécessiter d'annotations coûteuses au niveau du pixel.