💻 computer science

EgoAfford: Task-Oriented Affordance Grounding via Egocentric Referring Segmentation

Le document présente EgoAfford, un benchmark et un ensemble de données pour l'ancrage d'affordances orientées vers les tâches en vues égocentrées, ainsi qu'EgoLens, un modèle multimodal spécialisé qui réalise conjointement la planification de l'étape suivante et la segmentation spécifique à un rôle pour des tâches de table multitâches.

Auteurs originaux : Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

Publié 2026-08-06

📖 4 min de lecture☕ Lecture pause café

CC BY 4.0

Auteurs originaux : Xinyuan Guan, Feifan Chen, Xinyu Zhan, Fu-Cheng Zhang, Cewu Lu, Lixin Yang

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous appreniez à un robot à faire un sandwich. Vous ne voulez pas seulement que le robot sache à quoi ressemble un « couteau » ; vous avez besoin qu'il comprenne comment utiliser ce couteau pour étaler du beurre, sur quoi il doit l'étaler, et où placer la tranche terminée. C'est le monde de l'affordance, un mot sophistiqué pour dire « ce qu'un objet permet de faire ». Pensez à une poignée de porte : sa forme permet de tourner. Une tasse permet de contenir un liquide. Pendant longtemps, les robots ont été plutôt doués pour repérer ces actions simples et isolées, comme « saisir la poignée ». Mais la vie réelle est désordonnée et comporte plusieurs étapes. Faire un sandwich n'est pas seulement une saisie ; c'est toute une histoire impliquant la planification, le choix du bon outil et le savoir exactement où poser les choses ensuite. La grande question que se posent les scientifiques est la suivante : pouvons-nous apprendre aux robots non seulement à voir des objets, mais à comprendre l'histoire d'une tâche, à déterminer le mouvement suivant et à identifier les parties infimes et spécifiques d'un objet nécessaires pour ce mouvement ?

Entrez dans EgoAfford, un nouveau projet qui tente de résoudre ce casse-tête en donnant aux robots une vue en « première personne » du monde, tout comme nous le voyons. Les chercheurs ont construit un immense terrain de jeu numérique avec environ 15 500 images de scènes de table, couvrant 2 000 tâches multi-étapes différentes. Ils ont également créé un ensemble de tests du « monde réel » avec 102 photos prises par des humains pour voir si le robot peut gérer la réalité désordonnée d'une vraie cuisine. L'objectif ? Voir si un ordinateur peut regarder une image, lire un objectif comme « faire du thé » et ensuite faire deux choses à la fois : 1) Écrire le reste de la recette (le plan), et 2) Dessiner un masque sur la partie exacte de la théière par laquelle vous devez verser, de la cuillère avec laquelle vous devez remuer, et de la tasse dans laquelle vous devez verser.

Pour s'attaquer à cela, l'équipe a introduit EgoLens, un modèle d'IA intelligent conçu spécifiquement pour cette tâche. Considérez EgoLens comme l'apprenti chef cuisinier d'un robot qui apprend à « lire » une scène. Contraiment à d'autres modèles qui pourraient deviner l'objet entier ou s'embrouiller avec des instructions complexes, EgoLens est entraîné pour décomposer une tâche en ses plus petites pièces fonctionnelles. Il ne dit pas seulement « c'est une casserole » ; il dit « j'ai besoin de saisir le bec de cette casserole pour verser, et je dois tenir le manche de la cuillère pour remuer ». L'article montre qu'EgoLens est actuellement le meilleur dans ce type spécifique de réflexion, surpassant d'autres grands modèles d'IA et même des outils commerciaux qui tentent de combiner planification et vision.

Cependant, les chercheurs veillent à noter que ce n'est pas encore une solution magique. Bien qu'EgoLens soit excellent pour les images « numériques » qu'ils ont générées, il existe toujours un écart lorsqu'il s'agit de photos du monde réel, ce qui suggère que le robot a encore besoin de plus de pratique face à la nature imprévisible de la vie réelle. L'étude suggère qu'en combinant la capacité de planifier les étapes suivantes avec la capacité de localiser précisément la partie fonctionnelle d'un objet, nous pouvons rapprocher considérablement les robots du statut d'assistants utiles dans notre vie quotidienne. C'est une étape importante vers l'apprentissage des machines pour qu'elles comprennent non seulement ce que sont les choses, mais aussi comment les utiliser pour accomplir un travail.

Résumé Technique : EgoAfford – Ancrage d'Affordance Orienté Tâche via la Segmentation de Référence Egocentrée

Formulation du Problème

La recherche actuelle sur l'ancrage d'affordance s'est largement concentrée sur des actions élémentaires, localisant des parties fonctionnelles (par exemple, une lame pour couper) pour des objets uniques ou des instructions à étape unique. Cependant, l'extension de cela à des tâches de table complexes et multi-étapes révèle deux limitations critiques dans les formulations prévalentes :

Focus sur une Cible Unique : Les méthodes existantes ancrent généralement une région conditionnée par l'action sans assigner explicitement de rôles sémantiques (objet direct, instrument, destination) à plusieurs objets participants.
Portée à Étape Unique : Même les formulations récentes bimanuelles ou au niveau de la scène prédisent les affordances pour une seule action donnée plutôt que d'inférer une procédure restante conditionnée par la progression de la tâche.

EgoAfford comble ces lacunes en formulant l'ancrage d'affordance orienté tâche comme un problème conjoint : étant donné une image égocentrée de table et une tâche en langage naturel de haut niveau, un modèle doit (i) générer le plan d'action restant et (ii) segmenter les parties fonctionnelles de la prochaine étape d'action en trois rôles spécifiques :

Objet Direct ( $M_o$ ) : L'objet qui est manipulé.
Instrument ( $M_s$ ) : L'outil utilisé pour agir sur l'objet (absent pour les actions à mains nues).
Destination ( $M_d$ ) : Le lieu cible ou le contenant pour le transfert (absent pour les actions sur place).

Crucialement, ces masques doivent être de type partie-objet (par exemple, le bec d'une théière, et non la théière entière) et gérer les composants absents (annotés comme des masques nuls).

Méthodologie

Le Benchmark EgoAfford

Les auteurs introduisent un benchmark complet comprenant un jeu de données et un modèle de référence.

Construction du Jeu de Données : Le jeu de données contient environ 15 537 images égocentrées vérifiées par des humains, dérivées de 2 000 scènes multi-étapes générées. Un pipeline génératif utilisant des VLM commerciaux (par exemple, GPT-5.5, Gemini 3) crée des germes de tâches, les décompose en étapes et synthétise des images sémantiquement alignées. Ces étapes sont suivies d'un processus rigoureux de vérification humaine et de correction de masques.
EgoAfford-Real : Pour évaluer la généralisation, un ensemble de test capturé manuellement comprenant 102 images réparties sur 26 tâches est inclus, disjoint des scènes générées.
Protocole d'Annotation : Les annotations définissent trois masques spécifiques au rôle par étape. Le jeu de données prend en charge des tâches à branches multiples où plusieurs prochaines actions valides existent, nécessitant aux modèles de sélectionner l'action la plus appropriée et d'ancrer ses composants.

Le Modèle de Référence EgoLens

Pour établir une base de référence solide, les auteurs présentent EgoLens, un Modèle de Langage Large Multimodal (MLLM) de 3 milliards de paramètres conçu pour cette tâche conjointe.

Architecture : Construit sur l'architecture LENS avec un backbone Qwen2.5-VL 3B. Il utilise des requêtes d'ancrage apprenables transmises à travers trois décodeurs de masques parallèles et spécifiques au rôle (un pour chaque composant : $M_o, M_s, M_d$ ). Cette conception architecturale assure le lien sémantique entre les masques et leurs rôles sans reposer uniquement sur la génération de texte.
Stratégie d'Entraînement : Le modèle est entraîné avec un modèle de prompt unifié. Il génère une trace de planification par Chaîne de Pensée (Chain-of-Thought - CoT) (forcée par l'enseignant pendant l'entraînement) suivie d'une réponse structurée contenant le plan restant et les trois masques de composants. La fonction de perte combine une perte de modélisation du langage (supervisant uniquement les jetons de la réponse structurée) et une perte de segmentation (BCE + Dice pour les masques non vides, BCE uniquement pour les masques vides).
Inférence : Le modèle génère de manière autorégressive le plan complet et les trois masques de composants en une seule passe directe basée sur l'image et la description de la tâche.

Contributions Clés

Formulation Orientée Tâche : Le papier définit l'ancrage d'affordance multi-étapes orienté tâche comme un problème conjoint de génération de plan restant et d'ancrage de partie, l'instanciant dans le benchmark EgoAfford.
Modèle EgoLens : Un MLLM de référence qui génère simultanément le plan restant et prédit trois masques de composants spécifiques au rôle, traitant le défi du couplage entre la planification et l'ancrage fin.
Évaluation Complète : Évaluations étendues sur des observations générées et réelles, caractérisant les défis spécifiques de l'inférence de l'étape suivante et de l'ancrage de partie conditionné par l'action et le rôle.

Résultats Expérimentaux

Le papier évalue les récents MLLM de segmentation de référence (Sa2VA, UniPixel, LENS, OMG-LLaVA), les pipelines VLM–SAM2 commerciaux et EgoLens.

Performance de la Tâche Complète : EgoLens établit une forte performance de référence, atteignant 0,700 gIoU et 0,486 cIoU sur l'ensemble de test généré. Cela surpasse significativement le pipeline VLM commercial le plus fort (GPT-5.5 + SAM2, 0,476 gIoU) et les bases open-source, qui échouent souvent à retourner les trois masques spécifiques au rôle en une seule passe.
Généralisation au Monde Réel : Sur EgoAfford-Real (transfert zero-shot), EgoLens atteint 0,666 gIoU et 0,455 cIoU, surpassant le pipeline GPT-5.5 + SAM2 de 9,7 points en gIoU. Cela suggère qu'EgoLens fournit des prédictions par échantillon plus cohérentes.
Désenchevêtrement de l'Inférence et de l'Ancrage : Lorsqu'on lui fournit une étape suivante de référence (supprimant la charge de la planification), EgoLens-Seg atteint 0,839 gIoU. La baisse de performance lorsque l'étape de référence est supprimée souligne que l'inférence de l'étape suivante reste une source substantielle d'erreur.
Analyse des Composants : EgoLens démontre une localisation robuste pour les cibles non vides (NE-mIoU de 0,668 pour les Objets Directs, 0,614 pour les Instruments et 0,568 pour les Destinations), confirmant que la performance n'est pas uniquement pilotée par la reconnaissance des composants absents.

Signification et Revendications

Le papier pose que EgoAfford et EgoLens fournissent une base pour étudier conjointement la perception et la planification dans des tâches de table multi-étapes. Les auteurs affirment que :

Défis Complémentaires : Le benchmark met en évidence les difficultés complémentaires de l'inférence de l'étape suivante (planification) et de l'ancrage de partie conditionné par le rôle de l'action.
Ancrage Spécifique au Rôle : Dépasser les formulations à objet unique pour modéliser explicitement les objets directs, les instruments et les destinations permet de capturer comment plusieurs objets participent à une tâche.
Direction Future : Ce travail suggère une voie pour connecter l'ancrage structuré par rôle à l'exécution incarnée, où les composants identifiés servent d'arguments explicites pour des compétences de manipulation réutilisables (par exemple, verser(source, destination)), offrant une alternative agentique aux modèles d'action mondiaux de bout en bout.

Les auteurs reconnaissent des limites, notant que le jeu de données est largement généré (manquant de la fidélité visuelle et de l'encombrement des environnements naturels) et que l'évaluation sur image statique ne capture pas la faisabilité du mouvement ou le succès en boucle fermée. Ils notent également qu'EgoLens est entraîné sur un seul chemin valide, ce qui pourrait limiter sa capacité à gérer des solutions alternatives.