PanoAffordanceNet: Towards Holistic Affordance Grounding in 360{\deg} Indoor Environments

Ce papier présente PanoAffordanceNet, un cadre novateur et un nouveau jeu de données 360-AGD conçus pour résoudre les défis de l'ancrage holistique des affordances dans les environnements intérieurs panoramiques en surmontant les distorsions géométriques et la dispersion sémantique grâce à des mécanismes de calibration et de densification spécifiques.

L'essentiel

Imaginez que vous êtes un robot de service, comme un majordome futuriste, et que vous entrez dans une pièce pour la première fois. Votre but ? Comprendre non seulement ce qu'il y a dans la pièce (une chaise, une table), mais aussi ce que vous pouvez faire avec ces objets (s'asseoir, poser un verre, s'appuyer). C'est ce qu'on appelle en robotique "l'affordance" : la capacité d'un objet à suggérer une action.

Le problème, c'est que la plupart des robots actuels ont une vision très limitée, comme s'ils portaient des lunettes de ski qui ne leur permettent de voir qu'un petit carré devant eux. Ils voient une chaise, mais ils ne voient pas le reste de la pièce. Or, dans la vraie vie, un robot doit avoir une vision à 360 degrés, comme un humain qui tourne la tête.

Voici comment les chercheurs ont résolu ce casse-tête avec leur nouvelle invention, PanoAffordanceNet.

1. Le Problème : La Déformation de la Carte du Monde

Pour voir tout autour d'eux, les robots utilisent des caméras qui prennent des photos panoramiques (360°). Mais il y a un gros hic : ces images sont déformées, un peu comme une carte du monde plate qui essaie de représenter une sphère.

• L'analogie : Imaginez que vous essayez d'aplatir une peau d'orange sur une table. Près du centre (l'équateur), c'est à peu près normal. Mais aux extrémités (les pôles), tout est étiré, écrasé et déformé.
• La conséquence : Pour un robot, une chaise située près du "pôle" de l'image semble bizarre, allongée ou tordue. Les algorithmes classiques se perdent complètement et ne savent plus où s'asseoir.

2. La Solution : PanoAffordanceNet, le "Correcteur de Déformation"

L'équipe a créé un cerveau artificiel spécial pour corriger ces erreurs. Voici comment il fonctionne, en trois étapes simples :

A. Le "Filtre de Déformation" (DASM)

C'est comme un correcteur optique intelligent.

• Comment ça marche : Le système analyse l'image et se dit : "Ah, ici, c'est l'équateur, c'est net. Là-haut, c'est le pôle, c'est étiré." Il applique un filtre spécial pour "redresser" mentalement les objets déformés avant même de les comprendre.
• L'analogie : C'est comme porter des lunettes de soleil qui corrigent automatiquement la distorsion de vos verres pour que tout semble droit, peu importe où vous regardez.

B. Le "Connecteur de Points" (OSDH)

Dans une image panoramique, les zones où l'on peut agir (comme le coussin d'un canapé) sont souvent dispersées et séparées par des murs ou d'autres objets. Le robot voit des bouts de coussin ici et là, mais pas le tout.

• Comment ça marche : Le système utilise une astuce mathématique basée sur la "sphère". Il se dit : "Si je vois un bout de coussin ici, et que la géométrie de la pièce est ronde, il y a de fortes chances qu'il y ait un coussin aussi là-bas." Il relie les points isolés pour former une zone complète et continue.
• L'analogie : Imaginez que vous voyez des points de lumière dans le ciel la nuit. Un humain voit des étoiles isolées. Ce système, lui, relie les points pour dessiner la Grande Ourse. Il transforme des taches isolées en une forme cohérente.

C. Le "Guide par la Voix" (Apprentissage Multi-niveaux)

Souvent, on ne donne pas au robot des milliers d'exemples pour apprendre. On lui donne juste un exemple (une photo d'un canapé avec écrit "s'asseoir").

• Comment ça marche : Le système utilise le langage pour guider sa vision. Si on lui dit "s'asseoir", il cherche activement les zones qui ressemblent à des surfaces d'assise, même si elles sont petites ou cachées. Il utilise trois niveaux de contrôle pour ne pas se tromper : vérifier les pixels, vérifier la forme globale, et vérifier si cela correspond au mot "s'asseoir".

3. La Nouvelle Carte au Trésor : 360-AGD

Pour entraîner ce robot, les chercheurs ont dû créer leur propre manuel d'instructions, car aucun n'existait pour les images panoramiques. Ils ont créé 360-AGD, une immense base de données de photos de pièces entières, annotées pour dire exactement où l'on peut marcher, s'asseoir, ou poser des objets. C'est la première carte au trésor de ce type pour les robots.

En Résumé

PanoAffordanceNet est comme un robot qui a enfin appris à tourner la tête et à comprendre son environnement complet sans se perdre dans les déformations de l'image.

• Il corrige les déformations de l'image (comme redresser une photo étirée).
• Il reconnecte les pièces éparses pour voir l'ensemble (comme relier les points d'une constellation).
• Il comprend ce qu'il doit faire grâce au langage, même avec très peu d'exemples.

Grâce à cela, les robots du futur pourront entrer dans n'importe quelle maison, tourner sur eux-mêmes, et savoir instantanément où s'asseoir, où poser un plat ou comment interagir avec leur environnement, sans se cogner contre les murs ou tomber dans le vide. C'est un pas de géant vers des robots domestiques vraiment intelligents et sûrs.

Résumé technique

Voici un résumé technique détaillé de l'article "PanoAffordanceNet: Towards Holistic Affordance Grounding in 360° Indoor Environments", présenté en français.

1. Problématique et Contexte

Les agents incarnés (comme les robots de service) opèrent dans un espace physique de 360°, nécessitant une perception globale pour interagir avec des environnements non structurés. Cependant, la recherche actuelle sur l'ancrage des affordances (la capacité à identifier les zones d'interaction possibles, comme "s'asseoir" ou "saisir") présente deux limites majeures :

• Centrée sur l'objet : Les méthodes existantes se concentrent sur des objets individuels dans des vues perspectives limitées, ignorant l'organisation spatiale globale d'une scène.
• Inadaptation aux panoramiques : L'application directe de modèles conçus pour les vues 2D standards sur des images panoramiques (projetées en projection équatoriale ou ERP) échoue en raison de :
  • Distorsions géométriques sévères (surtout près des pôles).
  • Dispersion sémantique et échantillonnage non uniforme.
  • Difficultés d'alignement entre les sémantiques abstraites et les régions multi-échelles complexes.

L'objectif de ce travail est de combler ce fossé en introduisant une nouvelle tâche : l'ancrage d'affordance holistique dans des environnements intérieurs à 360°.

2. Méthodologie : PanoAffordanceNet

Les auteurs proposent PanoAffordanceNet, un cadre d'apprentissage end-to-end conçu spécifiquement pour l'apprentissage "one-shot" (une seule annotation par classe) dans des scènes panoramiques. L'architecture repose sur quatre composants clés :

A. Extraction de Caractéristiques Adaptative

Le modèle utilise un encodeur visuel pré-entraîné (DINOv2) et un encodeur textuel (CLIP). Pour éviter le surapprentissage avec des annotations rares et s'adapter aux distorsions ERP, une adaptation LoRA (Low-Rank Adaptation) est appliquée aux couches d'attention du transformateur visuel, permettant un ajustement efficace des paramètres.

B. Modulateur Spectral Conscient de la Distorsion (DASM)

Pour corriger les artefacts géométriques inhérents à la projection ERP :

• Le module effectue une déstillation spectrale à double fréquence (haute et basse fréquence).
• Il sépare les signaux géométriques pertinents pour la tâche.
• Il utilise deux sous-modules :
  • HFEM (High-Frequency Enhancement Module) : Affine les contours d'interaction dans les régions équatoriales tout en supprimant les artefacts aux pôles.
  • LFSM (Low-Frequency Stabilization Module) : Maintient la cohérence structurelle globale près des pôles pour éviter la fragmentation sémantique.
• Une fusion gating (porte) pilotée par le langage et l'espace combine ces branches pour obtenir des caractéristiques robustes.

C. Décodeur Hiérarchique Conscient de la Sphère (OSDH)

Pour résoudre le problème de la fragmentation des activations dues à l'échantillonnage non uniforme :

• Un Décodeur Sphérique effectue d'abord une découverte sémantique globale pour ancrer les régions potentielles.
• La tête OSDH (Omni-Spherical Densification Head) restaure la continuité topologique. Elle exploite l'autosimilarité visuelle sur la sphère pour densifier les activations initiales rares en régions fonctionnelles complètes et géométriquement cohérentes, en utilisant un mécanisme de sélection de "graines" (seeds) et de propagation guidée par la confiance.

D. Objectif d'Entraînement Multi-Niveaux

Pour supprimer la dérive sémantique sous une supervision faible, le modèle optimise trois pertes conjointes :

1. Perte pixel-à-pixel (LBCE) : Pour la précision de l'activation.
2. Perte de divergence KL (LKL) : Pour assurer la cohérence topologique et la forme globale de la carte de chaleur.
3. Perte de contraste Région-Texte (LRTC) : Basée sur InfoNCE, elle aligne les régions visuelles densifiées avec les embeddings textuels pour lever les ambiguïtés sémantiques (ex: distinguer "s'asseoir" du coussin de "saisir" le bras du canapé).

3. Contributions Clés

1. Nouvelle Tâche : Introduction de l'ancrage d'affordance holistique à l'échelle de la scène pour les environnements intérieurs à 360°, passant d'une logique objet à une logique spatiale globale.
2. Modèle Innovant (PanoAffordanceNet) : Une architecture intégrant le DASM pour la correction géométrique et l'OSDH pour la restauration de la continuité topologique, surpassant les méthodes existantes.
3. Dataset 360-AGD : Création du premier jeu de données de haute qualité pour l'ancrage d'affordance panoramique. Il contient des annotations précises de régions d'interaction sur des images panoramiques, divisées en un ensemble "Facile" (environnements simples) et "Difficile" (environnements complexes et haute résolution).

4. Résultats Expérimentaux

Les expériences ont été menées sur le dataset 360-AGD et le dataset standard AGD20K (vue perspective) pour tester la généralisation.

• Performance sur 360-AGD : PanoAffordanceNet surpasse significativement les méthodes de l'état de l'art (OOAL, OS-AGDO) sur toutes les métriques (KLD, SIM, NSS) pour les ensembles Easy et Hard.
  • Exemple (Hard Split) : KLD réduit à 1.306 (vs ~2.9 pour les autres), SIM augmenté à 0.474.
• Généralisation : Le modèle maintient une performance compétitive sur le dataset AGD20K en vue perspective, démontrant sa robustesse et sa capacité à ne pas être sur-spécialisé aux distorsions panoramiques au détriment des vues standards.
• Analyse Qualitative : Les cartes de chaleur générées sont plus propres, mieux localisées et structurellement cohérentes, évitant la dérive sémantique où les autres modèles confondent des affordances sur le même objet (ex: "s'asseoir" vs "s'appuyer").
• Évaluation Réelle : Des tests sur un robot portable avec une caméra 360° dans des bureaux et des domiciles réels confirment la capacité du modèle à localiser des zones fonctionnelles malgré les variations d'éclairage et les distorsions.

5. Signification et Impact

Ce travail représente une avancée majeure pour la perception des robots mobiles et des agents incarnés. En traitant explicitement les défis géométriques et topologiques des images panoramiques, PanoAffordanceNet permet aux robots de comprendre leur environnement de manière globale et omnidirectionnelle.

• Pour la recherche : Il établit une nouvelle baseline pour la perception de scène à 360° et fournit un dataset de référence (360-AGD) qui manquait cruellement.
• Pour l'application : Il offre des priors fonctionnels fiables pour la prise de décision et la planification de tâches dans des environnements réels non structurés, facilitant le déploiement de robots de service capables d'interagir naturellement avec leur environnement complet, et non seulement avec ce qui est devant eux.

En résumé, PanoAffordanceNet transforme la compréhension des affordances d'une tâche locale et fragmentée en une capacité de raisonnement spatial holistique, essentielle pour la prochaine génération d'intelligence artificielle incarnée.