Résumé Technique : WorldComp2D

Énoncé du Problème

Les agents d'intelligence artificielle (IA) incarnés fonctionnent sous des contraintes computationnelles et énergétiques strictes, percevant le monde à travers des observations locales dépendantes du point de vue, plutôt qu'en accédant à des vues globales complètes. Les méthodes existantes d'inférence spatio-sémantique, telles que la localisation d'objets, reposent généralement sur l'accès à l'image globale, en traitant des images entières via des calculs pixel par pixel, des architectures spécialisées ou des têtes de régression basées sur des cartes de chaleur. Bien que efficaces sur les benchmarks standards, ces approches engendrent des coûts computationnels et une latence substantiels, les rendant inadaptées au déploiement en temps réel sur des agents incarnés aux ressources limitées. De plus, de nombreuses méthodes existantes d'apprentissage de représentations latentes se concentrent sur la prédiction temporelle pour les modèles du monde, échouant à structurer explicitement l'espace latent pour préserver simultanément la proximité spatiale fine et l'identité au niveau de l'instance.

Méthodologie

Les auteurs proposent WorldComp2D, un cadre d'apprentissage de représentations léger conçu pour encoder la structure spatio-sémantique directement dans un espace latent en utilisant des observations locales. Le cadre se compose de trois composants principaux :

1. Encodeur Dépendant de la Proximité (PdEnc) :

   • Entrée : L'agent observe l'environnement à travers deux champs récepteurs (RF) multi-échelles centrés sur un point de fixation $F$. Un patch à petite échelle ($o^{[1]}$) capture l'apparence fine, tandis qu'un patch à plus grande échelle ($o^{[2]}$) fournit un contexte plus large. Ceux-ci sont concaténés pour former l'observation.
   • Architecture : Un réseau de neurones convolutif (CNN) léger comportant six couches de convolution et deux couches entièrement connectées.
   • Sortie : Un vecteur latent spatio-sémantique normalisé $z$ situé sur une hypersphère ($z^T z = 1$).
   • Objectif d'Apprentissage : L'encodeur est entraîné en utilisant l'Apprentissage Contrastif Pondéré par la Proximité (PWConLoss). Contrairement à l'apprentissage contrastif binaire standard, cette méthode modélise les relations par paires avec des valeurs d'affinité continues. La fonction de perte encourage la distance latente entre les représentations à refléter la distance spatiale réelle entre le point de fixation et les objets environnants. Le poids de la paire contrastive est modulé par la distance physique $d_{ij}$, garantissant que les objets plus proches ont des interactions positives plus fortes dans l'espace latent.

2. Localisateur (Loc) :

   • Fonction : Infère les coordonnées des objets proximaux directement à partir des représentations spatio-sémantiques agrégées.
   • Mécanisme : Puisqu'une observation locale unique ne peut couvrir tous les objets d'une scène, le Localisateur agrège les vecteurs latents provenant de plusieurs points de fixation ($N_F$) à travers l'image. Il concatène ces vecteurs latents avec leurs coordonnées de fixation correspondantes et utilise un Perceptron Multicouche (MLP) pour prédire simultanément les coordonnées normalisées pour toutes les classes d'objets. Cela permet une localisation sans traitement exhaustif pixel par pixel.

3. Localisateur Auxiliaire (AuxLoc) (Optionnel) :

   • Fonction : Un module de raffinement qui améliore la précision de la localisation.
   • Mécanisme : Pour chaque coordonnée prédite, il extrait un patch local centré sur l'estimation et génère une carte de chaleur spécifique à la classe en utilisant un CNN léger avec des convolutions séparables par profondeur. La position finale est affinée en appliquant un décalage dérivé du pic de la carte de chaleur à l'estimation grossière.

Contributions Clés

• Conception du Cadre : Introduction de WorldComp2D, un cadre centré sur la fixation qui apprend des représentations spatio-sémantiques à partir de vues locales, permettant la localisation d'objets sans traitement d'image complète.
• Objectif d'Apprentissage Novel : Développement d'une méthode d'apprentissage contrastif pondéré par la proximité qui structure explicitement la géométrie de l'espace latent. Cette approche préserve l'identité de l'objet tout en assurant que les distances latentes reflètent la proximité spatiale réelle par rapport au point de fixation.
• Efficacité et Performance : Démonstration que des espaces latents explicitement structurés fournissent une base efficace pour le raisonnement spatio-sémantique, atteignant une précision compétitive avec une complexité computationnelle considérablement réduite par rapport aux modèles légers de l'état de l'art (SoTA).

Résultats Expérimentaux

Le cadre a été évalué sur des tâches de localisation de points de repère faciaux utilisant les jeux de données COFW, 300W et AFLW.

• Efficacité : WorldComp2D ne nécessite que 2,4 millions de paramètres et environ 293,7–546,8 MFLOPs (selon le jeu de données), comparé aux modèles légers SoTA comme PoPos qui utilisent 9,7 M de paramètres et 1,2 GFLOPs. Cela représente une réduction de 4,0× des paramètres et une réduction de 2,2× des FLOPs dans le scénario le plus défavorable.
• Performance Temps Réel : Le modèle atteint une inférence en temps réel sur CPU, atteignant 78,48 FPS sur le jeu de données 300W et 138,41 FPS sur COFW en utilisant un processeur i5-13400.
• Précision :
  • Bien que le cadre produise un Erreur Moyenne Normalisée (NME) légèrement supérieur aux méthodes de régression supervisée directe sur COFW et 300W, il surpasse plusieurs méthodes SoTA (y compris LAB, Awing, ODN et HRNet) sur le jeu de données AFLW.
  • Le module AuxLoc optionnel apporte une amélioration marginale de la précision (par exemple, réduisant le NME d'environ 4,6 % sur COFW) au prix d'une charge computationnelle accrue.
• Robustesse : Le modèle démontre une robustesse cohérente face aux dégradations d'entrée, notamment le flou gaussien, la compression JPEG, le flou de mouvement et l'occlusion, avec une dégradation de performance modérée même dans des conditions extrêmes.
• Propriétés de l'Espace Latent : Les études d'ablation confirment que l'espace latent regroupe avec succès les objets par identité (intra-classe) tout en séparant les différentes classes (inter-classe). Crucialement, la distance latente corrèle avec la proximité spatiale réelle, une propriété absente dans les encodeurs entraînés avec une perte contrastive non pondérée.

Signification et Revendications

L'article revendique que WorldComp2D offre une base générale et efficace pour le raisonnement spatio-sémantique dans l'IA incarnée. En structurant explicitement la géométrie de l'espace latent pour l'aligner avec l'identité de l'objet et la proximité spatiale, le cadre permet aux agents de réaliser une compréhension au niveau de l'instance à partir d'un petit ensemble d'observations locales. Cette approche adresse le conflit fondamental entre les hypothèses de vue globale de la vision par ordinateur traditionnelle et la réalité de la vue locale des agents incarnés.

Les auteurs soulignent que leur travail fournit un compromis flexible entre précision et vitesse, permettant un déploiement sur des appareils périphériques avec des contraintes de ressources strictes. Les résultats suggèrent que s'éloigner des cartes de caractéristiques denses et du traitement global vers des représentations latentes légères et explicitement structurées est une voie viable pour la perception incarnée en temps réel. Le cadre est open-source pour faciliter la recherche future dans cette direction.