💻 computer science

Embodied Active Learning under Limited Annotation and Navigation Budget for Object Detection

Cet article propose un cadre d'apprentissage actif incarné qui adapte les détecteurs d'objets à des environnements inconnus sous des contraintes strictes de navigation et d'annotation en exploitant la cohérence spatiale pour identifier et prioriser les étiquettes incohérentes pour le réentraînement, atteignant ainsi une précision de détection supérieure par rapport aux bases de référence dans des environnements simulés et réels.

Auteurs originaux : Hadrien Crassous, Mohamed Yassine Kabouri, Minahil Raza, Joni Pajarinen, Riad Akrour

Publié 2026-07-20

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Hadrien Crassous, Mohamed Yassine Kabouri, Minahil Raza, Joni Pajarinen, Riad Akrour

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot capable de voir le monde, mais seulement avec une paire de lunettes très confuses. C'est le monde de la vision par ordinateur, une branche de la science où nous apprenons aux machines à reconnaître des objets comme des tasses, des livres ou des chats sur des photos. Habituellement, nous enseignons ces notions aux robots en leur montrant des millions d'images étiquetées, comme un professeur corrigeant les devoirs d'un élève. Mais dans le monde réel, les robots sont souvent envoyés dans de nouveaux endroits — comme un salon en désordre ou un bureau étrange — où leurs « lunettes » ne fonctionnent plus très bien. Ils pourraient voir une chaise et l'appeler une table, ou manquer totalement un chat.

Pour corriger cela, nous avons besoin d'un processus appelé apprentissage actif (active learning). Imaginez cela comme un étudiant qui ne se contente pas de mémoriser un manuel, mais qui sort dans le monde pour trouver précisément les choses qu'il ne comprend pas encore, demande l'aide d'un professeur, puis étudie ces exemples spécifiques. Cependant, il y a un piège : le robot dispose d'une batterie limitée (un budget de navigation) pour se déplacer et trouver des choses, ainsi que d'un temps d'enseignement limité (un budget d'annotation) pour obtenir les étiquettes correctes pour les images qu'il trouve. La grande question est la suivante : comment un robot décide-t-il où marcher et quelles photos montrer au professeur pour apprendre le plus possible en un minimum de temps ?

Cet article, intitulé « Embodied Active Learning under Limited Annotation and Navigation Budget for Object Detection », s'attaque précisément à ce casse-tête. Les auteurs, une équipe de chercheurs, proposent une stratégie ingénieuse pour qu'un robot puisse « s'enseigner à lui-même » dans un nouvel environnement sans avoir besoin qu'un humain supervise chaque étape. Au lieu de errer sans but ou de choisir des images au hasard, le robot utilise une astuce appelée Discrépance de Prédiction (Prediction Discrepancy).

Voici comment le nouveau « super-pouvoir » du robot fonctionne : Imaginez que vous regardez une étagère de livres. Vous prenez une photo, puis vous faites un pas sur le côté et prenez une autre photo. Si votre cerveau (l'IA du robot) fonctionne parfaitement, vous devriez voir les mêmes livres dans les deux photos. Mais si le robot est confus, il pourrait dire : « C'est un livre ! » dans la première photo, mais dans la seconde, il pourrait dire : « C'est une lampe ! » ou « Je ne vois pas cela ! ». La différence entre ce qu'il a vu dans la première image et la seconde est une discrépance. Les auteurs ont découvert que ces moments de confusion sont en réalité les indices les plus précieux. Lorsque les prédictions du robot ne sont pas d'accord avec elles-mêmes lorsqu'il se déplace, c'est le signe qu'il regarde quelque chose qu'il ne comprend pas bien.

Les chercheurs ont construit un système où le robot utilise ce « signal de confusion » pour guider son exploration. Il agit comme un explorateur curieux, attiré par les parties floues et confuses d'une carte. Le robot planifie un itinéraire vers des zones où il s'attend à ce que ses prédictions soient incohérentes, collecte ces images, puis demande à un humain (ou à un assistant IA puissant jouant le rôle de professeur) d'étiqueter seulement les plus confuses d'entre elles. Il se réentraîne ensuite sur ces exemples spécifiques.

Pour tester cette idée, l'équipe a mené deux types d'expériences. D'abord, ils ont utilisé une simulation informatique appelée AI2-THOR, qui est un monde de jeu vidéo rempli de maisons virtuelles. Ils ont laissé leur robot naviguer dans 90 configurations de maisons différentes, comparant leur méthode de « guidage par la confusion » à d'autres stratégies comme l'errance aléatoire ou le simple choix des images les plus encombrées. Les résultats ont montré que leur méthode aidait systématiquement le robot à apprendre plus vite et à reconnaître les objets plus précisément que les autres méthodes, tout en utilisant la même quantité de batterie et de temps d'enseignement.

Ils ne se sont pas arrêtés aux jeux vidéo. Ils ont également appliqué leur méthode au monde réel en utilisant un robot Boston Dynamics Spot, une véritable machine quadrupède qui circule dans une pièce intérieure. Comme l'étiquetage manuel des photos réelles est lent et coûteux, ils ont utilisé un outil d'IA intelligent pour effectuer l'étiquetage initial, qu'un humain a ensuite rapidement vérifié. Même dans ce cadre réel et désordonné, la capacité du robot à repérer sa propre confusion a permis d'améliorer considérablement sa vision.

L'article suggère qu'en écoutant ses propres erreurs — spécifiquement les moments où il ne parvient pas à être d'accord avec lui-même lors de ses déplacements — un robot peut devenir beaucoup plus intelligent avec beaucoup moins d'aide humaine. C'est un peu comme un étudiant qui réalise : « Je suis confus sur ce sujet », et demande immédiatement de l'aide sur ce point précis, plutôt que de relire tout le chapitre. Les auteurs ont constaté que cette approche permet aux robots de s'adapter à de nouveaux environnements efficacement, les rendant plus fiables pour des tâches comme la recherche d'objets perdus ou le suivi d'instructions dans des lieux où ils n'ont jamais été auparavant. Bien que les résultats soient prometteurs, les auteurs notent que cela a été testé dans des simulations spécifiques et des configurations réelles contrôlées, suggérant que si la méthode fonctionne bien, il reste encore beaucoup à explorer à mesure que les robots font face à des mondes encore plus complexes et imprévisibles.

Résumé technique : Apprentissage actif incarné sous contraintes de budget d'annotation et de navigation pour la détection d'objets

Énoncé du problème

Les systèmes de détection d'objets (DO) robotiques peinent souvent lors de leur déploiement dans des environnements nouveaux et inconnus en raison des changements de domaine, des variations de luminosité et des classes d'objets sous-représentées. Bien que les modèles de fondation offrent des a priori puissants, ils sont coûteux en termes de calcul pour un déploiement robotique en temps réel et imparfaits pour des objets spécifiques, rares ou propres à un domaine. De plus, l'ajustement fin (fine-tuning) des détecteurs est extrêmement coûteux en raison de la dépendance vis-à-vis de l'annotation humaine.

Cet article traite du défi de l'adaptation d'un détecteur d'objets de vision par ordinateur à un environnement inconnu sous une double contrainte :

Budget de navigation limité : Le robot dispose d'un nombre restreint d'étapes pour explorer l'environnement et collecter des images candidates.
Budget d'annotation limité : Le robot ne peut demander des étiquettes humaines (ou d'un oracle) que pour un petit sous-ensemble des images collectées.

Les questions de recherche centrales sont : Comment un robot peut-il adapter son modèle de vision sous ces contraintes ? Quelle méthode de score identifie les images les plus informatives sans supervision externe ? Et quelle stratégie de navigation permet de localiser les objets les plus difficiles à détecter ?

Méthodologie

Les auteurs proposent un cadre d'Apprentissage Actif Incarné formulé comme une variante de l'apprentissage actif par lots (batch active learning). Le processus opère par cycles itératifs, chacun comprenant quatre phases : collecte, sélection, réentraînement et évaluation optionnelle.

1. Discrépance de Prédiction ( $\Delta$ )

L'innovation centrale est une métrique de score heuristique appelée Discrépance de Prédiction. Au lieu de s'appuyer sur l'entropie ou la disponibilité de la vérité terrain, cette métrique estime l'incertitude du modèle en mesurant le désaccord entre des prédictions consécutives.

Mécanisme : Lorsqu'un agent passe d'un état $s$ à un état $s'$ , la méthode calcule la différence symétrique entre les ensembles de classes d'objets prédites dans la région de chevauchement des deux images.
Calcul : $\Delta = |C_s \cup C_{s'}| - |C_s \cap C_{s'}|$ , où $C$ représente la liste des classes restreinte à la région de chevauchement.
Signification : Une valeur $\Delta$ élevée indique que la prédiction du modèle change de manière significative entre deux points de vue (par exemple, détecter un objet dans une image mais le manquer dans la suivante), signalant un cas de défaillance potentiel sans nécessiter de labels de vérité terrain.

2. Agent de Navigation Adaptatif

Pour maximiser la collecte d'échantillons informatifs sous un budget de navigation limité, les auteurs emploient un algorithme d'optimisation en ligne utilisant l'optimisation bayésienne (BO) sensible au chemin (path-aware).

Modèle de substitution : Un régresseur de type Forêt Aléatoire estime la Discrépance de Prédiction pour les états non visités en se basant sur le tampon de collecte.
Fonction d'acquisition : L'agent utilise une stratégie de Borne Supérieure de Confiance (UCB) pour équilibrer l'exploration et l'exploitation. Il sélectionne une destination qui maximise l'estimation optimiste moyenne de $\Delta$ le long du chemin le plus court (calculé via l'algorithme A* pondéré).
Poids des chemins : Les poids des arêtes dans le graphe de planification sont conçus pour encourager le mouvement vers les zones de haute incertitude tout en pénalisant la revisite de lieux déjà explorés.

3. Stratégie de Sélection de Données

Le processus de sélection suit une approche en deux étapes adaptée de PPAL [36] :

Échantillonnage par Difficulté : À partir du tampon collecté, les $3 \times A$ échantillons présentant la plus haute Discrépance de Prédiction sont sélectionnés.
Échantillonnage par Diversité : Ces candidats sont regroupés par grappes (clustering) en utilisant la Similarité de Correspondance Conditionnée par la Classe (CCMS). Les centroïdes de $A$ grappes sont sélectionnés pour l'annotation.

Gestion des contraintes : La sélection garantit la diversité et évite explicitement de resélectionner des échantillons trop similaires aux données précédemment annotées.

4. Oracle et Réentraînement

Les images sélectionnées sont annotées par un « oracle ». Dans les simulations, il s'agit de la vérité terrain ; dans les expériences en conditions réelles, il s'agit d'un pipeline semi-automatisé utilisant un modèle de fondation vision-langage (OWLv2) suivi d'une correction humaine. Le détecteur est réentraîné sur le tampon annoté accumulé, et les prédictions dans le tampon de collecte sont mises à jour pour refléter le nouvel état du modèle.

Contributions Clés

Formulation du Problème : Les auteurs définissent l'adaptation d'un modèle de vision comme un problème d'apprentissage actif par lots incarné avec des limites strictes sur les ressources de navigation et d'annotation.
Score de Discrépance de Prédiction : Ils introduisent une nouvelle méthode de scoring non supervisée qui exploite la cohérence spatiale (ou son absence) pour identifier les cas de défaillance du modèle et guider à la fois la navigation et l'échantillonnage d'images.
Politique de Navigation Adaptative : Ils développent une stratégie d'optimisation bayésienne sensible au chemin qui dirige le robot vers les régions de haut désaccord de prédiction, agissant efficacement comme un signal de curiosité intrinsèque.
Validation Empirique : L'approche est évaluée dans deux contextes :
- Simulation : En utilisant le jeu de données AI2-THOR/ProcTHOR avec des modèles YOLOv5 de tailles variées.
- Monde Réel : En utilisant un robot Boston Dynamics Spot dans un environnement intérieur avec un pipeline d'étiquetage semi-automatisé.

Résultats Expérimentaux

Simulation (AI2-THOR)

Méthodes de Scoring : La méthode de Discrépance de Prédiction a systématiquement surpassé les bases de référence (Entropie, Comptage, Aléatoire) en termes de mAP50 moyenne pour toutes les tailles de modèles (S, M, L). Elle s'est approchée des performances d'une base de référence « Oracle » (qui utilise la vérité terrain pour sélectionner les classes difficiles) mais sans nécessiter de vérité terrain durant la phase de sélection.
Caractéristiques des Données : Les échantillons sélectionnés par la Discrépance de Prédiction étaient plus difficiles pour le modèle (F1 plus faible sur les échantillons annotés) et présentaient une entropie de distribution de classes plus élevée, indiquant une meilleure couverture des diverses classes d'objets par rapport aux autres méthodes.
Navigation : L'agent de navigation adaptatif guidé par la Discrépance de Prédiction a obtenu des progrès d'apprentissage nettement supérieurs au fil du temps par rapport aux bases de référence d'Exploration Basée sur les Frontières (FBE), de Balayage (Sweep) et de Marche Aléatoire.

Monde Réel (Boston Dynamics Spot)

Performance : Dans un environnement intérieur réel, la Discrépance de Prédiction a de nouveau surpassé les bases de référence Entropie, Comptage et Aléatoire.
Efficacité : La méthode a priorisé les échantillons difficiles tout en nécessitant moins d'annotations d'objets au total par rapport aux méthodes basées sur le Comptage et l'Entropie.
Analyse de l'écart : L'écart de performance entre la méthode proposée et la sélection Aléatoire était plus faible dans le monde réel que dans la simulation, ce qui est attribué à la configuration plus simple d'une pièce unique et au budget plus restreint, bien que l'avantage soit resté constant.

Signification et Revendications

L'article affirme que l'incohérence spatiale sert de signal robuste et non supervisé pour guider les agents incarnés. En exploitant la Discrépance de Prédiction, le système peut identifier et cibler de manière autonome ses propres cas de défaillance, atteignant la précision de détection la plus élevée sous les mêmes contraintes de ressources que les autres méthodes.

Les auteurs soulignent que cette approche comble le fossé entre l'apprentissage actif non interactif et l'apprentissage actif incarné. Elle démontre que les robots peuvent adapter leurs modèles de vision de manière autonome à de nouveaux environnements par l'interaction, réduisant ainsi la dépendance vis-à-vis des jeux de données pré-collectés coûteux ou de l'annotation manuelle extensive. Le travail suggère qu'une supervision explicite n'est pas strictement nécessaire pour identifier des échantillons informatifs si l'agent peut exploiter la cohérence temporelle et spatiale de ses propres prédictions.

Les auteurs restent modestes quant aux travaux futurs, notant qu'une estimation explicite de la difficulté des classes et des progrès d'apprentissage pourrait encore améliorer la priorisation, et que les itérations futures pourraient explorer le pré-entraînement agnostique au domaine et l'adaptation auto-supervisée pour réduire davantage la dépendance vis-à-vis des annotateurs de type oracle.