💻 computer science

Mind the Context: Continual Learning of Socially Appropriate Robot Actions via Environmental-Social Disentanglement

Cet article introduit le cadre de travail Explicit Disentanglement Dual-Branch (EDD), qui permet aux robots sociaux d'apprendre continuellement des actions adaptées au contexte à travers divers environnements en séparant explicitement les indices environnementaux et sociaux afin d'atténuer l'oubli catastrophique.

Auteurs originaux : Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

Publié 2026-08-14

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Rafal Robert Karpinski, Fethiye Irmak Dogan, Nikhil Churamani, Yiming Luo, Maartje M. A. de Graaf, Davide Dell'Anna, Hatice Gunes

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez un robot entrant dans une pièce. Pour un humain, la pièce raconte une histoire : est-ce un salon chaotique où une fête bat son plein, ou un bureau calme où une réunion sérieuse est en cours ? Une même action, comme entamer une conversation bruyante ou passer l'aspirateur, peut être parfaitement polie dans la première pièce, mais un véritable désastre dans la seconde. C'est le monde de la robotique sociale, où les machines tentent d'apprendre les règles non écrites du comportement humain. Mais voici la partie délicate : on ne peut pas programmer les robots avec chaque règle pour chaque pièce possible qu'ils pourraient visiter. Au lieu de cela, ils ont besoin d'un apprentissage continu. Pensez à cela comme à un étudiant qui change régulièrement d'école. Il doit apprendre les nouvelles règles de la cafétéria ou du gymnase sans oublier les règles apprises dans son ancienne école. S'il oublie, c'est ce qu'on appelle l'« oubli catastrophique », et le robot devient confus et impoli.

La grande question que se posent les chercheurs est la suivante : comment enseigner à un robot que l'endroit où il se trouve (l'environnement) et les personnes qui sont présentes (la foule sociale) travaillent ensemble pour décider de ce qui est poli ? Habituellement, les robots se contentent d'observer une image globale de la pièce et tentent de deviner les règles. Mais cette publication suggère que c'est comme essayer de résoudre un puzzle en portant des lunettes embuées. Les auteurs proposent une méthode plus intelligente : apprendre au robot à séparer l'« arrière-plan » (les meubles, les murs) des « personnes » (la foule, leurs positions) et à apprendre de chacun d'eux séparément avant de rassembler les pièces.

L'expérience « Mind the Context » (Attention au Contexte)

Dans cette étude, les chercheurs ont conçu un nouveau système d'apprentissage appelé EDD (Explicit Disentanglement Dual-Branch — Désenchevêtrement Explicite à Double Branche). Imaginez un robot doté de deux paires de lunettes différentes. Une paire, la « Lentille Environnementale », floute toutes les personnes pour que le robot puisse se concentrer uniquement sur l'agencement de la pièce — comme vérifier s'il y a une table pour servir de la nourriture ou un sol encombré à nettoyer. L'autre paire, la « Lentille Sociale », floute les meubles et les murs, ne laissant que les silhouettes des personnes afin que le robot puisse voir qui se tient où et à quelle distance les uns des autres.

Le robot utilise ces deux vues distinctes pour apprendre. Il possède deux « cerveaux » (ou branches) qui traitent ces vues de manière indépendante, puis combinent leurs pensées pour décider : « Est-il opportun de commencer une conversation ici ? » ou « Dois-je passer l'aspirateur maintenant ? ». Pour s'assurer que le robot n'oublie pas ce qu'il a appris dans le salon lorsqu'il passe au bureau, l'équipe a utilisé un « tampon de relecture » (replay buffer). C'est comme un album de souvenirs numérique où le robot conserve quelques instantanés d'anciennes pièces pour s'exercer tout en apprenant de nouvelles pièces, évitant ainsi de devenir confus.

Ce qu'ils ont découvert

L'équipe a testé ce système dans six environnements intérieurs différents, allant d'un foyer chaleureux à divers espaces de bureaux comme des salles de réunion, des couloirs et de grands bureaux ouverts. Ils ont comparé leur robot à « deux lentilles » à d'autres méthodes, incluant des robots qui regardent simplement l'image entière d'un coup, et même certains modèles d'IA très avancés qui tentent de deviner les règles sociales sans aucun entraînement (appelés modèles « zero-shot »).

Les résultats ont été très clairs. Le robot EDD, avec ses lentilles séparées et son album de souvenirs, a été le plus performant pour prédire ce que les humains considéreraient comme poli. Il a commis moins d'erreurs (un taux d'erreur plus faible de 0,783 contre plus de 1,2 ou 2,0 pour les autres méthodes) et ses prédictions correspondaient beaucoup plus étroitement aux opinions humaines.

Les chercheurs ont également testé différentes manières de séparer les « personnes » de la « pièce ». Ils ont constaté que l'utilisation de boîtes englobantes (bounding boxes — dessiner une boîte autour des personnes et masquer tout ce qui se trouve à l'extérieur) fonctionnait légèrement mieux que l'utilisation de simples silhouettes ou d'un simple zoom sur le robot. Cela suggère qu'en masquant clairement les personnes de la vue « environnementale », le robot comprend mieux les règles de la pièce.

Il est intéressant de noter que l'ordre dans lequel le robot a visité ces pièces n'avait pas trop d'importance. Qu'il ait commencé par un couloir simple pour passer à un salon complexe, ou vice versa, le robot a bien appris dans les deux cas. Cela suggère que le système est assez robuste et ne se laisse pas facilement déstabiliser par la séquence de nouvelles expériences.

À retenir

Cette publication suggère que pour que les robots soient réellement polis dans notre monde changeant, ils doivent cesser de percevoir une scène comme un gros bloc informe et désordonné. Au lieu de cela, ils doivent activement séparer le « où » du « qui ». En enseignant explicitement au robot à comprendre l'environnement et la foule sociale comme deux entités distinctes, puis en combinant ces connaissances, le robot apprend plus vite et oublie moins. Bien que cela ait été testé sur des images synthétiques (scènes générées par ordinateur) plutôt que sur des vidéos du monde réel, les résultats indiquent que cette stratégie de « désenchevêtrement » est une voie prometteuse pour construire des robots capables de s'adapter à de nouvelles situations sociales sans perdre leurs bonnes manières.

Résumé technique : Mind the Context – Apprentissage continu d'actions de robots socialement appropriées via le désenchevêtrement environnemental-social

1. Formulation du problème

L'article traite du défi consistant à permettre aux robots sociaux d'opérer dans des environnements intérieurs divers et changeants (par exemple, maisons, bureaux, salles de réunion) où l'appropriation sociale dépend du contexte. Une action spécifique (par exemple, entamer une conversation ou nettoyer) peut être appropriée dans un cadre (un salon bondé) mais perturbatrice dans un autre (une salle de réunion), même si la configuration sociale des personnes semble similaire.

Le problème central est formulé comme un apprentissage continu incrémental de domaine (DIL - Domain-Incremental Learning). Contrairement aux contextes d'incrémentation de tâches où la tâche change mais l'environnement reste statique, le DIL exige que le robot rencontre séquentiellement de nouveaux domaines (environnements) dotés de distributions de données distinctes. Le robot doit apprendre à prédire l'appropriation de multiples actions (par exemple, passer l'aspirateur, servir, transporter des objets) dans ces nouveaux domaines tout en conservant les connaissances des domaines précédents, atténuant ainsi l'oubli catastrophique.

Une lacune critique identifiée dans les travaux antérieurs est que les méthodes existantes pour apprendre des actions socialement appropriées traitent la scène comme une entrée monolithique, mélangeant implicitement les indices environnementaux (agencement, mobilier, ouverture) et les indices sociaux (positions des agents, configurations de groupes). Les auteurs soutiennent que pour l'apprentissage incrémental de domaine, la séparation explicite de ces indices est nécessaire pour réduire les corrélations spécieuses et améliorer le transfert de connaissances.

2. Méthodologie : Le cadre EDD

Les auteurs proposent le cadre Explicit Disentanglement Dual-Branch (EDD), qui se compose de trois éléments principaux :

A. Décomposition du contexte sémantique

Pour séparer explicitement les informations environnementales et sociales, les auteurs utilisent la segmentation panoptique pour décomposer chaque image de scène $x$ en deux vues distinctes :

Vue Environnementale ( $x_E$ ) : Cette vue met en évidence l'arrière-plan et l'agencement spatial tout en masquant les agents sociaux. Elle est construite en masquant les agents détectés et en les remplaçant par une couleur fixe, tout en introduisant des masques de boîtes englobantes « leurres » échantillonnés dans un pool de domaines pour masquer davantage l'emplacement des agents. Cela force le réseau à se reposer sur les affordances et les contraintes spatiales.
Vue Sociale ( $x_S$ ) : Cette vue isole les agents sociaux (humains, animaux domestiques, autres robots) sur un fond uniforme. Elle est construite à l'aide des masques de silhouette des agents, préservant leurs positions relatives et leurs regroupements tout en supprimant le contexte environnemental.

B. Réseau à double branche

Les vues décomposées sont traitées par une architecture à double branche :

Encodeur Environnemental ( $\phi_E$ ) : Traite $x_E$ pour extraire les caractéristiques liées au cadre (par exemple, type de pièce, densité de mobilier).
Encodeur Social ( $\phi_S$ ) : Traite $x_S$ pour extraire les caractéristiques liées aux configurations des agents.
Fusion et Régression : Les vecteurs de caractéristiques des deux branches sont concaténés et passés à travers une tête de régression partagée ( $g$ ) pour prédire un vecteur de dimension $K$ des scores d'appropriation pour $K$ actions possibles. Cela permet au modèle d'apprendre comment les facteurs environnementaux et sociaux influencent conjointement l'appropriation de l'action.

C. Apprentissage continu avec Replay

Pour gérer l'arrivée séquentielle de domaines sans accès aux données passées, l'EDD utilise une stratégie de Replay d'expérience (Experience Replay) :

Un tampon de mémoire stocke un nombre fixe d'échantillons de chaque domaine rencontré.
Pendant l'entraînement sur un nouveau domaine, le modèle est entraîné sur un mélange de données du domaine actuel et d'échantillons rejoués à partir du tampon.
Cette approche approxime l'entraînement conjoint sur tous les domaines, minimisant la perte cumulative et atténuant l'oubli catastrophique.

3. Contributions clés

Désenchevêtrement explicite : L'article introduit une nouvelle approche de l'apprentissage continu (CL) par domaine pour la robotique sociale en séparant explicitement les indices environnementaux et sociaux au niveau de l'entrée via la segmentation panoptique, plutôt que de compter sur un apprentissage de caractéristiques implicite à partir d'images de scènes complètes.
Cadre EDD : La proposition du cadre Explicit Disentanglement Dual-Branch, qui combine la décomposition sémantique avec une architecture à double branche et un rejeu basé sur le rappel (replay-based rehearsal).
Évaluation complète : Les auteurs évaluent le cadre à travers six domaines intérieurs (la Maison et cinq variantes de bureaux) et mènent des études d'ablation sur :
- Stratégies de désenchevêtrement : Comparaison des masques de boîtes englobantes, des silhouettes, des gros plans spatiaux et de l'absence de décomposition.
- Ordre des domaines : Test de diverses séquences (basées sur la complexité, sur le contraste) pour évaluer la sensibilité à l'ordre d'exposition aux domaines.
- Baselines : Comparaison avec des méthodes de CL spécifiques à la robotique, des modèles de vision incrémentaux de domaine et des modèles de langage-vision (VLM) zero-shot.

4. Résultats expérimentaux

Les expériences ont été menées sur un ensemble de données fusionné de OfficeDB et MannersDB+, se concentrant sur le robot Pepper pour neuf catégories d'actions.

Performance vs Baselines (RQ1) : L'EDD a surpassé toutes les baselines, y compris les méthodes de CL robotiques de pointe (FedLGR), les modèles de vision incrémentaux de domaine (DUCA, DARE++) et les VLM zero-shot (Qwen, LLaVA, DeepSeek). L'EDD a obtenu l'erreur quadratique moyenne la plus faible (RMSE : 0,783) et les coefficients de corrélation de Pearson (PCC : 0,552) et de concordance (CCC : 0,375) les plus élevés avec les évaluations humaines. Notamment, les VLM ont montré des RMSE compétitifs mais n'ont pas réussi à bien corréler avec les jugements humains, suggérant que les modèles de fondation seuls sont insuffisants pour cette tâche spécifique.
Stratégies de désenchevêtrement (RQ2) : La décomposition par boîte englobante (la méthode proposée) a donné la meilleure performance globale et l'oubli le plus faible (Transfert Arrière, BWT). Bien que le contrôle « Sans Décomposition » ait performé de manière similaire en termes d'errecules, la séparation explicite a permis un meilleur alignement avec les jugements humains (PCC/CCC plus élevés). La stratégie « Gros plan sur le Robot » a montré la meilleure rétention (BWT le plus faible) mais une corrélation plus faible, suggérant qu'elle préserve bien les caractéristiques spécifiques au domaine mais peut manquer le contexte social plus large.
Ordre des domaines (RQ3) : L'ordre d'exposition des domaines a eu un effet mesurable mais modeste sur la performance. Bien qu'un curriculum d'« augmentation de la complexité » ait montré une performance légèrement meilleure sur le domaine Maison, l'impact global sur l'oubli et la précision générale était limité par rapport aux choix architecturaux. Le modèle est resté relativement robuste face aux différentes stratégies de séquençage.

5. Signification et affirmations

L'article affirme que le fait de désenchevêtrer explicitement les indices environnementaux et sociaux est une stratégie viable et efficace pour l'apprentissage continu en robotique sociale. Les auteurs soutiennent que :

L'appropriation sociale n'est pas uniquement une fonction de la disposition des agents, mais est conjointement déterminée par l'environnement (affordances) et la configuration sociale.
Traiter ces indices comme des entrées séparées permet au modèle de mieux s'adapter aux changements de domaine sans oublier les connaissances précédentes, car la branche environnementale peut s'adapter aux nouveaux agencements tandis que la branche sociale conserve des schémas d'interaction avec les agents généralisables.
Les VLM zero-shot actuels, bien que puissants, manquent des biais inductifs structurels spécifiques requis pour capturer la nature nuancée et dépendante du contexte des normes sociales dans des environnements incarnés.

Ce travail suggère que les futurs déploiements à long terme de robots sociaux bénéficieront d'architectures qui séparent structurellement les types de contexte, permettant une adaptation plus robuste à des environnements réels diversifiés et changeants. Les auteurs reconnaissent des limites, telles que l'utilisation de données synthétiques et la dépendance à la segmentation panoptique, et proposent des travaux futurs dans la validation en conditions réelles, l'explicabilité des contributions des branches et les mécanismes de fusion adaptatifs.