💻 computer science

Hierarchical Compositionality for An Assistive AI Agent

Cet article propose une architecture d'agent IA efficace en ressources et interprétable qui exploite la compositionnalité hiérarchique et des caractéristiques sémantiques validées par l'humain pour résoudre efficacement l'ambiguïté des objets grâce au raisonnement et à l'adaptation spécifique à l'utilisateur, surpassant ainsi les bases de référence fondées sur les données de l'état de l'art.

Auteurs originaux : Tianyi Fu, Mohan Sridharan

Publié 2026-08-12

📖 9 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Tianyi Fu, Mohan Sridharan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de donner une instruction rapide à un ami dans une cuisine animée : « Prends le fruit. » S'il y a une pomme, une banane et une orange sur le comptoir, votre ami pourrait hésiter. Il doit deviner ce que vous voulez dire. Les humains sont excellents pour cela car nous ne nous contentons pas de regarder les mots ; nous nous souvenons de ce que vous mangez habituellement, de ce que vous faisiez il y a cinq minutes, et de ce qui semble approprié à l'instant présent. Nous utilisons une sorte de raccourci mental pour comprendre sans avoir à demander « Quel fruit ? » à chaque fois.

C'est le monde de l'Intelligence Artificielle (IA), et plus précisément du domaine de l'Interaction Humain-Robot. Des scientifiques cherchent ici à construire des robots et des assistants numériques capables de nous aider dans nos maisons. Pendant longtemps, la méthode la plus populaire pour construire ces aides a été d'utiliser d'énormes ordinateurs « boîte noire » appelés Modèles de Langage de Grande Taille (LLM). Considérez-les comme des perroquets super intelligents qui ont presque tout lu sur Internet. Ils sont incroyables pour deviner la suite d'une phrase, mais ils peuvent être désordonnés. Ils font souvent des choix aléatoires lorsqu'ils rencontrent quelque chose de nouveau, ils nécessitent énormément d'énergie pour fonctionner, et ils ne « comprennent » pas vraiment pourquoi ils ont choisi une pomme plutôt qu'une banane — ils ont simplement choisi l'option la plus probable en se basant sur des motifs.

La grande question que posent les chercheurs est la suivante : pouvons-nous construire une IA qui soit plus intelligente dans sa façon de penser, plutôt que d'avoir simplement une mémoire plus vaste ? Pouvons-nous lui apprendre à utiliser une logique et des habitudes simples, semblables à celles des humains, pour résoudre des problèmes rapidement, sans avoir besoin d'un supercalculateur ? Ce document plonge dans ce puzzle exact, tentant de créer un assistant IA qui ne se contente pas de deviner, mais qui raisonne pour trouver la bonne réponse en utilisant un mélange astucieux de logique et de mémoire.

Le Problème : Le dilemme du « Lequel ? »

Imaginez que vous soyez le patron d'un robot utile dans votre maison. Vous dites : « Pose le fruit sur la table. » Votre cuisine contient une pomme, une orange et une banane. Pour un humain, c'est facile. Peut-être venez-vous de manger une pomme, ou peut-être êtes-vous pressé et que vous prenez habituellement la banane. Mais pour une IA standard, c'est un cauchemar. Elle voit trois fruits. Elle ne sait pas lequel vous voulez.

Si l'IA est trop incertaine, elle pourrait s'arrêter et demander : « Quel fruit ? » Mais si vous devez poser cette question à chaque fois que vous donnez une commande, le robot devient agaçant et lent. À l'inverse, si l'IA se contente de deviner, elle pourrait prendre le mauvais fruit, et vous serez frustré.

Les auteurs de ce document ont remarqué que l'IA moderne (comme les grands chatbots) est excellente pour prédire des mots, mais très mauvaise pour ce genre de devinette personnalisée. C'est comme un chef qui connaît toutes les recettes du monde, mais qui ne sait pas que vous détestez la coriandre. Ils voulaient construire un robot qui apprend réellement vos habitudes spécifiques et les utilise pour résoudre le mystère.

La Solution : Une échelle mentale à trois niveaux

Au lieu de laisser l'IA deviner au hasard ou de compter sur un cerveau géant et opaque, les auteurs ont construit un nouveau type d'architecture (un plan de fonctionnement pour la pensée du robot) basé sur la Compositionnalité Hiérarchique. C'est une façon sophistiquée de dire : « Décomposez les choses en petites pièces, reconstruisez-les en groupes, puis apprenez comment ces groupes se connectent à vous ».

Voyez cela comme la construction avec des briques LEGO.

Niveau 0 : Les briques (Attributs atomiques)
D'abord, le robot examine chaque objet de la maison et le décompose en caractéristiques minuscules et simples. Au lieu de voir simplement « Pomme », il voit : est rouge, est rond, est sucré, a une tige. Ce sont comme les briques de base LEGO. Le robot tire ces descriptions d'une base de données décrivant comment les humains décrivent réellement les choses.

Niveau 1 : Les ensembles pré-construits (Concepts de domaine)
Ensuite, le robot remarque que certaines briques s'assemblent toujours. Il voit que est rouge, est rond et a une tige apparaissent souvent ensemble. Il les regroupe en un « Concept » appelé « Type Pomme ». Il fait cela pour tout. Une « Lampe » pourrait être un groupe de émet de la lumière, a une ampoule et est posée sur une table. C'est la connaissance générale du monde que possède le robot, partagée par tout le monde.

Niveau 2 : Votre carnet de bord personnel (Motifs spécifiques à l'utilisateur)
C'est la partie magique. Le robot commence à vous observer. Il remarque que chaque fois que vous interagissez avec un objet de type « Livre » (qui possède du texte imprimé et est plat), vous suivez presque toujours cela en allumant un objet de type « Lampe ». Il ne retient pas seulement « Vous aimez les livres » ; il apprend le motif : Livre → Lampe.

C'est la Compositionnalité Hiérarchique. Le robot construit une échelle de connaissances :

Les Briques : De quoi les choses sont composées.
Les Ensembles : Quels groupes de choses existent.
Votre Carnet de Bord : Comment vous passez spécifiquement d'un groupe à un autre.

Comment le robot résout le mystère

Lorsque vous dites : « Pose le fruit sur la table », le robot suit un processus en trois étapes pour déterminer quel fruit vous désignez.

Étape 1 : Le filtre logique (La zone d'exclusion)
D'abord, le robot utilise une logique stricte (appelée Programmation par ensembles de réponses) pour éliminer les options impossibles. Si la table est déjà pleine, ou si le fruit est dans une boîte verrouillée, il les retire de la liste. C'est comme un videur de boîte de nuit qui vérifie les identités.

Étape 2 : Les trois indices (Évaluation des candidats)
S'il reste plusieurs fruits (par exemple, une pomme et une banane), le robot les évalue en utilisant trois indices différents :

Indice sémantique (Contexte) : Que se passait-il juste avant ? Si vous venez de poser un livre sur la table, le robot pense : « Oh, c'est un contexte de lecture ». Il vérifie quel fruit correspond le mieux à un contexte de lecture.
Indice de saillance (Récence) : Qu'avez-vous touché récemment ? Si vous venez de tenir la pomme, la pomme reçoit un score élevé car elle est fraîche dans votre esprit.
Indice thématique (Vos habitudes) : C'est ici qu'intervient l'échelle de Niveau 2. Le robot consulte votre carnet de bord personnel. « Est-ce que cet utilisateur prend habituellement des bananes après avoir lu ? » Si oui, la banane reçoit un énorme bonus de points.

Étape 3 : La décision
Le robot additionne les scores. Si un fruit est clairement le vainqueur (par une marge suffisante), il le saisit. Si les scores sont trop proches, il demande : « Voulez-vous dire la pomme ou la banane ? » Cela garantit qu'il ne devine pas aveuglément.

Ce que les expériences ont montré

Les auteurs ont testé ce robot dans une maison simulée avec 66 objets différents (comme des tasses, des livres, des lampes et des fruits) et cinq « utilisateurs » aux habitudes uniques. Ils ont soumis au robot 3 000 commandes ambiguës à résoudre.

Ils ont comparé leur nouveau robot aux « géants de l'état de l'art » (comme les derniers modèles de langage de grande taille) ainsi qu'à des versions plus simples de leur propre robot.

Les Résultats :

Le nouveau robot a gagné : Dans presque tous les tests, leur robot hiérarchique était bien plus précis que les grands modèles d'IA, même si les grands modèles avaient accès exactement aux mêmes informations.
Le pouvoir du « Motif » : Le robot était particulièrement performant lorsque la commande était très vague (comme dire « il » au lieu de « la pomme »). Dans ces cas difficiles, la capacité du robot à utiliser les motifs de Nelvel 2 (vos habitudes personnelles) a fait toute la différence. Les grands modèles d'IA continuaient de se tromper car ils n'avaient pas ce carnet de bord personnel.
Moins de questions, plus d'actions : Le nouveau robot demandait de l'aide (clarification) beaucoup moins souvent que les autres, mais lorsqu'il prenait une décision, il avait plus souvent raison.
L'astuce du « Transfert » : Le robot pouvait deviner ce que vous vouliez même avec de nouveaux objets qu'il n'avait jamais vus auparavant, tant qu'ils partageaient les mêmes « briques » (attributs) que les anciens objets. Par exemple, si vous mangez habituellement des pêches, et que le robot voit un nouveau fruit qui ressemble et ressemble à une pêche, il devine que vous voulez cela aussi.

Ce que le document précise qu'il n'est PAS

Il est important de noter ce que ce document ne prétend pas.

Il ne dit pas que les grands modèles d'IA (LLM) sont inutiles. Ils ne sont juste pas l'outil le plus adapté pour cette tâche spécifique de raisonnement personnalisé à faibles données.
Il ne prétend pas avoir résolu tous les problèmes de l'IA. Le robot doit encore être testé sur de vrais robots physiques dans le monde réel, et non pas seulement dans une simulation informatique.
Il ne dit pas que le robot est « conscient ». Il utilise simplement une logique et des mathématiques astucieuses pour imiter la façon dont les humains utilisent des raccourcis.

L'essentiel à retenir

Ce document suggère que nous n'avons pas toujours besoin de cerveaux d'IA plus gros et plus coûteux pour créer de meilleurs assistants. Parfois, nous avons simplement besoin d'une meilleure façon d'organiser ce que nous savons déjà. En construisant une « échelle mentale » qui relie des faits simples à des groupes complexes, et en apprenant comment vous montez et descendez spécifiquement cette échelle, une IA peut devenir un assistant bien meilleur et plus intuitif. C'est comme apprendre à un robot non pas à lire le dictionnaire, mais à comprendre votre histoire.

Les auteurs ont constaté que cette approche fonctionne mieux que les géants actuels du domaine, surtout lorsque le robot doit deviner ce que vous voulez en fonction de vos habitudes uniques. C'est une étape vers des robots qui ne se contentent pas de suivre des ordres, mais qui nous comprennent réellement.

Résumé Technique : Compositionnalité Hiérarchique pour un Agent d'IA Assistif

Énoncé du Problème

L'article traite du défi de la désambiguïsation de commandes pour les agents d'IA assistifs opérant dans des environnements humains. Bien que les modèles de langage étendus (LLM) et les modèles de langage-vision (VLM) modernes fassent preuve de capacités impressionnantes, ils fonctionnent souvent comme des prédicteurs stochastiques opaques et gourmands en ressources qui peinent à réaliser une désambiguïsation personnalisée dans des situations inédites. Plus précisément, lorsqu'un utilisateur humain émet une commande ambiguë (par exemple, « place un fruit sur la table » alors que plusieurs fruits sont présents, ou « allume-le » alors que plusieurs appareils sont disponibles), les modèles fondés sur les données échouent souvent à s'adapter rapidement aux préférences spécifiques d'un utilisateur sans nécessiter de données d'entraînement étendues ou un historique explicite. Les approches hybrides existantes reposent souvent sur une supervision humaine substantielle ou échouent à transférer les preuves accumulées entre des entités liées. Le problème central est de concevoir une architecture qui exploite la compositionnalité hiérarchique et des heuristiques simples pour résoudre l'ambiguïté en se basant sur un historique d'interaction limité, des contraintes de domaine et les habitudes spécifiques de l'utilisateur, sans nécessiter les ressources massives des modèles de fondation.

Méthodologie

L'architecture proposée résout l'ambiguïté via un cadre à trois étapes qui intègre le raisonnement symbolique, la représentation compositionnelle et le score heuristique.

1. Représentation et Raisonnement de la Connaissance (ASP)

Le système utilise la programmation par ensembles de réponses (ASP - Answer Set Programming) pour le raisonnement logique non monotone.

Modélisation du Domaine : L'environnement est modélisé à l'aide du langage d'action $AL_d$ , définissant des sortes (ex: pièce, nourriture, mobilier), des statiques (attributs immuables), des fluents (états changeants) et des actions.
Filtrage de Faisabilité : Lors de la réception d'une commande, l'agent construit un programme ASP incorporant des axiomes de domaine (lois causales, contraintes d'état, conditions d'exécutabilité) et l'historique actuel. Il filtre les candidats qui violent les contraintes physiques (ex: un agent ne peut pas donner un objet à un utilisateur situé dans une autre pièce) ou la logique du domaine.
Planification : Une fois qu'une interprétation est sélectionnée, l'ASP est utilisé pour générer et exécuter un plan de tâche.

2. Représentation Compositionnelle Hiérarchique

Pour surmonter la rareté des données et permettre le transfert de connaissances, l'architecture représente les entités à travers une hiérarchie à trois niveaux :

Niveau 0 (Attributs Atomiques) : Les entités sont représentées par des attributs atomiques fins et partagés tirés de NOVA, un ensemble de normes de caractéristiques sémantiques validé par l'humain (ex: émet_lumière, possède_texte_imprimé). Cela permet aux preuves de se transférer entre des entités partageant des attributs.
Niveau 1 (Concepts de Niveau Domaine) : Des combinaisons statistiquement significatives d'attributs du Niveau 0 sont extraites pour former une bibliothèque de concepts ( $K$ ). Ces concepts représentent des archétypes de plus haut niveau (ex: une combinaison d'attributs définissant un « matériel de lecture »). Cette couche est indépendante de l'utilisateur et spécifique au domaine.
Niveau 2 (Modèles de Flux de Travail Spécifiques à l'Utilisateur) : Le système extrait l'historique d'interaction de l'utilisateur ( $H_u$ ) pour identifier des paires déclencheur-cible. Pour une action spécifique (ex: allumer), le système identifie quels concepts (déclencheurs) précèdent typiquement la sélection de quels autres concepts (cibles) pour cet utilisateur spécifique. Cela capture les habitudes personnalisées (ex: un utilisateur qui lit un livre avant d'allumer une lampe).

3. Scoring Multi-Signaux et Désambiguïsation

Lorsque plusieurs candidats viables subsistent après le filtrage ASP, ils sont classés selon trois signaux heuristiques complémentaires :

Compatibilité Sémantique ( $S_{sem}$ ) : Mesure la similitude entre le candidat et le contexte établi par l'action précédente (en utilisant la similitude Wu–Palmer basée sur WordNet).
Saillance de Session ( $S_{sal}$ ) : Mesure la récence de la mention ou de l'interaction avec le candidat au sein de la session actuelle, en appliquant une décroissance géométrique aux références plus anciennes.
Préférence Thématique Spécifique à l'Utilisateur ( $S_{them}$ ) : La contribution centrale, calculée en fusionnant :
- Preuve de Concept : Fréquence des concepts du candidat dans l'historique de l'utilisateur pour l'action spécifique.
- Preuve de Modèle : La signification statistique (lift) et le taux de suivi des paires déclencheur-cible identifiées au Niveau 2.

Politique de Décision : Les scores sont fusionnés à l'aide de sommes pondérées. L'agent ne sélectionne le meilleur candidat que si sa marge sur le deuxième meilleur dépasse un seuil de confiance ; sinon, il demande une clarification à l'humain.

Contributions Clés

Architecture Compositionnelle Hiérarchique : L'article introduit une nouvelle architecture qui dépasse les représentations d'objets plates. En décomposant les entités en attributs atomiques et en les recombinant en concepts et en modèles spécifiques à l'utilisateur, le système permet le transfert de préférence vers des entités nouvelles ou rarement observées (ex: inférer une préférence pour un abricot basée sur un historique de pêches).
Intégration d'Heuristiques et de Raisonnement Symbolique : Le travail démontre comment la rationalité écologique (utilisant des heuristiques simples comme le comptage et la recherche lexicographique) peut être efficacement combinée au raisonnement logique formel (ASP) pour atteindre une désambiguïsation robuste avec des données limitées.
Extraction de Flux de Travail Spécifiques à l'Utilisateur : Le système apprend automatiquement les modèles comportementaux de l'utilisateur (Niveau 2) sans programmation explicite, permettant à l'agent d'anticiper les préférences en fonction de la séquence d'actions et de concepts.
Clarification Sensible à l'Incertitude : L'architecture emploie une politique basée sur un seuil pour demander une clarification uniquement lorsque cela est nécessaire, équilibrant la charge cognitive de l'utilisateur avec le besoin de précision.

Résultats Expérimentaux

Le système a été évalué dans un environnement domestique simulé basé sur la physique comprenant 66 entités, 4 pièces et 12 actions, ainsi que 5 profils d'utilisateurs distincts. L'évaluation a porté sur 3 000 commandes ambiguës à travers quatre niveaux d'ambiguïté (allant des hyperonymes proches aux pronoms). Les modèles de référence incluaient un modèle fondé sur les données appelé GPT-5.1 (cité comme Singh et al. 2025 dans le texte source, qui est un preprint de 2026).

Performance vs Modèles de Référence : La méthode proposée a nettement surpassé tous les modèles de référence, y compris :
- Les modèles LLM (GPT-5.1) : Même en étant fournis avec le même historique complet d'interaction et l'état du monde, les modèles LLM (avec et sans Chaîne de Pensée/Chain-of-Thought) ont obtenu une précision nettement inférieure (ex: 30,9 % en moyenne contre 62,7 % pour la méthode proposée en mode noask) et demandaient la clarification beaucoup plus fréquemment.
- Études d'Ablation : Supprimer la hiérarchie compositionnelle (en utilisant uniquement les identités d'objets ou les attributs bruts) ou supprimer les modèles de flux de travail entraînait des baisses de performance significatives, particulièrement sous forte ambiguïté.
Transfert de Préférence : Le système a maintenu une précision élevée même pour les cibles rares (entités avec peu ou pas d'historique direct) en exploitant les concepts partagés, là où les modèles de base par objet échouaient à généraliser.
Spécificité de l'Utilisateur : L'utilisation de l'historique d'un utilisateur erroné dégradait la performance en dessous du niveau d'absence d'historique, confirmant la dépendance du système à une modélisation personnalisée précise.
Robustesse : La méthode a montré des gains constants à travers tous les niveaux d'ambiguïté, les améliorations les plus importantes étant observées lorsque l'ambiguïté était la plus élevée (références de pronoms), là où les modèles de flux de travail deviennent critiques.

Signification et Revendications

L'article soutient que la compositionnalité hiérarchique et les heuristiques simples offrent une alternative viable aux approches purement fondées sur les données pour les agents assistifs. Les auteurs affirment que :

Efficacité et Adaptabilité : En exploitant des structures compositionnelles, les agents peuvent s'adapter rapidement à des profils d'utilisateurs spécifiques à partir d'un historique d'interaction limité, une capacité où les LLM actuels peinent.
Interprétabilité et Contrôle : L'utilisation de l'ASP et de hiérarchies de concepts explicites fournit un processus de raisonnement transparent, permettant d'auditer et de réviser la connaissance de l'agent, contrairement à la nature "boîte noire" des réseaux profonds.
Rationalité Écologique : Ce travail soutient la vue selon laquelle les heuristiques, lorsqu'elles sont ancrées dans des capacités fondamentales et une structure de domaine, peuvent surpasser les modèles statistiques complexes dans des environnements ouverts et incertains en réduisant la variance et en se concentrant sur les signaux pertinents.

Les auteurs positionnent ce travail comme une étape vers un objectif à long terme : le développement d'agents assistifs qui utilisent les outils d'IA modernes (comme les LLM) comme une composante au sein d'une architecture plus large et plus structurée, basée sur le raffinement itératif et l'apprentissage interactif.