🤖 machine learning

Neurosymbolic Imitation Learning with Human Guidance: A Privileged Information Approach

Cet article propose un cadre d'apprentissage par imitation neurosymbolique qui combine la capacité des réseaux de neurones à traiter des données de haute dimension avec les capacités de généralisation des méthodes symboliques, en exploitant des informations d'entraînement privilégiées telles que les données de regard pour améliorer l'efficacité et réduire le surajustement.

Auteurs originaux : Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Publié 2026-05-11

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikhilesh Prabhakar, Varun Balaji, Athresh Karanam, Kristian Kersting, Sriraam Natarajan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment jouer à un jeu vidéo. Vous avez deux façons principales de le faire, mais toutes deux présentent un défaut majeur.

Le Problème : Deux Enseignants Défectueux

L'Enseignant « Deep Learning » : Cet enseignant est comme un génie qui a regardé des millions d'heures de gameplay. Il est excellent pour voir l'écran et réagir instantanément. Cependant, c'est une « boîte noire ». Vous ne pouvez pas lui demander pourquoi il a fait un mouvement, et il est terrible pour généraliser. Si vous placez un nouvel ennemi sur l'écran qu'il n'a jamais vu, il se fige souvent ou panique. Il a également besoin d'une quantité massive de données pour apprendre, comme un étudiant qui doit lire tous les livres de la bibliothèque avant de comprendre un seul concept.
L'Enseignant « Symbolique » : Cet enseignant est comme un professeur de logique. Il apprend des règles claires et explicables (par exemple, « Si un ennemi est à gauche, avancez vers la droite »). Il est excellent pour expliquer ses mouvements et peut gérer facilement de nouvelles situations. Mais, il est terrible pour regarder un écran vidéo brut. Il ne peut pas comprendre les pixels ; il a besoin que le monde lui soit décrit dans un code parfait et préécrit.

La Solution : Un Tuteur Hybride avec un « Regard Magique »
Les auteurs de cet article, GRAIL, proposent une nouvelle façon d'enseigner au robot qui combine le meilleur des deux enseignants. Ils l'appellent Apprentissage par Imitation Neurosymbolique.

Pensez-y comme une équipe de deux :

Les Yeux (Partie Neurale) : Un réseau de neurones qui regarde l'écran vidéo brut et traduit les pixels en une liste de faits logiques (par exemple, « Il y a un joueur », « Il y a un ennemi », « L'ennemi est à gauche »).
Le Cerveau (Partie Symbolique) : Un moteur logique qui prend ces faits et applique des règles pour décider quoi faire.

L'Ingrédient Secret : L'Information Privilegiée (Le « Regard »)
Voici le tour de force. Les auteurs ont réalisé que lorsque les humains jouent à ces jeux, leurs yeux ne regardent pas partout. Ils se concentrent sur les choses importantes (comme un ennemi sur le point de tirer) et ignorent le bruit de fond.

Dans le monde réel, nous ne pouvons pas toujours voir ce qu'un humain regarde pendant qu'il joue. Mais, pour cette expérience, les chercheurs avaient accès à des données de suivi oculaire (une carte thermique montrant exactement où l'humain regardait) uniquement pendant la phase d'entraînement.

Ils ont traité ces données de suivi oculaire comme des « Informations Privilegiées ».

Pendant l'Entraînement : Le robot a le droit de voir l'écran du jeu et les mouvements oculaires de l'humain. Il apprend : « Ah, l'humain regarde l'ennemi, donc cet ennemi est important. L'humain ignore les nuages dans le ciel, donc je devrais les ignorer aussi. »
Pendant les Tests (Le Vrai Jeu) : Le robot ne voit plus les données de suivi oculaire. Il ne voit que l'écran. Mais parce qu'il a appris quelles choses il fallait regarder pendant l'entraînement, il ignore maintenant le bruit de fond par lui-même.

Comment Cela Fonctionne en Pratique
Imaginez que le robot joue à un jeu comme Seaquest (où vous nagez et tirez).

Les Yeux : Le robot regarde l'écran et voit 50 objets. Il crée une liste de 50 faits.
Le Filtre de Regard : Le robot se souvient : « Pendant l'entraînement, l'humain ne regardait que les ennemis et les plongeurs, pas les bulles. » Donc, il utilise cette mémoire pour « baisser le volume » sur les bulles et « monter le volume » sur les ennemis.
Le Cerveau Logique : Maintenant, avec une liste épurée et focalisée de faits importants, le cerveau logique applique ses règles : « Si un ennemi est proche, tirez. »
Le Résultat : Le robot fait un mouvement.

Pourquoi C'est une Grande Nouvelle
L'article a testé cela sur des jeux Atari (comme Asterix et Seaquest) et a trouvé trois victoires majeures :

Meilleure Performance : Le robot jouait mieux que l'enseignant « Deep Learning » et l'enseignant « Symbolique » seuls.
Efficacité Échantillonnaire : Il apprenait beaucoup plus vite. Alors que d'autres robots devaient jouer des milliers de fois pour devenir bons, ce robot devenait bon avec très peu d'essais car le « regard » l'a aidé à se concentrer immédiatement sur ce qui comptait.
Généralisation : Lorsque le jeu changeait (par exemple, il y avait soudainement 3 ennemis au lieu de 1), le robot ne paniquait pas. Parce qu'il avait appris des relations (par exemple, « l'ennemi est à gauche ») plutôt que de simplement mémoriser des motifs de pixels, il pouvait gérer facilement de nouvelles situations jamais vues.

En Résumé
L'article présente un système qui enseigne à un robot à jouer à des jeux en combinant un « traducteur visuel » avec un « créateur de règles logiques ». L'arme secrète est d'utiliser des données de suivi oculaire humain comme guide d'entraînement temporaire pour enseigner au robot sur quoi porter son attention. Une fois entraîné, le robot peut jouer avec expertise par lui-même, même dans de nouvelles situations, sans avoir besoin des yeux de l'humain. C'est comme enseigner à un étudiant à étudier en lui montrant exactement quelles pages du manuel de cours sont les plus importantes, afin qu'il apprenne à étudier efficacement même lorsque vous n'êtes pas là pour pointer les pages.

Résumé Technique : Apprentissage par Imitation Neurosymbolique avec Guidance Humaine : Une Approche par Information Privilegiée

Énoncé du Problème

L'apprentissage par imitation (IL) vise à apprendre une politique (une correspondance des états vers les actions) à partir de démonstrations d'experts. Bien que les méthodes purement neuronales (par exemple, le Clonage Comportemental) gèrent efficacement les données brutes de haute dimension comme les images, elles souffrent d'une inefficacité d'échantillonnage, d'un surajustement et d'un manque de généralisation dans des environnements avec des nombres d'objets variables. À l'inverse, les méthodes purement symboliques offrent de l'interprétabilité et une forte généralisation, mais peinent à traiter directement les entrées de haute dimension et nécessitent souvent des représentations symboliques pré-spécifiées.

De plus, les méthodes d'IL existantes échouent souvent à exploiter les Informations Privilegiées (IP) — des données auxiliaires disponibles pendant l'entraînement mais indisponibles lors du déploiement. Bien que les données de regard (suivi oculaire humain) soient un candidat naturel pour les IP dans les tâches visuelles, les approches précédentes appliquent généralement la guidance du regard aux politiques neuronales, préservant leur nature de « boîte noire », ou l'utilisent simplement pour la régularisation sans modifier le processus de raisonnement symbolique sous-jacent.

Le défi central abordé par cet article est : Comment développer un cadre d'apprentissage par imitation qui combine le traitement de haute dimension des réseaux de neurones avec la généralisation et l'interprétabilité du raisonnement symbolique, tout en exploitant efficacement les informations privilégiées (spécifiquement le regard humain) pour guider l'apprentissage de politiques robustes et généralisables ?

Méthodologie : Le Cadre GRAIL

Les auteurs proposent GRAIL (Apprentissage par Imitation Relationnel Guidé par le Regard), un cadre neurosymbolique qui intègre trois modules étroitement couplés pour apprendre des règles de logique probabiliste interprétables à partir d'images brutes et de données de regard.

1. Ancrage Neurosymbolique (Module de Perception)

Au lieu de supposer des entrées symboliques, GRAIL accepte des observations de pixels bruts ( $o_t$ ). Un réseau de perception neuronal ( $f_\theta$ ) mappe ces images brutes vers un ensemble d'atomes ancrés probabilistes ( $v^{(0)}_t$ ).

Mécanisme : Le réseau produit un vecteur de probabilités de vérité pour un ensemble prédéfini de prédicats du premier ordre (par exemple, ennemiVisible, procheDuJoueur).
Entraînement : Ce module est entraîné indépendamment en utilisant des étiquettes binaires de vérité terrain dérivées d'un oracle d'extraction d'objets (OCAtari) via une perte de Vraisemblance Négative Logarithmique (NLL). Une fois entraîné, il agit comme un extracteur de caractéristiques fixe.

2. Modulation Privilegiée par le Regard

Il s'agit de l'innovation centrale exploitant le paradigme Apprentissage par Utilisation d'Informations Privilegiées (LUPI).

Prédiction du Regard : Un réseau séparé ( $g_\phi$ ) est entraîné pour prédire une carte thermique de regard à partir de l'image brute, en minimisant la divergence de Kullback-Leibler par rapport aux données de suivi oculaire de vérité terrain.
Repondération des Atomes : Pendant l'entraînement de la politique, la carte thermique de regard est utilisée pour calculer une « masse de regard » ( $s_i$ ) pour chaque entité référencée dans les atomes ancrés.
Modulation : Les probabilités initiales des atomes sont repondérées par les scores de regard : $v^{(g)}_{t,i} = v^{(0)}_{t,i} \cdot s_i$ .
Effet : Ce mécanisme supprime les probabilités des atomes correspondant aux éléments d'arrière-plan ou aux entités non pertinentes pour la tâche que l'expert humain n'a pas regardées, filtrant efficacement les corrélations spuriées avant l'étape de raisonnement logique.

3. Raisonneur à Chaînage Avant Différentiable (Apprentissage de la Politique)

L'état symbolique modulé par le regard ( $v^{(g)}_t$ ) est injecté dans un Raisonneur Neurosymbolique à Chaînage Avant (NSFR).

Logique : Le raisonneur effectue une inférence par chaînage avant différentiable sur une bibliothèque prédéfinie de clauses définies de Logique du Premier Ordre (LPO) (règles).
Différentiabilité : Les opérations logiques (conjonction/disjonction) sont approximées en utilisant la sémantique de la logique floue (norme T-produit et T-conorme), permettant aux gradients de circuler à travers le graphe d'inférence.
Optimisation de la Politique : Le système apprend une matrice de poids ( $W$ ) pour les règles. L'objectif est le Clonage Comportemental : minimiser la vraisemblance négative logarithmique de l'action de l'expert étant donnée la distribution d'actions inférée dérivée des activations des règles.

Contributions Clés

Nouveau Cadre Neurosymbolique : Le développement de GRAIL, qui apprend des règles de logique probabiliste interprétables pour l'apprentissage par imitation directement à partir de données visuelles brutes.
Intégration d'Informations Privilegiées : La formulation spécifique du regard humain comme information privilégiée pour moduler les valuations d'atomes symboliques. Cela se distingue des travaux antérieurs qui appliquent le regard aux couches neuronales ; ici, le regard guide l'étape d'ancrage symbolique.
Synthèse Interdisciplinaire : L'article combine des concepts d'apprentissage neuronal, d'apprentissage symbolique (Programmation Logique Inductive), d'apprentissage par imitation et d'apprentissage basé sur les conseils (LUPI) en un seul système entraînable de bout en bout.
Validation Empirique : Démonstration que le cadre est efficace en termes d'échantillonnage, apprend des politiques robustes et se généralise à des scénarios de test avec un nombre inconnu d'objets, surpassant à la fois les bases de référence purement neuronales et purement symboliques.

Résultats Expérimentaux

Le cadre a été évalué sur deux environnements Atari 2600 (Asterix et Seaquest) utilisant le jeu de données Atari-HEAD (qui inclut des données de suivi oculaire humain).

Efficacité (Q1) : GRAIL a obtenu les scores de jeu moyens les plus élevés dans les deux domaines, surpassant significativement les bases de référence purement neuronales (Clonage Comportemental, AGIL, BC+Mask) et la base de référence neurosymbolique sans modulation de regard (NSFR-IL).
Efficacité d'Échantillonnage (Q2) : GRAIL a convergé vers des niveaux de performance supérieurs avec significativement moins d'échantillons d'entraînement. Notamment, GRAIL entraîné sur seulement 10 % des données a surpassé la base de référence NSFR-IL entraînée sur l'ensemble complet des données. Les auteurs attribuent cela à la modulation de regard agissant comme un régularisateur, empêchant le modèle de s'ajuster aux corrélations spuriées dans les données.
Généralisation (Q3) : Lorsqu'il a été testé sur des environnements avec un nombre d'objets plus élevé que celui observé pendant l'entraînement, GRAIL a maintenu des performances élevées. Les bases de référence neuronales ont échoué à se généraliser au-delà de leurs comptes d'objets d'entraînement, tandis que la nature relationnelle de la représentation symbolique de GRAIL lui a permis de gérer naturellement des comptes d'objets non vus.

Importance et Revendications

L'article revendique que GRAIL représente le premier cadre neurosymbolique de bout en bout capable d'intégrer de manière transparente les informations de regard comme informations privilégiées pour apprendre des politiques efficaces, efficientes et généralisables.

Robustesse : En utilisant le regard pour filtrer les atomes symboliques, le système évite d'apprendre des politiques basées sur des caractéristiques d'arrière-plan non pertinentes, abordant ainsi le problème du « décalage de covariable » courant dans l'apprentissage par imitation.
Interprétabilité : Contrairement aux politiques neuronales, la politique résultante est un ensemble de règles logiques pondérées. Les poids eux-mêmes fournissent une explication du processus de prise de décision (par exemple, quelles règles sont les plus critiques pour des actions spécifiques).
Modularité : Le cadre est décrit comme « plug-and-play », capable d'intégrer des apprenants différentiables, divers modules de perception et différentes formes d'informations privilégiées (non limitées au regard).

Les auteurs concluent que la combinaison de concepts d'IA classique (neuronale, symbolique, basée sur les conseils) produit un modèle qui est non seulement performant, mais aussi transparent et capable de se généraliser à des environnements complexes et dynamiques où les méthodes symboliques traditionnelles peinent et où les méthodes purement neuronales manquent de robustesse.