🤖 AI

LANTERN: LLM-Augmented Neurosymbolic Transfer with Experience-Gated Reasoning Networks

L'article propose LANTERN, un cadre unifié d'apprentissage par transfert neurosymbolique qui exploite des automates de tâches générés par des LLM, une agrégation de politiques sémantiques et un gating adaptatif pour améliorer significativement l'efficacité en échantillons et la robustesse dans les scénarios d'apprentissage par renforcement multi-sources.

Auteurs originaux : Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

Publié 2026-05-08

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Mahyar Alinejad, Yue Wang, Amrit Singh Bedi, George Atia

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un robot comment accomplir une mission complexe, comme naviguer dans un donjon pour vaincre un dragon. Autrefois, enseigner ainsi à un robot revenait à essayer d'apprendre à un enfant à conduire en ne lui permettant de s'entraîner que sur un seul type de voiture spécifique, sur une seule route spécifique. Si le robot apprenait dans une petite rue calme, il pourrait se perdre complètement lorsqu'on lui demanderait de conduire sur une autoroute très fréquentée.

Ce papier présente LANTERN, une nouvelle méthode pour enseigner aux robots qui agit comme un système de mentorat ultra-intelligent et multilingue. Au lieu de se fier à un seul enseignant ou à un seul type d'expérience, LANTERN rassemble la sagesse de nombreux « enseignants » différents (tâches sources) et détermine comment mélanger intelligemment leurs conseils.

Voici comment LANTERN fonctionne, décomposé en quatre étapes simples :

1. Le « Traducteur » (Cartes générées par LLM)

Habituellement, pour enseigner à un robot une tâche complexe, un expert humain doit dessiner une carte détaillée (appelée « Automate Fini Déterministe » ou DFA) montrant chaque étape que le robot doit suivre. Cela est lent et nécessite qu'un humain soit un expert.

L'astuce de LANTERN : Il utilise un Modèle de Langage (comme un chatbot IA très avancé) pour lire une description simple de la tâche (par exemple, « Trouvez la clé, puis le bouclier, puis l'épée ») et dessine automatiquement la carte pour le robot.

Analogie : Au lieu qu'un architecte humain passe des semaines à dessiner des plans, vous dites simplement à une IA intelligente : « Construis une maison avec une cuisine et deux chambres », et elle vous remet instantanément le plan.

2. La « Bibliothèque de Sagesse » (Agrégation multi-sources)

Autrefois, les robots ne pouvaient apprendre que d'un seul autre tâche. Si vous vouliez enseigner à un robot à « collecter du bois », vous ne pouviez utiliser qu'un robot ayant déjà appris à « collecter du bois ». Si vous tentiez d'utiliser un robot ayant appris à « collecter des roches », les conseils pouvaient être inutiles ou confus.

L'astuce de LANTERN : Il examine plusieurs enseignants différents à la fois. Il se demande : « La tâche « collecter du bois » partage-t-elle des similitudes avec la tâche « collecter des roches » ? »

La Magie : Il utilise une « intégration sémantique » (une méthode pour transformer des mots en points mathématiques dans l'espace). Il réalise que même si « bois » et « roches » sont différents, le concept de « rassembler des matériaux » est similaire.
Analogie : Imaginez que vous appreniez à cuisiner un ragoût spécifique. Au lieu de demander à un seul chef qui ne fait que des ragoûts, vous demandez à un boulanger, à un maître-grill et à un chef de soupes. LANTERN examine leurs conseils et dit : « Le boulanger connaît le mélange des ingrédients (bon pour la base du ragoût), et le maître-grill connaît le timing (bon pour la chaleur). Je vais mélanger leurs conseils en fonction de leur pertinence actuelle. »

3. Le « Jauge de Confiance » (Gestion à double volatilité)

C'est la partie la plus critique. Si un robot suit aveuglément un enseignant qui a tort, il échouera. LANTERN possède une « Jauge de Confiance » intégrée qui décide combien écouter les enseignants à tout moment. Elle vérifie deux choses :

Volatilité de l'expérience : Le robot est-il confus en ce moment ? (Fait-il de grosses erreurs ?) Si oui, il fait davantage confiance aux enseignants.
Volatilité sémantique : Les conseils de l'enseignant sont-ils réellement pertinents pour ce moment précis ? Si le robot est en train de « collecter du bois » mais que l'enseignant parle de « cuire du pain », la jauge de confiance baisse.

Analogie : Pensez à un étudiant passant un examen.
- Si l'étudiant connaît la réponse (faible volatilité), il ignore l'enseignant et écrit sa propre réponse.
- Si l'étudiant est bloqué et confus (forte volatilité), il regarde l'enseignant.
- Crucialement : Si l'enseignant parle d'un sujet complètement différent (faible alignement sémantique), l'étudiant l'ignore même s'il est confus. LANTERN n'écoute que le bon enseignant au bon moment.

4. Le Résultat : Apprendre plus vite et plus intelligemment

Le papier a testé LANTERN dans deux mondes principaux :

Quête de Donjon : Un robot naviguant dans un labyrinthe pour collecter des objets et combattre un dragon.
Artisan Aveugle : Un robot rassemblant des ressources (comme du bois ou du minerai) pour fabriquer des objets.

Les Résultats :

Vitesse : LANTERN a appris 40 % à 60 % plus vite que les méthodes précédentes. Il a eu besoin de beaucoup moins d'essais pour maîtriser la tâche.
Robustesse : Même lorsque les « enseignants » provenaient de mondes très différents (par exemple, enseigner à un robot minier en utilisant des conseils d'un robot agricole), LANTERN ne s'est pas perdu. Il a réussi à sélectionner les parties utiles des conseils et à ignorer le reste.
Aucun travail manuel : Il n'avait pas besoin que des humains dessinent les cartes ; l'IA les a générées automatiquement.

Résumé

LANTERN est comme un étudiant disposant d'une bibliothèque de milliers d'experts différents. Lorsque l'étudiant fait face à un nouveau défi, il ne se contente pas de copier un expert. Au lieu de cela, il :

Demande à une IA de dessiner une carte de l'objectif.
Examine sa bibliothèque pour trouver des experts qui ont fait des choses similaires.
Écoute ces experts uniquement lorsqu'il est confus, et seulement si les experts parlent du bon sujet.

Cela permet au robot d'apprendre des tâches complexes à long terme beaucoup plus vite et plus fiablement que jamais auparavant, sans qu'un humain ait besoin de micro-gérer chaque étape.

Résumé Technique : LANTERN – Transfert Neurosymbolique Augmenté par LLM avec Réseaux de Raisonnement à Portes Expérientielles

Énoncé du Problème

L'apprentissage par renforcement (RL) éprouve souvent des difficultés d'inefficacité d'échantillonnage, en particulier dans les tâches impliquant des objectifs à long horizon et non markoviens nécessitant un raisonnement temporel structuré. Bien que les approches neurosymboliques – intégrant des représentations symboliques comme les Automates Finis Déterministes (DFA) dans le RL – aient amélioré l'efficacité d'échantillonnage, les méthodes d'apprentissage par transfert existantes font face à trois limitations critiques :

Spécification Manuelle : La plupart des méthodes nécessitent des DFA ou des formules de logique temporelle fournis par des experts, ce qui est difficile à obtenir. Des approches d'inférence grammaticale existent mais requièrent des données de trajectoire structurées inadaptées au RL épars ou exploratoire.
Dépendance à une Source Unique : Les méthodes de transfert actuelles (par exemple, distillation d'automates, distillation de politiques) reposent généralement sur une seule tâche source. Cela limite l'efficacité lorsque les tâches source et cible ont des objectifs hétérogènes ou des structures seulement partiellement alignées.
Mécanismes d'Intégration Fixes : Les cadres existants utilisent des schémas de pondération prédéterminés (par exemple, décroissance exponentielle) ou des hyperparamètres statiques, échouant à s'adapter lorsque la pertinence de la source varie selon les états ou au fil du temps.

L'article aborde le défi du transfert neurosymbolique multi-source dans des contextes où plusieurs tâches sources possèdent des objectifs distincts et partiellement liés. Dans de tels régimes, la réutilisation directe d'une politique ou d'un automate source unique est insuffisante ; le système nécessite plutôt un alignement sémantique et l'agrégation de connaissances structurées à travers des tâches hétérogènes.

Méthodologie : Le Cadre LANTERN

LANTERN (Transfert Neurosymbolique Augmenté par LLM avec Réseaux de Raisonnement à Portes Expérientielles) est un cadre unifié conçu pour surmonter les limitations susmentionnées grâce à cinq phases distinctes :

1. Génération d'Automates Améliorée par LLM

Au lieu d'une spécification manuelle, LANTERN utilise des Modèles de Langage (LLM) pour générer directement des DFA cibles ( $D_{tgt}$ ) à partir de descriptions de tâches en langage naturel ( $T_{desc}$ ).

Processus : Un prompt structuré instruit le LLM à extraire des sous-objectifs, définir des états d'automate représentant des jalons, spécifier des transitions déterministes et générer des descriptions sémantiques en langage naturel pour chaque état.
Sortie : Un DFA cible et une correspondance des états de l'automate vers des descriptions sémantiques, qui servent de base à l'alignement inter-tâches.

2. Encodage Sémantique et Construction de Voisinage

Pour permettre le transfert entre des tâches ayant des objectifs différents, LANTERN construit un espace d'encodage sémantique partagé.

Encodage : Les descriptions en langage naturel des états de l'automate (issues des tâches sources et cibles) sont mappées vers un espace vectoriel $\phi(\omega) \in \mathbb{R}^d$ en utilisant un modèle d'encodage de texte fixe (par exemple, sentence-BERT).
Similarité et Voisinages : La similarité sémantique entre un état cible $\omega_{tgt}$ et des états sources $\omega_{src}^k$ est calculée via la similarité cosinus. Pour chaque état cible, un « voisinage sémantique » ( $N_M$ ) est formé en sélectionnant les $M$ états sources les plus similaires parmi toutes les $K$ tâches sources.
Pondération : Les poids d'agrégation sont normalisés en fonction des scores de similarité, garantissant que les états alignés sémantiquement contribuent plus fortement à l'orientation.

3. Agrégation de Connaissances Multi-Source

LANTERN agrège l'orientation provenant du voisinage sémantique selon deux dimensions :

Orientation Stratégique (Niveau Automate) : Agrège les valeurs Q distillées ( $Q_{k,AD}$ ) représentant la progression de haut niveau de la tâche depuis les tâches sources. La valeur agrégée $Q_{agg}^{AD}$ est une somme pondérée des valeurs stratégiques sources.
Orientation Tactique (Niveau Politique) : Agrège les politiques enseignantes ( $\pi_{teacher}^k$ ) depuis les états sources alignés pour fournir une orientation au niveau des actions.

4. Porte Expérientielle à Double Volatilité

Pour équilibrer adaptativement l'apprentissage de l'élève avec l'orientation de l'enseignant, LANTERN introduit une porte de confiance composite $\tau$ combinant deux mesures de volatilité :

Volatilité Expérientielle ( $V^{exp}$ ) : Suit la volatilité de l'erreur Temporelle-Différentielle (TD) de l'apprentissage de l'élève. Une volatilité élevée indique une instabilité, favorisant l'orientation de l'enseignant.
Volatilité Sémantique ( $V^{sem}$ ) : Mesure le désalignement entre l'état cible et ses états sources les mieux correspondants (basé sur la similarité). Une volatilité sémantique élevée indique un mauvais alignement, réduisant la confiance dans la source.
Mécanisme : Le coefficient de confiance final $\tau = \tau^{exp} \cdot \tau^{sem}$ est multiplicatif. L'influence de l'enseignant est forte uniquement lorsque l'apprentissage est instable et que la source est alignée sémantiquement. Cela prévient le transfert négatif dans les régions mal alignées.

5. Mise à Jour Unifiée de l'Apprentissage

L'élève apprend sur le MDP produit ( $M_{tgt} \times D_{tgt}$ ) en utilisant une règle de mise à jour Q modifiée :
$\Delta Q = \alpha [ \tau \cdot \delta_t + (1 - \tau) \cdot G_{multi} ]$
où $\delta_t$ est l'erreur TD standard et $G_{multi}$ est l'orientation multi-source agrégée (combinant récompenses stratégiques et écarts de politiques tactiques). Lorsque $\tau \to 1$ , la mise à jour repose sur l'apprentissage TD standard ; lorsque $\tau \to 0$ , elle repose sur l'orientation enseignante agrégée.

Contributions Clés

Formulation du Transfert Neurosymbolique Multi-Source : L'article formule un contexte où les tâches sources ont des objectifs hétérogènes, nécessitant une agrégation sémantique plutôt qu'une réutilisation directe d'une source unique.
Architecture LANTERN : Le développement d'un cadre intégrant la génération d'automates par LLM, l'agrégation sémantique multi-source et une porte adaptative à double volatilité.
Validation Empirique : Démonstration d'améliorations significatives de l'efficacité d'échantillonnage à travers divers domaines (gestion de ressources et navigation) tout en maintenant une robustesse face à des sources mal alignées.

Résultats Expérimentaux

Le cadre a été évalué sur deux domaines : Dungeon Quest (navigation séquentielle) et Blind Craftsman (gestion de ressources avec contraintes d'inventaire). Les tâches sources comprenaient des missions avec des objectifs différents (par exemple, sauvetage vs chasse au trésor ; extraction minière vs agriculture).

Efficacité d'Échantillonnage : LANTERN a réalisé des améliorations de 40 à 60 % en efficacité d'échantillonnage par rapport aux méthodes de base, incluant des méthodes de transfert à source unique (Distillation d'Automates, CADENT, LARM) et une base de référence « Sans Transfert ».
Robustesse : Le système est resté robuste même lorsque les tâches sources avaient des structures distinctes et un chevauchement sémantique partiel avec la cible.
Études d'Ablation :
- Multi-source vs Source Unique : L'agrégation de connaissances partielles provenant de multiples sources a produit une amélioration de 26 % par rapport à l'utilisation de la seule source la plus similaire.
- Double Volatilité vs Volatilité Expérientielle Uniquement : L'intégration d'une porte sémantique a empêché le transfert négatif dans les régions mal alignées, produisant une amélioration de 18 %.
- Stratégique + Tactique vs Stratégique Uniquement : La combinaison des deux types d'orientation a fourni une amélioration de 31 %, soulignant la synergie entre la décomposition grossière de la tâche et l'orientation fine des actions.

Importance et Revendications

L'article revendique que LANTERN démontre que le transfert neurosymbolique multi-source, pondéré de manière adaptative, peut améliorer significativement l'évolutivité et la robustesse dans les contextes de RL symbolique. En s'éloignant de la spécification manuelle et de la dépendance à une source unique, le cadre permet aux agents de tirer parti de connaissances complémentaires provenant de tâches hétérogènes.

Les auteurs soulignent que le mécanisme de porte à double volatilité est crucial pour prévenir le transfert négatif, permettant au système de « se dégrader gracieusement » lorsque l'alignement de la source est faible. Les résultats suggèrent que l'alignement des états d'automate dans un espace d'encodage sémantique partagé fournit un mécanisme efficace pour transférer des connaissances structurées à travers des domaines ayant des ressources, des agencements et des sémantiques de tâches différents.

Limitations notées par les auteurs :

Dépendance à la qualité des LLM pour la génération de DFA.
Contraintes d'évolutivité dues à l'utilisation d'un apprentissage Q tabulaire.
Exigences d'alignement de l'espace d'actions.

Les directions de travail futur identifiées incluent le raffinement des automates avec rétroaction, l'approximation de fonctions profondes pour les domaines continus, les mappages d'actions appris et le transfert multi-source continu.