Résumé Technique : Découverte Lexicale Neuro-Symbolique (NSLD)

1. Énoncé du Problème

L'article traite d'un goulot d'étranglement critique dans le déploiement d'agents basés sur les Grands Modèles de Langage (LLM) dans des environnements véritablement inconnus (ex. : exploration planétaire ou abyssale). Bien que les LLM excellent dans la communication en langage naturel, ils manquent de mécanismes pour ancrer de nouveaux symboles sur des référents observables qui n'ont aucun nom dans aucune langue humaine. Les approches existantes produisent soit des jetons sémantiquement opaques, soit nécessitent la participation directe de l'humain à la construction du vocabulaire. Cela crée un « Problème d'Ancrage des Symboles » (SGP) où les agents ne peuvent pas acquérir d'ancrage visuel sur des référents extraterrestres totalement absents des corpus de langage naturel, ni associer ces nouveaux symboles « extraterrestres » à des mots humains connus pour rapporter leurs découvertes. Les auteurs postulent que pour un déploiement efficace en robotique, les LLM doivent être capables de développer de manière autonome des vocabulaires partagés et ancrés pour des entités hors distribution (OOD) sans représentation linguistique préalable.

2. Méthodologie : Le Cadre de Découverte Lexicale Neuro-Symbolique (NSLD)

Les auteurs proposent le cadre NSLD, un système neuro-symbolique où une population d'agents basés sur des LLM joue un « Jeu de Référence d'Ancrage » pour auto-organiser un lexique extraterrestre partagé.

2.1 Architecture de l'Agent

Chaque agent se compose de trois composants intégrés :

• Perception (Vision) : Un encodeur visuel CLIP gelé (ViT-B/32) qui projette les entrées visuelles dans un espace de plongement (embedding) partagé de 512 dimensions. Ce module est découplé du moteur de raisonnement pour garantir un accès transparent aux vecteurs de sens internes.
• Mémoire (Lexique Ancré) : Un index vectoriel FAISS privé agissant comme une mémoire lexicale persistante. Il contient deux partitions :
  1. Une base perceptuelle statique : environ 3 000 noms/adjectifs anglais encodés via CLIP texte, servant de pont vers le langage naturel.
  2. Un index de mots extraterrestres dynamiques : privé à chaque agent, stockant les plongements d'images CLIP des référents visuels associés aux nouveaux mots inventés.
• Raisonnement (LLM) : Un LLM uniquement textuel (spécifiquement gpt-oss:20b dans les expériences) responsable de la prise de décision, de la sélection lexicale et de la stratégie de jeu. Il interagit avec les modules de vision et de mémoire via une interface d'outils contrôlée (ex. : observe_environment, add_alien_word, check_confidence).

2.2 Le Jeu de Référence d'Ancrage

Le cadre fonctionne par cycles itératifs impliquant un Locuteur (Speaker) et un Auditeur (Hearer) :

1. Phase du Locuteur : Le locuteur observe un ensemble de référents visuels OOD (créatures extraterrestres synthétiques, rochers, artefacts), en sélectionne un, et produit un « mot extraterrestre » (une chaîne de trois syllabes issue d'un inventaire phonologique fixe, garantissant l'absence de chevauchement avec le langage naturel). Le mot est ancré en l'associant au plongement CLIP du référent.
2. Phase de l'Auditeur : L'auditeur observe le même référent (attention conjointe) et doit sélectionner un mot de son propre lexique pour s'y référer.
3. Retour et Mise à jour :
   • Succès : Si les mots correspondent, les deux agents augmentent leur score de confiance pour ce mot (+0,25).
   • Échec : Si les mots diffèrent, la confiance diminue (-0,20). Les agents utilisent ensuite leurs scores de confiance pour décider s'ils conservent leur mot ou adoptent celui du partenaire, mettant ainsi à jour leurs indices FAISS en conséquence.

2.3 Configuration Expérimentale

• Jeu de données : 10 référents visuels OOD synthétiques générés par Nano Banana Pro, conçus pour être méconnaissables par CLIP et les corpus d'entraînement des LLM.
• Échelle : Simulations conduites avec des populations ($n_a$) allant de 2 à 20 agents et des nombres d'entités ($n_e$) de 3 à 10.
• Contraintes : Les mots extraterrestres sont strictement contraints par un inventaire phonologique pour empêcher les raccourcis linguistiques pré-entraînés.

3. Résultats Clés

3.1 Convergence Lexicale

Le système atteint de manière fiable un consensus à travers toutes les configurations testées.

• Dynamique : Les premiers cycles montrent une forte divergence avec de nombreux mots uniques et transitoires. Avec le temps, une dynamique de type « le gagnant rafle tout » émerge, menant à un mot extraterrestre unique partagé pour chaque référent.
• Performance : Dans un scénario de 5 agents et 5 référents, le consensus (défini par $G \ge 0,95$) a été atteint après environ 165 cycles.
• Mise à l'échelle : Le temps de convergence ($T_{0.95}$) évolue de manière monotone avec la taille de la population et le nombre d'entités. La configuration la plus rapide ($n_a=2, n_e=3$) a convergé en $16 \pm 9$ cycles, tandis que la plus lente ($n_a=20, n_e=10$) a nécessité $4572 \pm 472$ cycles.

3.2 Ancrage Sémantique et Alignement Humain-Machine

Crucialement, les mots extraterrestres découverts ne sont pas sémantiquement isolés. Parce qu'ils sont ancrés à l'espace de plongement CLIP, ils héritent de la proximité sémantique de la base perceptuelle anglaise statique.

• Interprétabilité : Chaque mot extraterrestre est associé à des descripteurs anglais cohérents (ex. : « rock », « creature ») basés sur la proximité vectorielle, permettant aux opérateurs humains de comprendre le vocabulaire de l'agent sans observer directement les référents visuels.
• Ancrage : Le système crée avec succès des liens « extraterrestre-vers-anglais » qui sont perceptuellement ancrés, élargissant ainsi efficacement le vocabulaire humain avec de nouveaux termes.

3.3 Modélisation Analytique

Les auteurs proposent trois modèles mathématiques caractérisant les dynamiques de convergence, atteignant tous un $R^2 > 0,95$ :

1. Modèle Direct : Une fonction logistique prédisant le degré de consensus d'ancrage $G(T)$ à n'importe quel cycle $T$ en fonction de $n_a$ et $n_e$.
2. Modèle Inverse : Estime le nombre de cycles requis pour atteindre un seuil de consensus $\theta$.
3. Modèle de Vocabulaire : Prédit l'évolution de la taille du vocabulaire global $V(T)$, capturant l'explosion initiale de mots uniques suivie d'une phase d'élagage à mesure que le consensus est atteint.

4. Contributions Clés

1. Nouveau Cadre pour l'Ancrage OOD : Le cadre NSLD démontre que les agents LLM peuvent acquérir un ancrage perceptuel natif sur des référents n'ayant aucune représentation linguistique préalable, défiant l'hypothèse selon laquelle les LLM ne possèdent qu'un ancage indirect via les corpus de langage.
2. Co-développement Autonome de Vocabulaire : Le système parvient à un vocabulaire partagé humain-machine de manière autonome, sans intervention humaine, résolvant un défi précédemment identifié comme un problème ouvert en interaction homme-machine.
3. Interprétabilité via l'Espace de Plongement : En ancrant les symboles extraterrestres à un espace de plongement partagé, le cadre rend la communication émergente interprétable pour les humains grâce à la proximité sémantique avec les descripteurs du langage naturel.
4. Outils de Planification Prédictive : Les modèles analytiques dérivés fournissent une première étape vers la planification pré-déploiement pour les missions d'exploration autonomes, permettant l'estimation des ressources (cycles/temps) en fonction de la population et de la complexité de l'environnement.

5. Signification et Revendications

L'article affirme que le NSLD représente une avancée qualitative par rapport aux jeux de dénomination classiques et aux études antérieures sur la communication émergente. Alors que les travaux précédents prouvaient la convergence vers des jetons arbitraires partagés, le NSLD prouve la convergence vers des symboles ancrés partagés, qui sont découplés du contexte conversationnel et ancrés dans une mémoire perceptuelle persistante.

Les auteurs positionnent ce travail comme une solution d'ingénierie concrète au Problème d'Ancrage des Symboles en robotique, dépassant le débat philosophique pour démontrer que les LLM peuvent acquérir un nouvel ancrage nativement. La signification réside dans la capacité d'agents autonomes à opérer dans des environnements véritablement inconnus, à développer un lexique partagé pour des entités nommables, et à rapporter ces découvertes aux humains en utilisant un vocabulaire sémantiquement ancré. Les auteurs reconnaissent les limites, notant que les expériences sont actuellement basées sur des simulations, limitées à un seul backend LLM, et utilisent des topologies de population entièrement connectées, identifiant celles-ci comme des directions immédiates pour des travaux futurs.