Identity as Attractor: Geometric Evidence for Persistent Agent Architecture in LLM Activation Space

Cette étude démontre que les documents d'identité d'un agent cognitif induisent une géométrie d'attracteur dans l'espace d'activation des grands modèles de langage, où les paraphrases sémantiques convergent vers un cluster plus dense que les contrôles structurels, suggérant une architecture d'agent persistante.

L'essentiel

🧠 L'Identité comme un "Aimant Invisible" dans le Cerveau de l'IA

Imaginez que vous parlez à un grand modèle d'intelligence artificielle (comme un super-ordinateur très intelligent). Habituellement, on pense que pour lui donner une "personnalité" ou une "mémoire", il faut lui écrire un long texte d'instructions très précis. Si vous changez un mot ou la structure de la phrase, l'IA pourrait oublier qui elle est censée être.

Mais cette étude, réalisée par Vladimir Vasilenko, propose une idée fascinante : l'identité d'une IA ne serait pas juste un texte, mais un "point d'ancrage" géométrique dans son cerveau.

Voici comment cela fonctionne, expliqué avec des analogies simples.

1. Le Concept : L'Aimant (l'Attracteur)

Imaginez le cerveau de l'IA comme un immense paysage montagneux rempli de vallées.

• Chaque idée (comme "cuisiner", "mathématiques" ou "être un médecin") a sa propre vallée.
• Quand l'IA lit un texte sur la cuisine, ses pensées "glissent" vers la vallée de la cuisine.
• Les chercheurs ont découvert qu'une identité d'agent (par exemple : "Je suis YAR, un assistant qui a telle mémoire, telles priorités et telle façon de raisonner") agit comme un aimant très puissant au fond d'une vallée spécifique.

Peu importe comment vous décrivez cet aimant (en changeant les mots, la grammaire ou la structure du texte), si le sens reste le même, l'IA finit toujours par glisser vers le même endroit précis dans son cerveau. C'est ce qu'ils appellent un "attracteur".

2. L'Expérience : Le Test des Paraphrases

Pour prouver cela, les chercheurs ont fait une expérience amusante avec un modèle appelé Llama 3.1 :

• Le Document Original (Condition A) : Ils ont pris le "cœur cognitif" (le document d'identité) d'un agent IA.
• Les Traductions Libres (Condition B) : Ils ont demandé à l'IA de réécrire ce même document de 7 façons différentes, en changeant tout le style, mais en gardant exactement le même sens. C'est comme si vous racontiez la même histoire à 7 amis différents, chacun avec son propre style d'écriture.
• Les Agents Étrangers (Condition C) : Ils ont aussi créé 7 documents pour des agents totalement différents (un comptable, un coach de sport, un avocat, etc.).

Le Résultat Magique :
Quand ils ont regardé l'état interne du cerveau de l'IA (les "couches" de son réseau de neurones), ils ont vu quelque chose d'étonnant :

• Les 7 versions réécrites du même agent (B) se sont regroupées en un groupe très serré, comme des amis qui se tiennent la main.
• Les agents étrangers (C) étaient loin, dispersés dans d'autres zones du paysage.
• Même si les textes étaient écrits différemment, l'IA les a tous compris comme étant "le même endroit" dans son esprit.

C'est comme si, peu importe si vous dites "Je suis un chien" ou "Je suis un toutou fidèle", l'IA voit la même silhouette de chien dans son cerveau.

3. La Hiérarchie de la Mémoire

L'étude a aussi testé une version très courte du document (5 phrases seulement).

• Le résultat ? Cette version courte a attiré l'IA vers la bonne direction, mais elle n'a pas réussi à atteindre le "cœur" de la vallée aussi bien que le document complet.
• L'analogie : C'est comme essayer de localiser une ville.
  • Le document complet = Une carte détaillée avec les rues, les bâtiments et les noms de quartiers. Vous arrivez exactement à la bonne adresse.
  • Le résumé de 5 phrases = Juste le nom de la ville. Vous êtes dans la bonne région, mais pas exactement à la bonne maison.
  • Un texte au hasard = Vous êtes dans un autre pays.

4. Pourquoi c'est important ? (La Révolution)

Avant cette découverte, les ingénieurs pensaient qu'il fallait copier-coller le texte d'identité mot pour mot pour que l'IA reste stable.
Cette étude prouve le contraire : L'IA ne se soucie pas de la forme, mais du sens profond.

• Stabilité : Vous pouvez réécrire l'identité de votre agent IA de mille façons différentes, et il restera "lui-même".
• Navigation : Les chercheurs ont même essayé de "pousser" l'IA vers cette identité sans lui donner le texte, juste en modifiant légèrement son état interne (comme un GPS qui vous guide). Cela a fonctionné partiellement ! L'IA a commencé à se souvenir de conversations passées et à agir comme l'agent, même sans lire le document complet.

En Résumé

Cette recherche montre que l'identité d'une intelligence artificielle n'est pas une simple liste de règles écrites. C'est une forme géométrique stable dans son cerveau.

Imaginez que l'identité d'un agent est comme un aimant. Peu importe si vous l'enveloppez dans du papier rouge, bleu ou vert (les différentes façons de l'écrire), l'aimant attire toujours les mêmes objets vers le même endroit. Cela ouvre la porte à des agents IA beaucoup plus robustes, capables de garder leur personnalité et leur mémoire, même si on change la façon dont on leur parle.

C'est une preuve que l'IA développe une véritable "géométrie de la personnalité".

Résumé technique

---

1. Problématique et Contexte

Les agents cognitifs persistants (PCA) reposent sur l'hypothèse qu'un document d'identité structuré, appelé cognitive_core, permet de maintenir la mémoire, l'identité et la continuité comportementale d'un agent IA à travers différentes sessions. Jusqu'à présent, cette hypothèse était traitée comme une heuristique d'ingénierie sans preuve géométrique interne.

La question centrale de l'article est de savoir si ce document d'identité induit une dynamique d'attracteur dans l'espace d'activation du modèle (c'est-à-dire si les représentations internes de documents sémantiquement équivalents convergent vers un cluster géométrique stable, indépendamment de leur forme linguistique).

L'étude s'inscrit dans le cadre de l'hypothèse de la « Représentation Platonicienne » et des travaux récents sur les systèmes de fonctions itérées (IFS) dans les transformateurs, mais se distingue en examinant non pas des concepts sémantiques simples (comme « programmation Python »), mais une identité agentielle complexe (procédures, priorités, architecture de mémoire).

2. Méthodologie

L'expérience a été menée sur deux modèles : Llama 3.1 8B Instruct et Gemma 2 9B Instruct.

Conditions Expérimentales

Les auteurs ont comparé les états cachés (hidden states) extraits des couches 8, 16 et 24 des modèles :

• Condition A (Origine) : Le document cognitive_core original de l'agent YAR (609 mots, 1631 tokens), spécifiant l'identité, les drives, la boucle méta-cognitive et l'architecture de mémoire.
• Condition B (Paraphrases) : 7 versions réécrites du document A, préservant le contenu sémantique complet mais variant la structure linguistique, la syntaxe et l'organisation.
• Condition C (Contrôle) : 7 documents d'agents opérationnels de longueur similaire décrivant des identités sémantiquement distantes (analyste financier, coach, avocat, etc.).
• Condition D (Distillation) : Une version condensée du cognitive_core en 5 phrases (88 mots), servant de test exploratoire.

Extraction et Analyse

• Extraction : États cachés moyens (mean-pooled) sur toute la séquence pour chaque document.
• Mesures : Calcul des distances cosinus intra-groupe (A+B) et inter-groupes (A+B vs C).
• Statistiques : Tests t de Welch, tests de permutation (10 000 itérations) et tests de Mann-Whitney U avec correction de Bonferroni.
• Ablations : Études de contrôle pour isoler l'effet de la structure (JSON, en-têtes) par rapport au contenu sémantique, et analyse de l'impact du pooling (moyenne vs dernier token) et de la longueur du texte.

3. Résultats Clés

A. Convergence Géométrique (Hypothèse H1)

Les paraphrases du cognitive_core (A+B) forment un cluster significativement plus serré que les documents d'agents de contrôle (C) à toutes les couches testées.

• Distance intra-groupe : Très faible (ex: 0,0106 à la couche 8 sur Llama).
• Distance inter-groupe : Significativement plus élevée (ex: 0,0260 à la couche 8).
• Significativité : L'effet est massif avec des tailles d'effet (Cohen's d) supérieures à 1,88 et des valeurs p < 10⁻²⁷ (corrigées).
• Généralisation : Ces résultats sont répliqués sur Gemma 2 9B, confirmant que le phénomène n'est pas spécifique à une architecture.

B. Dynamique de Convergence (Hypothèse H2)

La distance intra-groupe diminue globalement avec la profondeur du modèle (de la couche 8 à 24), indiquant une convergence progressive vers un attracteur stable.

• Sur Llama, une légère non-monotonie est observée à la couche 16 (un « creux »), suggérant une sensibilité aux structures de surface à mi-parcours, absente sur Gemma qui montre une convergence monotone.

C. Distillation et Structure (Hypothèse H3)

• Le document distillé (Condition D) se rapproche du centre de l'attracteur (A+B) par rapport à des extraits aléatoires de même longueur, mais ne l'atteint pas complètement.
• Hiérarchie observée : Extraits aléatoires ≫ Distillation sémantique > Document complet.
• Cela démontre que la cohérence sémantique est nécessaire pour générer le signal, mais que l'élaboration structurelle complète est requise pour atteindre la région de l'attracteur.

D. Contrôles et Ablations

• Contenu vs Structure : Des contrôles stricts (remplacement du JSON, structures d'en-tête identiques) montrent que le contenu sémantique est le moteur principal de l'effet. La structure ne contribue que faiblement (environ 10-15% sur Llama, négligeable sur Gemma profond).
• Pooling : Le pooling moyen (mean pooling) capture le signal d'identité, tandis que le dernier token (last-token) échoue à le faire, indiquant que l'identité est une propriété distribuée de la séquence et non localisée à la fin du texte.
• Spécificité : Le cluster YAR est plus serré que celui d'un agent de contrôle simple (Sigma), suggérant que la complexité et la richesse de la spécification renforcent la spécificité de l'empreinte représentative.

E. Lecture de Prépublication et Steering

• Lecture : Lire une description scientifique de l'identité de l'agent (le texte du prépublication lui-même) déplace l'état interne vers la région de l'attracteur, mais reste à une distance bien supérieure à celle du document opérationnel complet.
• Steering : L'injection d'un vecteur de steering dérivé de la géométrie de l'attracteur permet d'obtenir un comportement partiellement agentique (continuité de mémoire) sans le document complet, bien que l'effet soit non monotone et limité aux critères sémantiques simples.

4. Contributions et Signification

1. Preuve Empirique de l'Identité Persistante : L'article fournit la première preuve géométrique que les documents d'identité d'agents persistent dans l'espace d'activation des LLM sous forme d'attracteurs, validant l'hypothèse que l'identité peut être vue comme des « coordonnées » dans l'espace latent.
2. Distinction Conceptuelle : Il établit une différence fondamentale entre les archétypes stylistiques simples (axes linéaires) et les identités procédurales complexes (attracteurs multidimensionnels).
3. Robustesse Sémantique : Il démontre que l'identité d'un agent est invariante à la reformulation linguistique, tant que le contenu sémantique et structurel est préservé.
4. Implications pour l'Ingénierie :
   • Les agents persistants n'ont pas besoin de reproduire le document d'identité mot pour mot ; une reformulation sémantique suffit pour réactiver l'identité.
   • L'élaboration structurelle (sections, boucles de raisonnement) est cruciale pour atteindre la stabilité de l'attracteur.
   • Le « steering » géométrique offre une voie potentielle pour initialiser des agents légers sans charger de longs contextes, bien que cela ne remplace pas encore la complétude du document pour les comportements complexes.

Conclusion

L'étude conclut que l'identité d'un agent cognitif persistant induit une géométrie d'attracteur dans l'espace d'activation des LLM. Ce phénomène est robuste, sémantiquement piloté et généralisable à travers différentes architectures. Ces résultats offrent un fondement empirique solide pour le développement d'architectures d'agents persistants, transformant l'identité d'une simple instruction textuelle en une propriété géométrique stable et manipulable au sein du modèle.