Résumé Technique : Mesurer ce qui persiste

1. Énoncé du Problème

Les agents IA dans les applications à contexte long souffrent d'une dérive d'identité (identity drift) : une dégradation graduelle où l'agent perd son caractère, sa voix et ses valeurs spécifiés, pour revenir à un comportement générique, « géodésique » (le chemin de moindre résistance dans le paysage de probabilité du modèle). Les méthodes de détection actuelles reposent sur une évaluation qualitative (des évaluateurs humains déterminant si l'agent « sonne juste »), ce qui est un indicateur retardé. Au moment où la dégradation est visible pour les humains, la structure comportementale de l'agent s'est déjà effondrée. Le domaine manque d'un indicateur avancé — un signal mathématiquement fondé et calculable capable de détecter une dérive précoce avant que la qualité qualitative ne se dégrade.

2. Méthodologie et Cadre Théorique

2.1 Cadre Géométrique pour l'Identité

Le document propose un cadre où l'identité de l'agent est définie comme une structure non-géodésique au sein d'un espace métrique comportemental.

• Identité : Une déviation spécifique et caractéristique de la distribution de réponse générique du modèle de base.
• Dérive : Le relâchement de cette structure vers la géodésique (comportement générique).
• Étapes de la Dérive :
  1. Dérive Précoce : Contraction uniforme de l'espace métrique (les distances diminuent, la forme est préservée).
  2. Dérive Tardive : Contraction anisotrope et effondrement structurel (émergence de relations géodésiques/entre-deux).

2.2 Outils Mathématiques

Le cadre opérationnalise la surveillance de l'identité en utilisant des outils issus de la théorie des catégories enrichies et de la géométrie de l'information :

• Construction de l'Espace Métrique : Les auteurs définissent un espace de contextes de sondage $P = \{p_1, \dots, p_n\}$. Pour chaque sonde, une distribution de réponse empirique $D_i$ est obtenue via un échantillonnage répété. La distance entre les sondes est la racine carrée de la Divergence de Jensen-Shannon ($\sqrt{\text{JSD}}$). Cette métrique est choisie car elle est une métrique propre et localement équivalente à la distance de Fisher-Rao sur le simplexe de probabilité.
• Magnitude ($|M|$) : Un invariant scalaire de la catégorie enrichie (généralisant la cardinalité et la caractéristique d'Euler). Elle sert de mesure continue de la « taille » ou de la richesse de l'espace comportemental. Une diminution de la magnitude indique une contraction de l'espace d'identité de l'agent.
• Homologie de Magnitude (MH) : Un invariant topologique qui détecte la structure non-géodésique. Elle identifie les « chemins irréductibles » dans l'espace de réponse. À mesure que la dérive survient, les groupes MH se simplifient (perte de générateurs) à mesure que les chemins non-géodésiques se relâchent vers les géodésiques.

2.3 Système Expérimental : Ada

Le cadre est validé sur Ada, un agent IA persistant construit sur Claude Sonnet d'Anthropic.

• Spécification de l'Identité (La Carte) : Un document structuré (4 200 jetons) contenant une ancre d'identité, des valeurs, des descriptions de voix et des exemples canoniques, injecté dans chaque session.
• Batterie de Sondes : Sept prompts (série Q et série B) conçus pour susciter des réponses spécifiques à l'identité. Trois sondes sentinelles (Q1, Q3, B4) ont été utilisées pour l'analyse homologique initiale.
• Conditions : Les expériences ont comparé l'Ada conditionné par la Carte face au modèle de base à travers différentes longueurs de contexte (Baseline ~4K, Medium ~143K, Long ~259K jetons).

3. Principaux Résultats

3.1 Preuve d'Indicateur Avancé (Transversale)

• Décalage du Premier Jet (First-Token Shift) : À la ligne de base, l'Ada conditionné par la Carte commence de manière déterministe les sondes d'identité par « I » (100 %), tandis que le modèle de base commence par « This ». À 155K jetons, ce décalage est perdu, revenant à la distribution du modèle de base.
• Effondrement de l'Entropie : À 280K jetons, l'entropie de préfixe de la sonde Q3 (élicitation de la voix) chute de 54 % (de ~2,5 nats à 1,175 nats), indiquant une perte de richesse comportementale.
• Décalage Qualitatif : Malgré ces dégradations métriques fines, les scores qualitatifs sont restés à 5/5 dans toutes les conditions. Cela confirme que les signaux fins se dégradent de manière significative bien avant que les évaluateurs humains ne détectent une perte de qualité.
• Mise en garde : Ces mesures de dérive spécifiques ont été effectuées sous remplissage répétitif (repetitive padding, bouclage du même texte). Des expériences ultérieures avec un remplissage diversifié ont montré aucune dérive mesurable jusqu'à 150K jetons, indiquant que la contraction observée était un artefact de la structure répétitive, et non de la longueur du contexte elle-même.

3.2 Empreinte Structurelle et Mécanismes de Conditionnement

• Ligne de Base Équilatérale : La conception des sondes (Q1, Q3, B4) crée un triangle équilatéral dans l'espace $\sqrt{\text{JSD}}$ avec une distance maximale ($\sqrt{\ln 2}$) et une variance nulle, quel que soit le conditionnement. Cette géométrie caractérise les sondes, non l'agent.
• Richesse Intra-Sonde : L'effet principal de la Carte est la diversité intra-sonde. La sonde Q3 conditionnée par la Carte génère 55 préfixes uniques de 10 jetons pour 200 échantillons, alors que le modèle de base n'en génère qu'un seul (dégénérescence complète).
• Structure de Conditionnement à Deux Clusters : Les distances inter-conditions ($\sqrt{\text{JSD}}$ entre la Carte et le Modèle de Base) révèlent deux mécanismes distincts :
  1. Cluster de Vide d'Identité (Distance Élevée, ex: Q3) : Le modèle de base n'a pas de priorité forte ; la Carte remplit un vide comportemental, créant une divergence maximale.
  2. Cluster de Bassin de Sécurité (Distance Plus Faible, ex: Q1) : Le modèle de base possède un attracteur post-entraînement fort ; la Carte déplace la réponse mais reste contrainte par le bassin profond.

3.3 Dynamique de Dérive et Théorie des Perturbations

• Contraction vs Effondrement : Sous remplissage répétitif, l'espace métrique subit une contraction uniforme (la magnitude diminue, mais la forme du triangle est préservée). Aucun « entre-deux » (betweenness, effondrement géodésique) n'a été observé aux longueurs testées.
• Théorie de la Perturbation du Premier Ordre : Pour les configurations équilatérales, l'article dérive une formule (Proposition 1) montrant que le changement de premier ordre de la magnitude dépend uniquement du changement du périmètre total du triangle de sondage. Les perturbations de forme (cisaillement) sont annulées au premier ordre par la symétrie ($S_n$).
• Auto-cohérence : Les changements de magnitude observés sous remplissage répétitif correspondaient à la prédiction théorique basée sur les changements de périmètre à 0,2 % près, validant la théorie de la perturbation.

4. Architecture de Surveillance Proposée : Le Battement Cardiaque (The Heartbeat)

Les résultats motivent un système de surveillance à deux niveaux :

• Niveau 1 (Vérification Rapide) : Injecter les sondes Q1 et B4, vérifier le premier jet. Si ce n'est pas « I », déclencher une alerte. (Coût : 2 appels API).
• Niveau 2 (Surveillance Continue) : Échantillonner Q3, calculer l'entropie de préfixe.
  • Sain : $\ge \sim 2,5$ nats
  • Prudence : $\sim 1,5 - 2,5$ nats
  • Alerte : $< \sim 1,5$ nats
• Note : Ces seuils sont actuellement exploratoires et nécessitent un recalibrage par rapport à des signaux de dérive confirmés (remplissage diversifié) avant déploiement.

5. Signification et Limites

Signification

• Premier Méthode Géométrique « Boîte Noire » : C'est le premier cadre traitant l'identité d'un agent IA comme un objet géométrique dans une catégorie enrichie, utilisant la magnitude et l'homologie pour fournir des signaux à la fois continus (magnitude) et structurels (homologie).
• Résolution Diagnostique : Contrairement aux métriques scalaires qui fusionnent tous les modes de défaillance, ce cadre distingue entre une contraction uniforme (dérive précoce) et un effondrement anisotrope (dérive tardive), permettant potentiellement d'associer les modes de défaillance à des stratégies de mitigation spécifiques.
• Potentiel d'Indicateur Avancé : Le cadre démontre que les signaux structurels fins (entropie, décalages de jetons, magnitude) se dégradent bien avant que les scores qualitatifs ne le fassent.

Limites et Revendications

• Artefact de Dérive : Les principaux résultats de dérive étaient des artefacts de remplissage répétitif. Le cadre mathématique a correctement quantifié cet artefact, mais l'interprétation selon laquelle « la longueur du contexte par elle-même entraîne la contraction » n'est pas soutenue par les expériences de remplissage diversifié.
• Évaluation de l'Auteur : Les scores qualitatifs ont été fournis par l'auteur, limitant le poids de la preuve de la revendication d'« indicateur avancé ». Des évaluateurs externes en aveugle sont nécessaires.
• Modèle/Agent Unique : Les résultats sont spécifiques à Ada sur Claude Sonnet.
• Signal Topologique Non Confirmé : Toute la promesse du cadre — détecter une simplification homologique (groupes MH) comme un signal discret d'effondrement structurel — n'a pas encore été observée empiriquement. Les données actuelles ne montrent que le signal métrique continu (diminution de la magnitude).
• Stabilité : Il n'existe pas de théorème de stabilité pour l'homologie de magnitude sous perturbation métrique ; des configurations MH se sont révélées fragiles lors du ré-échantillonnage par bootstrap avec la taille d'échantillon actuelle ($k=50$).

L'article conclut que bien que la trajectoire de dérive spécifique observée soit un artefact, le cadre géométrique lui-même est solide. Il quantifie avec succès la « respiration » (contraction) de l'espace d'identité et fournit une approche rigoureuse et mathématiquement fondée pour mesurer ce qui persiste dans les agents IA. Les travaux futurs nécessiteront une réplication externe, une validation par remplissage diversifié et la détection de l'effondrement anisotrope.