When Probing Accuracy Saturates, Fragility Resolves: A Complementary Metric for LLM Pre-Training Analysis

Résumé technique : « Lorsque la précision du sondage sature, la fragilité résout »

1. Le problème : La saturation de la précision du sondage

Le sondage linéaire standard est un protocole d'interprétabilité largement utilisé où un classificateur linéaire est entraîné sur des états cachés gelés pour prédire une propriété spécifique (ex. : sentiment, moralité, syntaxe). Si le classificateur atteint une précision élevée, la propriété est déclarée « encodée ».

L'article identifie un mode de défaillance critique dans ce protocole lorsqu'il est appliqué à la dynamique de pré-entraînement. Sur la trajectoire de l'OLMo-2 1B, la précision du sondage standard pour des propriétés comme la moralité sature dès les premières milliers d'étapes (atteignant environ 95 % de précision à l'étape 4K). Pour les 95 % restants de la trajectoire de l'entraînement (33K étapes), la métrique de précision reste plate. Par conséquent, l'instrument devient aveugle aux changements représentationnels continus qui se produisent au sein du modèle, rendant la vaste majorité du pré-entraînement « invisible » pour l'analyse standard.

2. Méthodologie : Introduction de la « Fragilité »

Pour récupérer la résolution perdue par la saturation, les auteurs introduisent la fragilité, une métrique complémentaire par couche.

• Définition : La fragilité est définie comme le niveau de bruit critique ($\sigma^*_\ell$) auquel la précision d'un sondage entraîné s'effondre en dessous d'un seuil spécifique (fixé à 0,6, soit le hasard + 0,1).
• Procédure :
  1. Entraîner un sondage linéaire standard sur des états cachés propres pour une couche $\ell$ spécifique.
  2. Injecter un bruit gaussien ($\epsilon \sim \mathcal{N}(0, \sigma^2 I)$) dans les activations de l'ensemble de test mises en cache.
  3. Réévaluer le sondage à travers un balayage logarithmique des échelles de bruit ($\sigma \in \{0,1 ; 0,3 ; 1,0 ; 3,0 ; 10,0\}$).
  4. Identifier le plus petit $\sigma$ où la précision chute en dessous du seuil.
• Interprétation :
  • $\sigma^*_\ell$ faible : La représentation est fragile ; la frontière de décision possède une marge étroite ou une faible redondance, provoquant l'effondrement de la précision sous de petites perturbations.
  • $\sigma^*_\ell$ élevé : La représentation est robuste ; la distinction est encodée avec une marge large et/ou une haute redondance.
• Portée : Cette métrique est appliquée aux mêmes sondes entraînées que celles utilisées pour les courbes de précision, ce qui en fait un complément direct qui suit la géométrie de la séparabilité et de la redondance, même après le plateau de la précision.

3. Contributions clés et configuration expérimentale

L'article valide cette méthodologie en utilisant les familles OLMo-2 1B (37 points de contrôle, échantillonnage dense de 1K étapes) et OLMo-3 7B (20 points de contrôle). Les auteurs emploient quatre jeux de données de paires minimales distincts pour sonder différentes capacités :

1. Moral Standard : Échanges de jetons uniques de lexèmes chargés moralement (ex. : « trahi » vs « salué »).
2. Sentiment : Échanges de jetons uniques d'adjectifs.
3. Syntaxe : Violations de la correction structurelle.
4. Moral Compositionnel (Nouvelle contribution) : Un nouveau jeu de données de 200 paires où la valence morale est déterminée par l'intégration de plusieurs jetons (ex. : « protéger » vs « humilier » dans des contextes spécifiques) plutôt que par un seul lexème fort. Ce jeu de données est rigoureusement validé pour garantir qu'il ne peut être résolu par de simples statistiques de sac de mots (nécessitant l'intégration multi-jetons).

4. Résultats clés

Résultat 1 : Un gradient lexical $\to$ compositionnel quantitatif
La précision du sondage standard suggère que l'encodage moral émerge à l'étape 1K. Cependant, les auteurs démontrent que cela mesure la séparabilité lexicale, et non le raisonnement compositionnel.

• Sonde Morale Standard : Début à l'étape 1K (échange de lexème unique).
• Sonde Morale Compositionnelle : Début à l'étape 5K (intégration multi-jetons).
• Gradient : L'émergence suit un ordre strict : détection morale lexicale (1K) $\to$ sentiment (2K) $\to$ encodage moral compositionnel (5K) $\to$ syntaxe (6K).
• Validation : La sonde compositionnelle se transfère à travers différents types de constructions (ex. : entraînée sur des paires de « motif », testée sur des paires de « rôle ») et surpasse significativement une ligne de base de type « sac de mots », confirmant qu'elle capture un véritable encodage compositionnel et non une simple recherche dans le vocabulaire.

Résultat 2 : La fragilité résout la structure là où la précision est plate
Alors que la précision moyenne du sondage plafonne à ~0,95 vers l'étape 4K et reste statique, la fragilité moyenne (bruit critique) continue d'évoluer jusqu'à l'étape 36K.

• Gradient de profondeur de couche : Un gradient monotone se développe où les couches tardives maintiennent une robustesse maximale (haut $\sigma^*$), tandis que les couches précoces deviennent progressivement plus fragiles (le bruit critique chute de 10,0 à 1,8).
• Réplication : Ce schéma est maintenu par le modèle OLMo-3 7B et est robuste à travers quatre graines aléatoires pour la sonde compositionnelle.
• Signification : Le modèle subit un raffinement représentationnel significatif (changement de robustesse et de redondance) bien après avoir été capable de simplement « classifier » les données correctement.

Résultat 3 : La curation de données remodèle la robustesse sans changer la précision
Les auteurs ont affiné le modèle OLMo-2 1B sur trois corpus appariés (Moral Narratif, Moral Déclaratif, Contrôle Général) en utilisant LoRA.

• Précision : Les trois conditions ont produit une précision de sondage maximale identique (~0,74–0,75).
• Fragilité : Les conditions ont produit des empreintes de fragilité distinctes.
  • Le Moral Déclaratif (« Voler est mal ») a entraîné une fragilité diffuse (10 couches sur 16 étaient fragiles ; $\sigma^* \text{ moyen} = 5,63$).
  • Les conditions Narratives/Générales étaient plus robustes ( $\sigma^* \text{ moyen} \approx 7,0$).
• Implication : La mémorisation de modèles syntaxiques crée des frontières de décision étroites et à faible marge qui s'effondrent sous le bruit, un changement structurel invisible pour les mesures de précision.

5. Signification et affirmations

L'article formule une revendication méthodologique plutôt qu'une revendication spécifique sur le domaine moral : la précision du sondage est une métrique plafonnée et seuillée qui échoue à capturer la dynamique une fois qu'une propriété est linéairement décodable.

• La thèse centrale : Dans chaque comparaison testée, là où la précision du sondage renvoie une réponse plate et non informative, la fragilité renvoie une réponse structurée et évolutive.
• Recadrage de l'émergence : L'article soutient que les affirmations d'« émergence » basées uniquement sur le début du sondage standard (ex. : « la moralité émerge à l'étape 1K ») sont souvent des artefacts de l'accessibilité lexicale. Les véritables capacités compositionnelles émergent plus tard et suivent une dynamique différente (graduelle plutôt que par paliers).
• Utilité : La fragilité sert de diagnostic nécessaire pour l'analyse du pré-entraînement, révélant l'évolution de la géométrie de la représentation (marge et redondance) que la précision standard occulte.

Les auteurs concluent que la fenêtre de pré-entraînement effectue un travail bien plus important que ne le révèlent les instruments d'interprétabilité standards, et qu'ajouter une lecture de la fragilité est essentiel pour récupérer cette résolution manquante.