Architecture Determines Observability in Transformers

1. Énoncé du problème

Les modèles de langage larges (LLM) autoregressifs commettent fréquemment des erreurs confiantes — des cas où le modèle émet un token avec une probabilité softmax élevée (forte confiance) qui est néanmoins incorrecte. Les techniques de surveillance standard, qui reposent sur la confiance de la sortie (par exemple, la probabilité softmax maximale) ou sur des prédicteurs entraînés sur la couche finale, échouent à signaler ces erreurs.

Le papier postule que pour que la surveillance basée sur les activations réussisse, le modèle doit préserver un signal interne concernant la « qualité de décision par token » qui est distinct du signal de confiance de sortie et qui n'est pas entièrement récupérable par ce dernier. Cependant, il est incertain si ce signal est une propriété universelle des transformateurs ou s'il dépend de choix architecturaux spécifiques et de dynamiques d'entraînement. Le problème central est que les méthodes de sondage standard confondent souvent la « qualité de décision » avec la « confiance de sortie », conduisant à des estimations gonflées de la surveillabilité.

2. Méthodologie

Les auteurs proposent un cadre rigoureux pour isoler et mesurer la Surveillabilité, définie comme la lisibilité linéaire de la qualité de décision à partir des activations de couches intermédiaires figées, après contrôle de la confiance de sortie.

Définitions et métriques clés

• Surveillabilité ($\rho_{partial}$) : La corrélation de Spearman partielle entre une sonde linéaire sur les états cachés ($h^{(l)}$) et la perte d'entropie croisée par token ($\ell$), contrôlant pour deux facteurs de confusion :
  1. La probabilité softmax maximale ($\hat{p}_{max}$).
  2. La norme d'activation ($\|h\|$).
     Cela isole le signal « résiduelisé par la confiance ».
• Résidu contrôlé par la sortie ($r_{OC}$) : Une métrique plus stricte qui contrôle en outre un prédicteur de type Perceptron Multicouche (MLP) entraîné sur la représentation de la couche finale. Si $r_{OC} > 0$, le signal de la couche intermédiaire contient des informations sur la qualité de décision que la couche de sortie finale rejette ou ne parvient pas à exploiter.
• Effondrement de la surveillabilité : Un état où $\rho_{partial}$ chute jusqu'à un seuil de détection (environ $\le 0,15$) et où $r_{OC}$ s'approche de zéro, indiquant que l'architecture a échoué à préserver le signal d'erreur indépendant de la sortie.

Protocole expérimental

• Données : WikiText-103 pour l'entraînement des sondes ; tâches en aval (SQuAD, MedQA, TruthfulQA) pour la validation opérationnelle.
• Sondage : Une tête linéaire simple ($w^T h + b$) entraînée sur des activations figées pour prédire un objectif binaire : si la perte résiduelle ($\ell - \hat{\ell}$) est positive (c'est-à-dire que le modèle a plus tort que ne le suggère sa confiance).
• Contrôles : L'étude emploie des contrôles extensifs incluant des MLP non linéaires, des contrôles d'entropie des logits et des tests de mélange pour écarter les artefacts.
• Ensembles de données : 25 modèles répartis sur 6 familles (Pythia, GPT-2, QWEN 2.5, LLAMA, Mistral, Gemma, Phi-3).

3. Contributions clés

A. La « contamination par la confiance » des sondes

Le papier démontre que les sondes linéaires standard sont fortement contaminées par la confiance de sortie. Sur 13 modèles, le contrôle de la probabilité softmax maximale et de la norme d'activation absorbe 57,7 % du signal brut de la sonde. Cela implique que les études précédentes affirmant avoir trouvé des « signaux de raisonnement » dans les états cachés n'ont peut-être fait que détecter les niveaux de confiance du modèle lui-même.

B. La configuration architecturale détermine la surveillabilité

La découverte la plus significative est que la surveillabilité n'est pas une propriété générique des transformateurs ; elle est déterminée par des configurations architecturales spécifiques et des recettes d'entraînement.

• Le phénomène d'effondrement : Dans la suite Pythia (entraînement contrôlé), les modèles de la classe de configuration (24 couches, 16 têtes) s'effondrent systématiquement vers $\rho_{partial} \approx 0,10$, indépendamment du nombre de paramètres (de 410 M à 1,4 Md) ou de la variante de l'ensemble de données (Pile vs Pile dédupliqué).
• Bande saine : D'autres configurations (par exemple 16L/8H, 32L/32H) maintiennent une plage de signal « saine » de $\rho_{partial} \in [0,21 ; 0,38]$.
• LLAMA vs QWEN : À échelle comparable (3 Md de paramètres), QWEN 2.5 préserve une forte surveillabilité ($\rho_{partial} \approx 0,26$), tandis que LLAMA 3.2 s'effondre ($\rho_{partial} \approx 0,09$). Les distributions des graines de sondage ne se chevauchent pas, indiquant une différence architecturale fondamentale.

C. Effondrement émergent de l'entraînement

Par une analyse des points de contrôle de Pythia 1 Md (sain) vs Pythia 1,4 Md (effondré), les auteurs montrent que les deux configurations forment initialement le signal au début de l'entraînement. Cependant, au milieu de l'entraînement, l'architecture (24L, 16H) efface ce signal tandis que la perte prédictive (perplexité) continue de s'améliorer. La configuration saine récupère et conserve le signal. Cela prouve que l'effondrement est le résultat d'une interaction entre les dynamiques d'entraînement et l'architecture, et non d'une incapacité statique de l'architecture à représenter le signal.

D. Utilité opérationnelle (Détection exclusive)

L'étude valide l'utilité pratique de ces sondes sur des tâches en aval (QA, Médical, Véracité).

• Taux de détection exclusive : À un taux d'alerte de 20 %, l'observateur détecte 10,9 %–13,4 % des erreurs que la surveillance par la confiance manque.
• Transférabilité : Les sondes entraînées sur WikiText se transfèrent aux tâches en aval sans réentraînement spécifique à la tâche, détectant des réponses « confiantes mais fausses » dans les QA médicaux et la compréhension de lecture.
• Limite : L'observateur ne détecte pas les « hallucinations fluides » (TruthfulQA) où le modèle affirme confiantement un mensonge ; il détecte spécifiquement les échecs de prédiction au niveau du token où l'état interne contredit la confiance de sortie.

4. Résultats clés

• Non-linéarité : Les sondes non linéaires (MLP) ne récupèrent pas le signal dans les configurations effondrées, prouvant que la perte est représentative et non une limitation des lectures linéaires.
• Indépendance de l'échelle : Au sein d'une famille saine (par exemple QWEN 2.5), la surveillabilité est stable sur une plage de paramètres de 28x (de 0,5 Md à 14 Md).
• Dépendance à la recette : La configuration spécifique qui s'effondre dépend de la recette d'entraînement (par exemple, Pythia s'effondre à 24L/16H ; LLAMA s'effondre à 28L/24H).

5. Signification et implications

1. Sélection d'architecture comme décision de surveillance : Le papier soutient que choisir une architecture de modèle n'est pas seulement une décision de performance, mais une décision de surveillabilité. Si une configuration spécifique (comme LLAMA 3 Md ou Pythia 24L/16H) est choisie, la surveillance basée sur les activations pour les erreurs confiantes devient impossible, quelle que soit la sophistication de l'outil de surveillance.
2. Redéfinition de la validité du sondage : L'étude établit que les futures recherches sur le sondage ciblant la qualité de décision doivent contrôler la confiance de sortie. Sans ces contrôles, les résultats surestiment probablement le signal « indépendant de la sortie » d'un facteur de 2 à 3.
3. Dynamiques d'entraînement : La découverte que l'entraînement efface activement un signal initialement présent suggère que préserver la surveillabilité est un problème d'optimisation non trivial. Les objectifs d'entraînement actuels (minimisation de la perte) peuvent involontairement détruire les signaux internes nécessaires à la surveillance de la sécurité.
4. Surveillance complémentaire : L'observateur fournit un signal complémentaire à la confiance de sortie. Alors que les moniteurs de confiance détectent les erreurs « incertaines », les moniteurs d'activation détectent les erreurs « confiantes mais fausses ». Cependant, cette capacité est limitée par la capacité de l'architecture à préserver le signal.

Conclusion :
Le papier conclut que l'architecture détermine la surveillabilité. La capacité d'un modèle à être surveillé pour des erreurs confiantes est une propriété en amont déterminée par l'interaction de sa configuration et de sa recette d'entraînement. Une fois qu'un modèle est entraîné dans une configuration « effondrée », aucune conception de sonde a posteriori ne peut récupérer le signal perdu. Par conséquent, assurer la surveillabilité nécessite de sélectionner des architectures et des recettes d'entraînement qui préservent ces signaux internes, indépendants de la confiance.