Résumé technique : Convergence sans compréhension

Énoncé du problème

L'Hypothèse de la Représentation Platonicienne (PRH) postule que les grands modèles de langage (LLM) entraînés sur des objectifs et des architectures divers convergent vers un modèle statistique partagé de la réalité, développant des représentations internes de plus en plus similaires à mesure qu'ils évoluent. Bien que des preuves empiriques soutiennent une convergence représentative grâce à des métriques de similarité agrégées comme l'alignement du noyau centré (CKA), il reste à vérifier si cette convergence s'étend aux processus de raisonnement qui opèrent sur ces représentations. Les métriques de similarité existantes échouent souvent à conditionner ce que les modèles font avec les représentations, risquant de confondre des contraintes partagées de traitement d'entrée avec des stratégies de raisonnement partagées. Cet article examine le phénomène de « convergence sans compréhension » : les modèles s'accordent-ils sur les représentations tout en étant en désaccord sur le raisonnement causal menant aux prédictions ?

Méthodologie

L'étude évalue 16 modèles de langage ajustés par instruction couvrant 8 familles d'architectures (allant de 1,5 à 72 milliards de paramètres) sur 800 problèmes de raisonnement répartis sur quatre domaines : mathématiques (GSM8K), sciences (ARC-Challenge), véracité (TruthfulQA) et bon sens (HellaSwag).

La méthodologie emploie une analyse stratifiée selon trois axes précédemment non examinés conjointement :

1. Difficulté du problème : Stratification des problèmes par la fraction de modèles les résolvant (Difficile : 0–4/14 corrects ; Moyen : 5–9 ; Facile : 10–14).
2. Étape computationnelle : Découpage des couches du modèle en étapes pré-décision (encodage de l'entrée) et post-décision (génération de la sortie), définies par la couche où une sonde de justesse dépasse pour la première fois la précision aléatoire.
3. Pertinence causale : Distinction entre l'information simplement encodée dans des représentations partagées et l'information qui entraîne causalement les prédictions.

Métriques et techniques clés :

• Alignement du noyau centré (CKA) : La métrique principale de similarité représentative linéaire, calculée sur les activations centrées en moyenne au dernier jeton d'entrée.
• Plus proches voisins mutuels (MNN) : Utilisés comme complément topologique pour valider les résultats du CKA.
• Sondes de transfert : Sondes linéaires entraînées sur les représentations d'un modèle pour prédire la justesse, puis évaluées sur d'autres modèles pour tester la transférabilité de l'information.
• Ablation causale : Projections des activations sur le complément orthogonal du sous-espace prédictif de justesse pour mesurer les « taux de basculement » (changements de prédictions).
• Entropie de l'attention : Analyse de l'entropie de Shannon dans les poids de l'attention pour expliquer les mécanismes sous-jacents aux schémas de convergence.

Contributions et résultats clés

1. Inversion de la difficulté

Contrairement à la PRH, qui prédit une convergence maximale là où les modèles représentent avec succès la réalité, l'étude révèle une inversion de la difficulté : les modèles sont plus similaires sur le plan des représentations sur les problèmes qu'ils échouent collectivement à résoudre que sur ceux qu'ils résolvent.

• Problèmes difficiles (0–4 corrects) : CKA moyen = 0,897.
• Problèmes faciles (10–14 corrects) : CKA moyen = 0,830.
• Mécanisme : Cette inversion est pilotée par l'entropie de l'attention. Les problèmes difficiles induisent des schémas d'attention diffus et à haute entropie qui homogénéisent les représentations entre architectures, tandis que les problèmes solubles permettent des stratégies focalisées et spécifiques au modèle.
• Spécificité du domaine : L'inversion s'observe pour le raisonnement scientifique, la véracité et le bon sens, mais s'inverse pour les mathématiques (GSM8K), où les contraintes algorithmiques forcent les modèles réussissants vers des stratégies similaires.

2. Le fossé de génération

La convergence représentative est principalement une propriété de l'encodage d'entrée, et non du calcul de sortie.

• Couches pré-décision : Forte convergence (CKA = 0,875).
• Couches post-décision : Divergence significative (CKA = 0,274).
• Implication : Les modèles s'accordent sur la façon d'encoder les entrées mais divergent fondamentalement sur la façon de générer les sorties. Cela explique pourquoi l'assemblage de modèles (model stitching) réussit dans les premières couches mais se dégrade dans les couches tardives.

3. Justesse épiphénoménale

Les représentations partagées encodent des informations pertinentes pour la tâche mais ne les déploient pas causalement pour la prédiction.

• Précision de transfert : Une sonde entraînée sur un modèle atteint 66 % de précision sur un autre, confirmant un encodage partagé.
• Taux de basculement causal : L'ablation du sous-espace partagé de justesse ne modifie que 1,5 % des prédictions (montant à 5,5 % sur des sous-ensembles plus faciles).
• Conclusion : L'information de justesse est présente dans l'espace de représentation partagé mais est largement épiphénoménale par rapport au processus de raisonnement réel.

4. Lignes de base et mécanismes

• Architectural vs. Appris : Les modèles initialisés aléatoirement (non entraînés) présentent un CKA plus élevé (0,864) que les modèles entraînés (0,612), indiquant qu'une composante substantielle de la convergence observée est architecturale plutôt qu'apprise. L'entraînement différencie activement les représentations.
• Modèles de base : L'inversion de la difficulté est plus forte dans les modèles de base (non ajustés par instruction), écartant l'entraînement d'alignement comme source.
• Causalité au niveau des têtes : Bien que l'ablation globale montre de faibles taux de basculement, l'ablation de têtes d'attention individuelles révèle une importance causale plus élevée (jusqu'à 63 % dans les modèles MHA), suggérant que le CKA global masque des différences architecturales dans la granularité computationnelle.

Importance et affirmations

L'article soutient que la convergence représentative dans les LLM reflète des contraintes partagées de traitement d'entrée (pilotées par les statistiques du langage naturel et les biais inductifs des transformeurs) plutôt que des stratégies de raisonnement partagées.

• Réinterprétation de la PRH : La PRH identifie correctement la convergence dans les représentations perceptuelles (encodage d'entrée) mais échoue à rendre compte de la divergence dans les processus computationnels (raisonnement et génération de sortie). L'apprentissage différencie activement les modèles à partir d'un point de départ architectural partagé.
• Conception d'ensembles : Sélectionner des modèles pour des ensembles basés sur une dissimilarité représentative (faible CKA) est sous-optimal. Puisque les modèles sont le plus diversifiés comportementalement sur les problèmes qu'ils résolvent (où le CKA est faible) et les plus redondants sur les problèmes qu'ils échouent à résoudre (où le CKA est élevé), les ensembles devraient cibler la diversité de raisonnement et la diversité comportementale au niveau de la sortie.
• Transfert d'interprétabilité : Les résultats d'interprétabilité mécaniste concernant le traitement d'entrée (par exemple, les têtes d'induction) sont susceptibles de se généraliser à travers les architectures en raison du CKA élevé en pré-décision. Cependant, les résultats concernant les circuits de raisonnement dans les couches tardives sont peu susceptibles de se transférer en raison du fossé de génération et des dépendances architecturales (par exemple, les différences MHA vs GQA invisibles au CKA global).
• Implications pour la sécurité : L'hypothèse selon laquelle la convergence des modèles implique une convergence vers des représentations véridiques n'est pas étayée. La convergence peut refléter des modes d'échec partagés plutôt qu'une vérité partagée, nécessitant de la prudence dans les évaluations de sécurité qui s'appuient sur la similarité représentative comme proxy de la fiabilité.

L'étude conclut que des modèles de langage divers convergent vers une représentation perceptuelle partagée des entrées mais maintiennent des processus cognitifs divergents pour le raisonnement, remettant en question l'idée qu'une forte similarité représentative équivaut à une compréhension partagée.