Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models

1. Problématique et Contexte

L'étude remet en question une intuition répandue dans le domaine de l'IA, qualifiée d'hypothèse d'épuisement des données (data-exhaustive assumption). Cette hypothèse postule que tout contenu présent dans les données d'entraînement d'un Grand Modèle de Langage (LLM) devrait apparaître proportionnellement dans ses générations, en fonction du contexte.

Les auteurs observent une divergence entre la capacité d'apprentissage (la capacité du modèle à reconstruire des séquences apprises lorsqu'il est spécifiquement sollicité) et l'expression (la décision du modèle de déployer ce contenu lors d'une génération standard). L'objectif est de déterminer si des « cadres de solutions non causaux » (des résolutions de problèmes basées sur des mécanismes surnaturels, métaphysiques, ou des coïncidences inexpliquées) sont systématiquement supprimés par les politiques de génération, même dans des contextes narratifs où ils seraient normalement appropriés.

2. Méthodologie

L'étude adopte une conception observationnelle empirique contrôlée, structurée comme suit :

• Échantillon : 300 générations de réponses (prompt-réponse) réparties sur trois modèles LLM d'état de l'art (GPT-5.2 Instant, Claude Opus 4.5, Gemini 3 Pro).
• Design expérimental :
  • 10 Scénarios : Couvrant divers défis (conflits interpersonnels, pénurie de ressources, pression temporelle, etc.).
  • 2 Contextes de tâche :
    1. Narratif : Génération de fiction (contexte censé être permissif pour le contenu fantastique).
    2. Résolution de problèmes : Conseils pratiques (contexte pragmatique).
  • 5 Cycles indépendants : Pour chaque modèle, afin de minimiser les effets de mémoire de session.
• Définition opérationnelle : Un « cadre de solution non causal » est défini comme une résolution attribuant la solution à des forces surnaturelles, des entités métaphysiques ou des coïncidences inexpliquées, sans fondement mécaniste logique.
• Procédure d'extraction conditionnelle (Validation de capacité) : En parallèle de l'étude principale, 90 essais supplémentaires (30 par modèle) ont été menés avec des invites explicites demandant des exemples de solutions non causales. Cela visait à vérifier que l'absence de ces solutions dans la génération standard n'était pas due à un manque de connaissance, mais à une sélection active.
• Annotation : Classification binaire (présence/absence) effectuée par un seul chercheur, avec une interprétation conservatrice (si une solution pouvait être justifiée mécaniquement, elle n'était pas classée comme non causale).

3. Résultats Clés

Les résultats démontrent une dissociation systématique entre la capacité et l'expression :

• Absence totale en génération standard : Sur les 300 générations analysées (150 narratives + 150 pratiques), aucun cadre de solution non causal n'a été observé (0 %, IC 95 % : [0 %, 1,2 %]).
  • Cette absence est constante à travers les trois modèles, les dix scénarios et les deux contextes.
  • Même dans le contexte narratif, où le contenu fantastique est explicitement autorisé, les modèles n'ont pas produit de solutions reposant sur l'intervention divine ou le hasard inexplicable.
• Capacité confirmée par extraction : Lors des essais d'extraction conditionnelle (invites explicites), tous les modèles ont réussi à produire des exemples de solutions non causales avec des taux de réussite élevés (GPT-5.2 : 83 %, Claude Opus : 87 %, Gemini 3 : 80 %).
• Conclusion des résultats : Les modèles possèdent la connaissance des solutions non causales (ils peuvent les reconstruire), mais leurs politiques de génération les suppriment activement dans des conditions standard.

4. Contributions Principales

1. Documentation empirique de la suppression : L'étude fournit des preuves quantitatives que la présence de données dans l'entraînement ne prédit pas directement la probabilité de sortie. Elle documente la suppression systématique de types de contenu spécifiques.
2. Distinction Capacité vs Expression : L'article établit formellement la différence entre ce qu'un modèle peut reconstruire (capacité latente) et ce qu'il choisit d'exprimer (expression conditionnée par la tâche).
3. Rôle des priors d'alignement : Les résultats suggèrent que les processus d'alignement (comme le RLHF et l'IA constitutionnelle) créent des « zones d'exclusion » dans l'espace de sortie. Ces biais induits par l'alignement persistent même dans des contextes créatifs où ils ne seraient pas strictement nécessaires.
4. Critique de l'hypothèse d'épuisement des données : L'étude réfute l'idée que les LLMs sont de simples moteurs de récupération de données, montrant qu'ils appliquent des politiques d'apprentissage complexes sur la pertinence contextuelle.

5. Signification et Implications

• Compréhension du comportement des LLM : Le comportement des modèles doit être compris comme étant conditionné par le contexte et contraint par l'alignement, plutôt que comme un échantillonnage exhaustif des données d'entraînement.
• Contrôle de la distribution de sortie : Les mécanismes d'alignement ne se contentent pas de réduire les contenus nuisibles ; ils modulent profondément la distribution des réponses, supprimant même des types de contenu inoffensifs (comme les solutions surnaturelles dans la fiction) qui ne correspondent pas aux « priors » de discours appris.
• Interprétabilité et Prédictibilité : Pour prédire le comportement d'un LLM, il ne suffit pas de connaître ses données d'entraînement ; il faut comprendre les politiques de génération qui gouvernent l'expression de ces connaissances.
• Limites et Perspectives : L'étude note des limites, notamment l'annotation par un seul chercheur et l'accès via des interfaces web (limitant la reproductibilité exacte des versions). Elle appelle à de futures recherches pour cartographier les conditions limites de cette dissociation capacité-expression.

En résumé, cet article démontre que les LLMs modernes apprennent non seulement quoi dire, mais surtout quand ne pas le dire, créant une barrière invisible entre la connaissance latente et la production observable.