💬 NLP

Cross-Entropy Is Load-Bearing: A Pre-Registered Scope Test of the K-Way Energy Probe on Bidirectional Predictive Coding

Cette étude pré-enregistrée démontre que la fonction de perte par entropie croisée est un composant empirique déterminant de la réduction du sondeur d'énergie K-way à une fonction monotone de la marge log-softmax, car son remplacement par une erreur quadratique moyenne ou l'utilisation d'un codage prédictif bidirectionnel altère significativement cette relation à l'échelle du CIFAR-10.

Auteurs originaux : Jon-Paul Cacioli

Publié 2026-04-24

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jon-Paul Cacioli

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Titre : "La Croix-Entropy est le Pilier Invisible"

Imaginez que vous essayez de comprendre comment un cerveau artificiel (un réseau de neurones) prend des décisions et, surtout, comment il sait à quel point il a raison.

Les chercheurs ont découvert un mystère : sur certains réseaux, une méthode très sophistiquée pour mesurer la confiance (appelée "sonde énergétique") semblait toujours moins bonne qu'une méthode très simple (le "softmax"). Pourquoi ?

Cette étude a joué au détective pour trouver le coupable. Et le coupable, ce n'est pas la complexité du réseau, mais une recette d'entraînement spécifique appelée Cross-Entropy (CE).

🕵️‍♂️ L'Enquête : Trois Scénarios

Pour résoudre l'énigme, les chercheurs ont entraîné trois versions d'un même petit cerveau artificiel (un modèle de 2 millions de paramètres) sur un jeu de cartes d'images (CIFAR-10). Voici les trois équipes :

L'Équipe Standard (Le Baseline) : Entraînée avec la recette classique (Cross-Entropy). C'est la référence.
L'Équipe "Sans CE" (MSE) : Entraînée exactement pareil, mais on a remplacé la recette Cross-Entropy par une autre plus simple (MSE).
L'Équipe "Bidirectionnelle" (bPC) : Une version très complexe où l'information circule dans les deux sens (comme une conversation, pas juste une lecture), sans utiliser la recette Cross-Entropy.

Le but : Voir si la méthode sophistiquée (la sonde) peut enfin battre la méthode simple (le softmax).

🎭 Les Analogies pour Comprendre

1. Le Problème du "Cri de Guerre" (L'effet Cross-Entropy)

Imaginez que vous avez deux étudiants qui passent un examen.

L'étudiant A (Cross-Entropy) a été entraîné à crier très fort quand il est sûr de lui. Ses réponses sont des hurlements : "C'est la réponse 1 ! C'est LA réponse !" (Même s'il se trompe, il crie très fort).
L'étudiant B (Sans CE) parle d'une voix normale, calme et mesurée.

La méthode de mesure simple (le softmax) est comme un juge qui écoute le volume de la voix. Comme l'étudiant A crie très fort, le juge pense qu'il a très confiance en lui, même si ses cris sont exagérés.
La méthode sophistiquée (la sonde), elle, écoute le contenu réel de la pensée. Elle ne se laisse pas impressionner par le volume.

Le résultat : Sur l'étudiant A, le juge (softmax) gagne car il est trompé par le volume. Sur l'étudiant B, la sonde sophistiquée gagne car les voix sont calmes et comparables.

2. Le Thermomètre de la Confiance (L'ablation de température)

Les chercheurs ont eu une idée brillante : et si on "refroidissait" les cris de l'étudiant A ?
Ils ont appliqué un "filtre de température" (comme baisser le volume d'un haut-parleur) pour que les cris de l'étudiant A aient le même volume que les paroles normales de l'étudiant B.

Ce qu'ils ont découvert :

66% du problème venait simplement du fait que l'étudiant A criait trop fort (l'inflation des logits). Une fois le volume baissé, l'écart de performance a diminué des deux tiers.
34% du problème restait. Cela signifie que même avec un volume égal, l'étudiant A (entraîné avec Cross-Entropy) avait une voix légèrement plus juste et mieux calibrée que la sonde sophistiquée.

📊 Les Résultats Clés (En termes simples)

Le Mythe du Mouvement Bidirectionnel :
Les chercheurs pensaient que la version "Bidirectionnelle" (l'équipe 3) gagnerait parce qu'elle réfléchit plus (elle bouge ses neurones dans les deux sens).
- La réalité : Non. À cette échelle, cette équipe ne bougeait pas beaucoup plus que les autres. La complexité de l'architecture n'était pas la clé.
Le Coupable est la Recette (Cross-Entropy) :
Dès qu'on enlève la recette Cross-Entropy (que ce soit avec l'équipe 2 ou 3), la sonde sophistiquée rattrape son retard et finit par battre ou égaler la méthode simple.
- Conclusion : Ce n'est pas la structure du cerveau qui pose problème, c'est la façon dont on l'entraîne (la recette CE) qui fausse les mesures.
La Preuve du Volume (Logits) :
Les modèles entraînés avec Cross-Entropy produisent des "nombres de confiance" (logits) 15 fois plus gros que les autres. C'est comme si un élève notait sa confiance sur 100 alors que les autres notent sur 10. Bien sûr, le premier semble plus confiant !

💡 La Conclusion pour Tout le Monde

Cette étude nous apprend deux choses importantes :

Ne jugez pas un livre à sa couverture (ou un modèle à son volume) : Quand on compare des méthodes pour mesurer la confiance d'une IA, il faut faire attention à ce que l'IA a appris à faire. Si elle a été entraînée à "crier fort" (Cross-Entropy), les méthodes simples qui écoutent le volume vont toujours gagner, faussant le résultat.
La recette compte plus que l'architecture : Pour que les méthodes de mesure les plus avancées fonctionnent bien, il faut parfois changer la façon dont on entraîne le modèle, pas seulement changer la forme du modèle.

En résumé : La "Cross-Entropy" est comme un amplificateur de voix qui rend les méthodes simples artificiellement performantes. Une fois l'amplificateur éteint, les méthodes complexes (les sondes énergétiques) peuvent enfin montrer leur vrai talent.

1. Problématique et Contexte

L'étude vise à tester la validité et la portée d'une décomposition théorique proposée précédemment par Cacioli [2026]. Cette décomposition suggérait que, sur les réseaux de codage prédictif discriminatif standard (PC), le « K-way energy probe » (une sonde basée sur l'énergie générative) se comporte approximativement comme une fonction monotone de la marge log-softmax, se situant systématiquement en dessous de la performance de la baseline softmax.

Cette décomposition repose sur cinq hypothèses clés, dont deux sont au cœur de cette étude :

Hypothèse A1 : L'utilisation de la fonction de perte Cross-Entropy (CE) à la sortie du réseau.
Hypothèse A3 : Des dynamiques d'inférence essentiellement feedforward (unidirectionnelles).

La question centrale est de savoir si la Cross-Entropy est un composant « porteur de charge » (load-bearing) essentiel pour que cette décomposition (et donc le sous-performance de la sonde par rapport au softmax) soit vraie. L'étude cherche à déterminer si le remplacement de la CE par une erreur quadratique moyenne (MSE) ou l'introduction de dynamiques bidirectionnelles (bPC) modifie fondamentalement ce résultat.

2. Méthodologie

L'étude est une expérience pré-enregistrée (sur l'Open Science Framework) menée sur 10 graines aléatoires (seeds) avec un arrière-plan architectural identique (TinyConv, ~2,1 millions de paramètres) sur le jeu de données CIFAR-10.

Trois conditions expérimentales ont été comparées :

Condition A (stdPC-CE) : Codage prédictif discriminatif standard avec perte Cross-Entropy (réplication de la baseline).
Condition B (stdPC-MSE) : Codage prédictif standard où la CE est remplacée par une perte MSE (isolement de l'hypothèse A1, conservation des dynamiques feedforward).
Condition C (bPC) : Codage prédictif bidirectionnel (Oliviers et al., 2025) utilisant une énergie MSE bidirectionnelle sans CE (violation simultanée de A1, A3 et altération de A5).

Mesures principales :

Sonde K-way Energy : Clamp des classes candidates, inférence jusqu'à convergence, mesure de l'énergie totale. La marge de confiance est $E^{(2)} - E^{(1)}$ .
Baseline Softmax : Lecture directe des logits feedforward sans boucle d'inférence.
Métrique d'évaluation : $\Delta = \text{AUROC}_2^{\text{probe}} - \text{AUROC}_2^{\text{softmax}}$ $Δ = AUROC_{2}^{probe} - AUROC_{2}^{softmax}$ .
- L'AUROC2 (Type-2) mesure la capacité de la sonde à discriminer les prédictions correctes des incorrectes (métacognition).
- Un $\Delta < 0$ indique que la sonde est inférieure au softmax.

3. Résultats Clés

A. Replication et Échec de la Manipulation Dynamique (H3)

La réplication de Cacioli [2026] est confirmée pour la condition standard (stdPC-CE) : la sonde est significativement inférieure au softmax ( $\Delta = -0.082$ , $p < 10^{-6}$ ).
Échec de l'hypothèse H3 : La condition bPC n'a pas produit de mouvement latent significativement supérieur à la condition standard (ratio 1,6 vs le seuil pré-enregistré de 10). La dynamique bidirectionnelle n'était pas fonctionnellement manifeste à cette échelle. Par conséquent, les résultats de bPC ne peuvent pas être attribués à l'inférence bidirectionnelle, mais plutôt à l'absence de CE.

B. Impact du Remplacement de la Cross-Entropy (A1)

Condition stdPC-MSE : Le remplacement de la CE par la MSE réduit considérablement l'écart entre la sonde et le softmax ( $\Delta = -0.037$ ). L'écart est réduit de 54 % par rapport à la condition CE.
Condition bPC : La sonde dépasse légèrement le softmax ( $\Delta = +0.008$ ).
Conclusion partielle : Le gradient observé (CE $\to$ MSE $\to$ bPC) montre que le simple retrait de la CE (Condition B) suffit à améliorer la performance relative de la sonde, suggérant que la CE est le facteur déterminant.

C. Le Mécanisme de l'Échelle des Logits (Logit Scale)

Une analyse approfondie révèle que l'entraînement avec CE produit des normes de logits environ 15 fois plus grandes (moyenne ~~11,5) que les modèles MSE ou bPC (~~0,78).

Les grandes normes de logits avec CE entraînent une distribution softmax très « pointue » (sharp), ce qui favorise artificiellement l'AUROC2 du softmax.
La sonde énergétique, basée sur les erreurs de prédiction dans la chaîne générative, n'est pas directement affectée par cette échelle de logits.

D. Ablation par Mise à l'Échelle de Température (Post-hoc)

Pour isoler l'effet de l'échelle, les auteurs ont appliqué un scaling de température ( $T \approx 15$ ) aux logits des modèles CE pour faire correspondre leurs normes à celles des modèles MSE.

Résultat : Ce scaling réduit l'écart initial de 66 % (de -0,080 à -0,027).
Interprétation :
- 66 % de l'écart est dû à l'inflation de l'échelle des logits (effet réversible par le scaling).
- 34 % de l'écart persiste et représente un avantage de classement (ranking) intrinsèque et invariant à l'échelle, dû au fait que la CE est une règle de score propre qui optimise directement la probabilité log de la classe correcte.

4. Contributions Principales

Identification du rôle de la Cross-Entropy : L'étude démontre que la Cross-Entropy est le composant « load-bearing » principal de la décomposition théorique. Sans elle, la sonde énergétique n'est plus systématiquement inférieure au softmax.
Décomposition de l'écart de performance : L'écart entre la sonde énergétique et le softmax n'est pas monolithique. Il est composé d'une part majeure (66 %) due à un artefact d'échelle des logits induit par l'entraînement CE, et d'une part résiduelle (34 %) due à une meilleure corrélation entre l'ordre des logits CE et la vérité terrain.
Clarification sur les dynamiques bidirectionnelles : À l'échelle testée (TinyConv), les dynamiques bidirectionnelles (bPC) n'ont pas produit l'effet escompté de mouvement latent accru. Le succès de la sonde sur bPC est donc attribué à l'absence de CE, et non à la complexité de l'inférence bidirectionnelle.
Recommandation méthodologique : Pour évaluer équitablement les sondes de confiance sur des réseaux entraînés avec CE, il est suggéré d'utiliser une baseline softmax mise à l'échelle par température plutôt que le softmax brut, afin de neutraliser l'avantage artificiel lié à l'inflation des logits.

5. Signification et Limites

Signification :
Ce travail remet en question l'interprétation selon laquelle les sondes structurelles (basées sur l'énergie) sont fondamentalement limitées par rapport aux sondes de sortie (softmax) dans les réseaux de codage prédictif. L'étude suggère que la limitation observée précédemment est un artefact de l'entraînement avec Cross-Entropy et de la manière dont celle-ci influence l'échelle des logits, plutôt qu'une limitation inhérente à la nature des sondes énergétiques. Cela ouvre la voie à une réévaluation des mécanismes de métacognition dans les réseaux neuronaux.

Limites :

Échelle de l'architecture : Les résultats sont limités à une architecture relativement petite (TinyConv, 2,1M paramètres) et un jeu de données simple (CIFAR-10).
Échec de la manipulation dynamique : L'hypothèse selon laquelle les dynamiques bidirectionnelles augmentent le mouvement latent n'a pas été confirmée à cette échelle. Les résultats sur bPC doivent donc être interprétés comme un test de l'absence de CE, et non comme une preuve de la supériorité des dynamiques bidirectionnelles.
Nature de l'ablation : La décomposition en 66 % (échelle) et 34 % (classement) est une approximation empirique et non une séparation causale stricte.

En conclusion, l'article démontre que « Cross-Entropy Is Load-Bearing » : c'est la fonction de perte CE, et non la structure du réseau ou les dynamiques d'inférence, qui dicte la performance relative des sondes énergétiques par rapport au softmax dans ce contexte spécifique.