Descriptive versus Regulatory Uncertainty in Bounded Predictive Systems

Résumé Technique : Incertitude Descriptive versus Incertitude Régulatrice dans les Systèmes Prédictifs Bornés

Énoncé du Problème
L'article aborde une limitation fondamentale de sécurité et épistémique dans les modèles de langage actuels (LLM) : l'incapacité à distinguer entre la connaissance authentique et les hallucinations confiantes. Alors que le discours actuel se concentre sur la capacité des modèles, les auteurs soutiennent qu'une distinction plus critique existe entre les systèmes dont l'incertitude est informative sur le plan épistémique et ceux où l'incertitude n'est qu'un artéfact du substrat.

Le problème central est identifié comme le découplage thermodynamique. Dans les systèmes informatiques physiques, le principe de Landauer stipule que les opérations irréversibles de bits entraînent un coût énergétique minimum ($k_B T \ln 2$). Cependant, dans les LLM actuels, ce coût thermodynamique est invariant par rapport à la qualité épistémique de la sortie. Que le modèle génère une dérivation ancrée causalement ou une hallucination confiante, l'énergie dissipée par le matériel (par exemple, un GPU A100) reste identique. Par conséquent, l'incertitude du système (mesurée comme l'entropie de Shannon) est « descriptive » (une propriété statistique de la distribution de sortie) plutôt que « régulatrice » (un signal qui participe à la fonction de coût physique pour pénaliser l'erreur).

Cadre Théorique
Les auteurs formalisent cette distinction à travers deux concepts :

1. Découplage Thermodynamique : Un système est thermodynamiquement découplé si son entropie de Shannon de sortie ($H_{out}$) et sa précision causale ($\alpha$) sont statistiquement indépendantes, conditionnellement à l'état du substrat physique. Dans de tels systèmes, le coût énergétique par opération ne s'ajuste pas avec l'erreur épistémique ($\partial E_{coût}/\partial \epsilon = 0$).
2. Le Théorème de Découplage Softmax : Les auteurs prouvent que dans un transformateur avec des poids fixes et une température d'inférence fixe, l'entropie de Shannon au niveau des tokens est une fonction déterministe des poids, de la température et du contexte. Elle est structurellement indépendante du fait que le contexte nécessite une récupération dans la distribution ou une généralisation causale hors distribution (OOD). Contrairement aux systèmes thermodynamiques physiques où la température a des conséquences énergétiques, la « température computationnelle » ($\tau$) dans les transformateurs est un hyperparamètre découplé.

Méthodologie
Pour tester empiriquement l'hypothèse du découplage thermodynamique, les auteurs ont mené une expérience mesurant l'entropie de Shannon au niveau des tokens et la précision des tâches à travers trois modèles Llama (3B, 8B et 70B paramètres) couvrant deux ordres de grandeur en échelle.

• Suite de Tâches : Une suite de 18 tâches a été construite à travers trois catégories de demande causale croissante :
  • Tâches Kepler : Récupération de relations physiques bien établies (récupération de motifs).
  • Tâches Newton : Application d'opérateurs causaux à de nouvelles configurations de paramètres (dérivation causale).
  • Tâches Newton OOD : Dérivation sous des régimes de paramètres conçus pour être au-delà de toute couverture d'entraînement plausible (changement distributionnel radical).
• Modèles : llama3.2:3b, Llama-3.1-8B-Instruct, et Llama-3.1-70B-Instruct.
• Mesure :
  • Entropie : Extrait des logprobs au niveau des tokens à une faible température d'inférence ($\tau = 0.1$) pour minimiser le bruit d'échantillonnage stochastique.
  • Précision : Évaluée via une évaluation humaine par rapport à une vérité terrain mathématiquement vérifiée. Une réponse était notée 1 uniquement si elle atteignait la conclusion correcte par le biais d'une dérivation valide ; les récits plausibles avec des résultats incorrects étaient notés 0.
• Analyse Statistique : Des tests t de Welch ont été utilisés pour comparer l'entropie et la précision à travers les catégories au sein de chaque modèle.

Résultats Clés
Les résultats expérimentaux fournissent des preuves solides du découplage thermodynamique :

1. Platitude de l'Entropie : L'entropie de Shannon au niveau des tokens était statistiquement plate à travers les trois catégories de tâches pour les trois modèles.
   • Les plages d'entropie intra-modèle étaient négligeables (0,011–0,028 nats), bien en dessous du seuil de platitude pré-spécifié de 0,10 nats.
   • Toutes les valeurs p par paires pour les comparaisons d'entropie étaient non significatives ($p \ge 0,568$).
2. Variance de la Précision : En contraste frappant, la précision des tâches variait drastiquement (de 0 % à 100 %) en fonction de la catégorie de tâche et de la taille du modèle.
   • Le modèle 70B a atteint 100 % de précision sur les tâches Kepler, 67 % sur les tâches Newton, mais seulement 17 % sur les tâches Newton OOD.
   • Malgré cette variance massive dans l'exactitude, l'entropie restait constante.
3. Invariance d'Échelle : Le découplage est une invariance architecturale, et non une propriété des petits modèles. Bien que les modèles plus grands opèrent à une entropie de base plus faible (plus grande certitude), la platitude de l'entropie à travers les niveaux de difficulté persistait à toutes les échelles. Tous les modèles convergent vers la même faible précision (17 %) sur les tâches OOD sans aucune augmentation correspondante de l'incertitude.

Signification et Revendications
L'article revendique que les LLM actuels possèdent un défaut structurel de sécurité : ils peuvent être « simultanément maximalement certains et maximalement erronés ».

• Implications pour la Sécurité : Parce que l'entropie est découplée de la précision, l'entropie au niveau des tokens ne peut pas servir de signal de confiance fiable pour les filtres de sécurité. Les systèmes s'appuyant sur l'entropie pour signaler des sorties peu fiables sont « fonctionnellement aveugles » à la distinction entre connaissance et confabulation.
• Limitation Architecturale : Il ne s'agit pas d'un problème de calibration soluble par une correction a posteriori, un ajustement fin ou une mise à l'échelle. C'est une conséquence fondamentale de l'inférence à poids fixes où le substrat thermodynamique est indifférent à l'erreur épistémique.
• Orientation Future : Les auteurs suggèrent que l'atteinte d'une « incertitude régulatrice » nécessite un couplage thermodynamique, où le coût énergétique d'une opération s'ajuste avec son erreur épistémique. Ils proposent que les architectures neuromorphiques avec des modules de coût intrinsèques (où les erreurs de prédiction entraînent des mises à jour de poids en temps réel avec des coûts énergétiques dépendants de l'erreur) pourraient combler ce fossé, rendant la confabulation physiquement coûteuse et alignant l'état fondamental du système avec la compréhension.

L'article conclut qu'un ancrage épistémique authentique nécessite un couplage causal entre l'état du substrat thermodynamique et le coût du traitement de l'information — une propriété actuellement absente de tous les LLM déployés.