Integrating Out, Twice:The Open-System Case That Neural-Network Ensemble Theory Is Missing

Cet article établit un cadre théorique comparant les ensembles de réseaux de neurones à système fermé avec des analogues à système ouvert issus de la théorie des réactions nucléaires, concluant finalement que la dynamique non hermitienne distinctive de ces derniers est structurellement absente de l'apprentissage conventionnel en raison de l'absence de spectres continus et de comportement ondulatoire, localisant ainsi la véritable source de l'incertitude opérationnelle au sein de la correspondance de système fermé.

L'essentiel

L'idée principale : Deux façons d'ignorer les choses

Imaginez que vous essayez de comprendre un système complexe, comme une pièce bondée ou un réseau de neurones (un type d'IA). Parfois, vous ne pouvez pas suivre chaque personne ou chaque nombre. Vous devez décider d'ignorer une partie du système pour vous concentrer sur la partie qui vous intéresse.

En physique et en mathématiques, cet acte d'« ignorer » ou d'« intégrer par intégration » une partie d'un système est un mouvement standard. L'auteur, Jin Lei, soutient qu'il existe deux manières très différentes de le faire, et bien que les chercheurs en IA utilisent principalement l'une d'entre elles, les physiciens nucléaires ont maîtrisé l'autre.

1. La voie « Fermée » (Ce que fait l'IA)

L'analogie : Imaginez que vous prenez une photo d'un groupe d'amis, mais que vous décidez de flouter l'arrière-plan.

• Ce qui se passe : Vous perdez les détails de l'arrière-plan, mais la photo de vos amis reste parfaitement claire et « entière ». Le flou ne vole aucune lumière ou énergie à vos amis ; il supprime simplement les données de l'arrière-plan.
• En IA : Lorsque les chercheurs en IA font la moyenne de nombres aléatoires (paramètres) dans un réseau de neurones, ils obtiennent un résultat « fermé ». Les mathématiques restent simples, réelles et symétriques. C'est un résumé sans perte. Rien ne s'« échappe ».

2. La voie « Ouverte » (Ce que fait la physique nucléaire)

L'analogie : Imaginez que vous êtes dans une pièce où la porte est légèrement entrouverte. Vous essayez de suivre la pression de l'air à l'intérieur de la pièce.

• Ce qui se passe : L'air s'échappe par la porte. Si vous essayez de décrire l'air uniquement à l'intérieur de la pièce, votre description doit tenir compte du fait que l'air s'échappe. Les mathématiques deviennent « fuyantes » et complexes. Vous devez tenir un registre strict (un reçu) de l'air qui s'est échappé exactement et de l'endroit où il est allé.
• En physique nucléaire : C'est ce qu'on appelle le Modèle Optique. Lorsqu'un noyau interagit avec des particules, certaines particules s'échappent dans le « continuum » (le reste de l'univers). Les mathématiques décrivant le noyau deviennent « non-Hermitiennes » (une façon sophistiquée de dire qu'elles sont complexes et fuyantes). Crucialement, les mathématiques incluent un Registre de Flux : un compte exact de la probabilité qui a quitté le système.

La thèse principale du papier

L'auteur affirme : « L'IA ne fait que la version "Fermée". Elle ignore la version "Ouverte". »

Les chercheurs en IA possèdent un excellent dictionnaire pour traduire leur mathématique « Fermée » vers la physique nucléaire. Par exemple :

• Le Noyau Tangent Neural (comment l'IA apprend) est la même chose que le Nêtre de Sensibilité de Fisher (à quel point un modèle nucléaire est sensible aux changements).
• Une IA à largeur infinie est la même chose qu'un Processus Gaussien (un outil statistique standard).

Cependant, l'auteur soutient que l'IA est aveugle au côté « Ouvert ». L'IA traite toute information qu'elle écarte (comme ignorer un mot dans une phrase ou couper une partie d'un réseau) comme une simple erreur ou une erreur d'approximation. Elle ne le traite pas comme une perte physique qui doit être tracée et conservée.

Le « Registre de Flux »

En physique nucléaire, lorsque des particules s'échappent, la théorie ne dit pas simplement : « Oups, nous en avons perdu un peu. » Elle dit : « Nous avons perdu exactement 0,5 unité de probabilité vers le Canal A et 0,2 vers le Canal B, et voici la preuve mathématique. »

L'auteur a tenté de construire ce « Registre de Flux » pour l'IA. Il s'est demandé : Si nous traitons les parties « ignorées » d'une IA comme une porte qui fuit, pouvons-nous suivre la probabilité perdue ?

Le résultat surprenant (Le constat « négatif »)

L'auteur a effectué des tests pour voir si cette mathématique « Ouverte » fonctionnait pour de vrais modèles d'IA (comme les mécanismes d'attention dans les modèles de langage de grande taille ou les routeurs qui choisissent quels experts utiliser).

Le résultat : Cela a principalement échoué.

• Pourquoi ? Pour que la mathématique « Ouverte » fonctionne, la partie que vous ignorez doit être comme un océan infini où les vagues peuvent voyager éternellement (un spectre continu).
• Le problème : Les modèles d'IA sont généralement finis et « dissipatifs » (ils se relaxent et se stabilisent). Ils n'ont pas cette qualité d'« océan infini ».
• La conséquence : Lorsque l'auteur a tenté d'imposer la mathématique « Ouverte » à l'IA, le « Registre de Flux » n'existait pas, ou la « perte » n'était qu'un artefact de la façon dont il avait découpé les données, et non une véritable propriété physique.

Le rebondissement des « Hallucinations »

L'auteur a également examiné une idée populaire : Cette mathématique de la « fuite » peut-elle détecter quand une IA hallucine (invente des choses) ?

La réponse : Non.

• La raison : Lorsqu'une IA hallucine avec assurance, elle est en réalité très « fermée ». Elle s'engage fortement dans une mauvaise réponse. La « fuite » (l'incertitude) est faible car le modèle est sûr de lui.
• La véritable incertitude : L'incertitude qui importe (l'incertitude épistémique — si le modèle connaît la réponse) réside dans la partie « Fermée » des mathématiques (la variance de l'ensemble), et non dans la partie « Ouverte ».

Résumé

• La Carte : Le papier dessine une carte montrant que l'IA et la physique nucléaire partagent la même algèbre pour « ignorer » les choses.
• L'Écart : L'IA n'utilise que la version « Fermée » (sans perte). La physique nucléaire possède une théorie pleinement développée pour la version « Ouverte » (fuyante), incluant un compte rigoureux de ce qui est perdu.
• Le Test : L'auteur a tenté d'apporter la théorie « Ouverte » dans l'IA.
• Le Verdict : Cela n'a pas bien fonctionné. Les modèles d'IA réels sont trop finis et « relaxationnels » pour supporter la mathématique « Ouverte » complexe et ondulatoire utilisée par la physique nucléaire. Les caractéristiques « Ouvertes » que l'auteur espérait trouver étaient soit absentes, soit de simples artefacts mathématiques.

En bref : Le papier est une mise en garde. Il nous dit que bien que nous puissions emprunter certaines mathématiques à la physique nucléaire, les outils spécifiques « fuyants » qu'ils utilisent pour suivre l'échappement des particules ne s'adaptent pas naturellement à l'architecture actuelle de l'IA. L'incertitude « utile » dans l'IA se trouve toujours du côté statistique « Fermé », et non du côté dynamique « Ouvert ».

Résumé technique

Résumé Technique : Intégrer l'Extérieur, Deux Fois : Le Cas des Systèmes Ouverts que la Théorie des Ensembles de Réseaux de Neurones Néglige

Énoncé du Problème
L'article traite d'une lacune structurelle dans la théorie des ensembles de réseaux de neurones. Alors que la moyenne d'un réseau sur des paramètres aléatoires (marginalisation d'un secteur gaussien) est mathématiquement équivalente au complément de Schur d'un bloc éliminé, la théorie actuelle des ensembles ne réalise que le cas « fermé ». Dans ce scénario fermé, l'objet effectif induit est une matrice de précision réelle, symétrique et sans perte (inverse de la covariance). L'article soutient que la théorie de l'apprentissage dominante manque le cas « ouvert » : un formalisme où l'élimination d'un secteur permet au flux de probabilité de s'échapper de manière irréversible, résultant en un générateur effectif non hermitien qui conserve et inventorie le flux perdu. Cette structure de système ouvert est pleinement développée dans la théorie des réactions nucléaires (spécifiquement le modèle optique et la projection de Feshbach), mais elle est absente de l'apprentissage automatique.

Méthodologie
L'auteur emploie un cadre algébrique unifié basé sur trois outils élémentaires : les moments d'une distribution de probabilité, l'algèbre des gaussiennes et l'inversion de matrices par blocs. L'article évite la machinerie de la théorie des champs (fonctions de partition, diagrammes de Feynman) pour garantir que chaque étape soit vérifiable par des lecteurs familiers avec l'algèbre linéaire et les statistiques standards.

La méthodologie procède en trois étapes :

1. Unification Algébrique : L'article démontre que la marginalisation d'un ensemble de réseaux de neurones et la projection d'un problème de diffusion (projection de Feshbach) sont des instances du même opération : l'élimination d'un bloc d'un système linéaire couplé.
2. Le Dictionnaire du « Cas Fermé » : Il établit une correspondance précise entre les statistiques du cas fermé des réseaux de neurones et la physique nucléaire. Cela inclut la mise en correspondance du Noyau Tangent Neural (NTK) avec le noyau de sensibilité de Fisher, la limite de largeur infinie avec les émulateurs de processus gaussiens, et la non-gaussianité avec la rupture de l'émulateur.
3. L'Exportation et le Test de l'« Ouvert » : L'article tente de porter la machinerie des systèmes ouverts (Hamiltoniens effectifs non hermitiens, registres de flux, potentiels de polarisation dynamique) vers l'apprentissage automatique. Il propose trois manières natives d'induire l'ouverture dans un ensemble de réseaux :
   • Introduire une source complexe dans la fonction génératrice de moments.
   • Déformer la mesure des paramètres via une probabilité de survie sous-normalisée (ex: rejet de jetons hors distribution).
   • Appliquer l'élimination par complément de Schur aux degrés de liberté du réseau (blocs retenus vs éliminés).
4. Validation Empirique : L'auteur réalise des tests numériques « peu coûteux » sur trois objets d'apprentissage spécifiques pour voir s'ils présentent naturellement la signature de système ouvert :
   • Cartes d'attention tronquées (dans les transformers).
   • Opérateurs de transfert au niveau du jet (alphabets restreints).
   • Routeurs d'experts clairsemés (mélange d'experts).

Contributions Clés

• La Distinction « Ouvert » vs « Fermé » : L'article clarifie que la non-hermiticité n'est pas simplement une caractéristique des nombres complexes, mais la signature spécifique d'un secteur éliminé ouvert (un secteur avec un spectre continu permettant l'échappement du flux). Les éliminations fermées (finies ou dissipatives) produisent des compléments de Schur réels et symétriques.
• Le Registre de Flux : Il définit le « registre de flux » comme une comptabilité conservée et inventoriée de la probabilité perdue dans les secteurs éliminés, dérivée du théorème optique généralisé. Cela permet la décomposition de l'absorption en termes directs, de rupture et d'interférence.
• Le Dictionnaire de Correspondance : Il fournit un dictionnaire complet traduisant les concepts de réaction nucléaire en théorie de l'apprentissage, identifiant le NTK comme le noyau de sensibilité de Fisher et la limite de validité des émulateurs à base réduite comme la transition de « lazy » à « feature ».
• Construction de l'Ouverture Native : Il démontre comment construire un ensemble ouvert nativement dans la théorie de l'apprentissage en utilisant des sources complexes ou des mesures sous-normalisées, bien qu'il note que cela nécessite la manifestation de la non-gaussianité pour obtenir une perte au niveau de l'opérateur.

Résultats
L'article rapporte un résultat majoritairement négatif concernant l'applicabilité de l'exportation des systèmes ouverts aux architectures d'apprentissage actuelles :

• Attention Tronquée : L'élimination de jetons dans une fenêtre de contexte tronquée est un processus fermé. La correction induite est réelle et symétrique ; aucun générateur non hermitien n'apparaît naturellement. L'ouverture doit être insérée manuellement.
• Opérateurs de Transfert au Niveau du Jet : Bien qu'un registre d'absorption conservé puisse être construit pour un alphabet restreint, le terme « médié » (l'analogue de l'absorption couplée par canal) est instable, varie selon le choix de la partition et semble être un artefact de la partition plutôt qu'une propriété robuste du modèle.
• Routeurs Sparses : Dans les modèles de mélange d'experts, l'« ouverture » (experts écartés) est pilotée par l'objectif d'entraînement (équilibrage de charge) vers un plancher élevé et non informatif. Le signal résultant est structurel (netteté du routage) plutôt qu'une mesure significative de flux perdu.
• Incertitude Épistémique vs Aléatoire : L'article trouve que l'incertitude « opérationnellement utile » (distinguer l'hallucination de l'erreur) réside dans la moitié fermée de la correspondance (variance de l'ensemble/information de Fisher), et non dans la moitié ouverte. Le formalisme du système ouvert ne capture pas actuellement l'incertitude épistémique dans les modèles standards.
• Barrière Structurelle : L'article conclut que le cas ouvert nécessite un secteur éliminé possédant un spectre continu et une dynamique ondulatoire. Les objets d'apprentissage dominants sont soit finis (spectre discret), soit relaxatifs (spectre sur le axe réel négatif), empêchant le point d'évaluation de se situer à l'intérieur du continuum requis pour générer une partie anti-hermitienne physique.

Signification et Revendications
L'article se présente explicitement comme une « note, et non un résultat », et sa contribution principale est une carte plutôt qu'une nouvelle théorie ou une application réussie.

• Valeur du Résultat Négatif : La principale conclusion est que l'exportation des systèmes ouverts échoue pour les objets d'apprentissage standards. L'article soutient que ce résultat négatif est précieux car il localise précisément pourquoi il échoue : l'absence de spectre continu et de dynamique ondulatoire dans les systèmes d'apprentissage finis ou relaxatifs.
• Honnêteté de l'Analogie : Il met en garde contre les analogies lâches (ex: « paysages d'énergie ») et insiste sur des identités algébriques précises. Il clarifie que si l'algèbre de l'élimination est partagée, la nature des blocs éliminés (fermés vs ouverts) dicte les propriétés physiques du résultat.
• Direction Future : L'article suggère que pour que la machinerie des systèmes ouverts soit utile en IA, il faudrait trouver ou construire des architectures qui soient « ondulatoires » plutôt que relaxatives, avec des secteurs éliminés assez étendus pour porter un continuum. Tant que cela n'est pas le cas, l'« ouvert » demeure une possibilité théorique plutôt qu'un outil pratique pour les réseaux de neurones actuels.

En résumé, l'article soutient que si la théorie des ensembles de réseaux de neurones a maîtrisé l'intégration « fermée » des paramètres, elle manque de la machinerie d'intégration « ouverte » présente en physique nucléaire. Les tentatives de portage de cette machinerie vers les modèles d'IA actuels échouent car ces modèles ne possèdent pas les propriétés spectrales nécessaires (spectre continu) pour supporter les dynamiques non hermitiennes et de conservation de flux du modèle optique.