Résumé Technique : Densité d'Information de Transition et Interpolation Structurée dans l'Entraînement Neuronal

Énoncé du Problème

Les procédures standard d'apprentissage automatique traitent les données comme des paires de points terminaux entrée-sortie discrets, exigeant que les modèles apprennent la mise en correspondance de l'état $A$ vers l'état $B$. Cette approche ignore systématiquement la structure de l'espace entre ces points terminaux : les états intermédiaires, l'information encodée en leur sein, et la manière dont cette information est distribuée en fonction de la position. Par conséquent, les modèles apprennent ce que sont $A$ et $B$, mais pas comment $A$ devient $B$. Cet article soutient que la structure de transition contient une information récupérable — actuellement rejetée par l'entraînement standard — qui est essentielle pour produire des représentations internes géométriquement cohérentes, interprétables et alignées.

Cadre Théorique

L'article introduit deux construits formels pour caractériser l'information dans l'espace de transition :

1. Densité d'Information de Transition (DIT) : Définie comme l'information mutuelle entre une séquence d'Identités Positionnelles (la localisation définie d'un état intermédiaire sur le continuum $A$-vers-$B$) et la séquence des états représentationnels. Une DIT élevée implique que connaître la position d'un état sur le continuum révèle des informations sur son contenu.
2. Identité Positionnelle : La localisation définie d'un état intermédiaire sur le continuum $A$-vers-$B$, exprimée sous la forme d'un ratio de mélange $p \in [0, 1]$. Cela distingue l'interpolation structurée (où la position est fixe et significative) de l'augmentation de données standard (où les échantillons synthétiques manquent de contexte relationnel défini).

Le cadre est ancré dans trois contextes parallèles :

• Synesthésie Grapheme-Couleur : Un phénomène neurologique où les assignations de couleurs catégorielles aux symboles sont des fonctions de la position du symbole au sein d'un champ relationnel continu de symboles morphologiquement adjacents, plutôt que d'une identité isolée.
• La Grille de Synesthésie : Une instanciation algorithmique préalable qui calcule des cadres intermédiaires géométriquement cohérents entre des symboles alphanumériques à une résolution $N$ contrôlable, traitant chaque cadre comme un état avec une Identité Positionnelle définie.
• Caractérisation de Forme par Neuf Métriques : Un cadre pour analyser les formes de transition, incluant la linéarité, la localisation du point d'inflexion ($p^*$), l'asymétrie, la courbure et la variance dimensionnelle.

Méthodologie

Les auteurs ont mené une expérience d'entraînement contrôlée pour tester si l'augmentation des paires de points terminaux par des états intermédiaires structurés produit une géométrie de représentation différente de celle obtenue par un entraînement sur les seuls points terminaux ou sur des données non structurées de volume équivalent.

Conception Expérimentale

L'expérience a utilisé quatre médiums de représentation distincts ($M1$–$M4$) :

1. Morphologique-Visuel : Cadres de symboles encodés via CLIP ViT-B/32.
2. Phonétique/Linguistique : Descriptions phonétiques encodées via un transformateur de phrases (sentence transformer).
3. Description Sémantique : Descriptions d'usage contextuel encodées via un transformateur de phrases.
4. Cross-Modal : Paires combinant les modalités visuelles et linguistiques.

Quatre conditions d'entraînement ont été comparées :

• C1 (Points Terminaux Uniquement) : Entraînement de base sur des paires $A$ et $B$ uniquement.
• C2 (Augmentation de Volume Équivalent) : Entraînement sur les points terminaux plus $N$ intermédiaires échantillonnés aléatoirement à partir de paires non liées (contrôlant le volume de données).
• C3 (Interpolation Structurée) : Entraînement sur les points terminaux plus $N$ intermédiaires structurés à des Identités Positionnelles définies et espacées uniformément le long du chemin spécifique $A$-vers-$B$.
• C4 (Interpolation à Même Paire Aléatoire) : Entraînement sur les points terminaux plus $N$ intermédiaires à des Identités Positionnelles aléatoires le long du chemin spécifique $A$-vers-$B$ (isolant l'effet de l'espacement défini).

Métriques

• Dimensionnalité Intrinsèque : Mesurée à l'aide de l'estimateur TwoNN (Two Nearest Neighbors) sur les représentations cachées extraites de sondes MLP peu profondes entraînées pour prédire l'Identité Positionnelle. Une dimensionnalité plus faible indique une géométrie plus organisée et compressée.
• Précision du Sondage Linéaire (Linear Probing Accuracy) : Mesurée via une régression logistique sur les états cachés gelés.
• Métriques de Forme de Transition : Analyse du point d'inflexion ($p^*$) et de la géométrie du chemin.

Résultats Clés

1. L'Effet de l'Interpolation Structurée

L'expérience a confirmé que l'interpolation structurée (C3) produit une géométrie de représentation mesurablement plus organisée que l'augmentation de volume équivalent (C2) dans des modalités spécifiques :

• Espace Phonétique/Linguistique : C3 a atteint une dimensionnalité intrinsèque de 3,33 (±0,75) contre 10,81 (±7,42) pour C2, soit une réduction d'environ 69 %.
• Espace de Description Sémantique : C3 a atteint 4,59 (±1,04) contre 8,67 (±4,78) pour C2, soit une réduction d'environ 47 %.
• Signification Statistique : Ces différences étaient hautement significatives ($p < 10^{-30}$), confirmant que la structure de la trajectoire, et non le simple volume de données, pilote l'effet d'organisation.

2. Condition Limite de la Modalité

L'effet n'a pas été observé dans les médiums Morphologique-Visuel ou Cross-Modal.

• Dans l'espace Morphologique-Visuel, C3 (5,42) présentait une dimensionnalité plus élevée que C2 (4,32).
• Dans l'espace Cross-Modal, C3 (6,51) était significativement plus élevé que C2 (3,90).
• Analyse Groupée : Dans l'espace Morphologique-Visuel, l'entraînement C3 a provoqué l'effondrement global de toutes les paires de symboles en un point dégénéré unique (Pooled TwoNN = 0,075), tandis que l'espace Phonétique/Linguistique maintenait une cohérence globale (Pooled TwoNN = 0,977) tout en préservant la structure locale. Cela suggère que l'effet est médié par la structure de représentation globale de l'espace de plongement (embedding space).

3. Le Rôle de l'Identité Positionnelle

La condition C4 (interpolation à même paire aléatoire) a entraîné des représentations quasi unidimensionnelles (TwoNN $\approx$ 1,0–1,6) dans tous les médiums, ce qui est nettement inférieur à C3. Cela indique que le positionnement aléatoire conduit à un effondrement représentationnel (apprentissage d'une seule variable continue), tandis que les Identités Positionnelles espacées uniformément et définies forcent le modèle à apprendre des structures géométriques plus riches et de plus haute dimension.

4. Mise à l'Échelle de la Résolution (Hypothèse 2)

La dimensionnalité intrinsèque a augmenté de manière monotone avec la résolution $N$ (de $N=5$ à $N=50$) dans tous les médiums. À un $N$ fixe de 50, C3 a surpassé C4 de 18 à 25 unités TwoNN dans chaque médium. Cela confirme que la richesse représentationnelle est une fonction continue de la résolution de l'Identité Positionnelle, indépendamment du nombre d'échantillons.

5. Analyse du Point d'Inflexion

L'emplacement du changement représentationnel maximal ($p^*$) a montré une tendance à un "pic tardif" (moyennes entre 0,585 et 0,632) au sein de chaque médium, mais était non corrélé entre les médiums ($|r| \approx 0,04$). Cela établit que la logique structurelle des transitions est une propriété de l'espace de représentation lui-même, et non du couple de symboles spécifique.

Signification et Revendications

L'article affirme apporter cinq contributions théoriques :

1. Définitions Formelles : Établir la DIT et l'Identité Positionnelle comme des construits nécessaires pour caractériser l'information de transition.
2. Instanciation Morphologique : Démontrer, via la Grille de Synesthésie, que des états significatifs et analysables existent entre les points terminaux symboliques.
3. Corrélation Synesthésique : Valider l'hypothèse que les sorties catégorielles (comme les couleurs synesthésiques) encodent la position relationnelle plutôt qu'une identité isolée.
4. Caractérisation de Forme : Fournir un cadre de neuf métriques pour visualiser et analyser la géométrie de transition.
5. Hypothèse de l'Interpolation Structurée : Confirmer empiriquement que l'entraînement sur des trajectes de transition structurées produit une dimensionnalité intrinsèque plus faible (géométrie plus organisée) dans les espaces linguistiques et sémantiques, tout en établissant une condition limite de modalité où cet effet s'inverse ou s'effondre dans les espaces visuels.

L'article conclut que l'information rejetée par l'entraînement standard par points terminaux uniquement — la structure de la transition — est récupérable et, lorsqu'elle est encodée, produit des représentations géométriquement cohérentes. Cette cohérence est présentée comme une condition nécessaire pour l'interprétabilité mécaniste et l'alignement, car elle permet la carte interne des concepts du modèle d'être organisée, auditable et cohérente à travers les entrées. Les conclusions suggèrent que l'entraînement par DIT doit être appliqué sélectivement aux espaces de représentation où l'interpolation structurée génère une organisation globale cohérente, plutôt que comme une stratégie d'augmentation universelle.