Technische Samenvatting: Transitie-informatiedichtheid en Gestructureerde Interpolatie in Neurale Training

Probleemstelling

Standaard procedures voor machine learning behandelen data als discrete input-output eindpuntparen, waarbij modellen de mapping van staat $A$ naar staat $B$ moeten leren. Deze benadering negeert systematisch de structuur van de ruimte tussen deze eindpunten: de intermediaire staten, de informatie die daarin is gecodeerd, en hoe die informatie als functie van positie wordt verdeeld. Als gevolg hiervan leren modellen wat $A$ en $B$ zijn, maar niet hoe $A$ verandert in $B$. Dit paper betoogt dat de transitiestructuur informatie bevat die herstelbaar is—informatie die momenteel door standaard training wordt weggegooid—en die essentieel is voor het produceren van geometrisch coherente, interpreteerbare en gealigneerde interne representaties.

Theoretisch Kader

Het paper introduceert twee formele constructen om de informatie in de transitieruimte te karakteriseren:

1. Transitie-informatiedichtheid (TID): Gedefinieerd als de wederzijdse informatie tussen een sequentie van Positionele Identiteiten (de gedefinieerde locatie van een intermediaire staat op de $A$-naar-$B$ continuüm) en de sequentie van representationele staten. Een hoge TID impliceert dat het kennen van de positie van een staat op het continuüm informatie onthult over de inhoud ervan.
2. Positionele Identiteit: De gedefinieerde locatie van een intermediaire staat op het $A$-naar-$B$ continuüm, uitgedrukt als een mengverhouding $p \in [0, 1]$. Dit onderscheidt gestructureerde interpolatie (waar de positie vaststaat en betekenisvol is) van standaard data-augmentatie (waar synthetische samples geen gedefinieerde relationele context missen).

Het kader is gebaseerd op drie parallelle contexten:

• Grapheem-Kleur Synesthesie: Een neurologisch fenomeen waarbij categorische kleurtoezigningen aan symbolen functies zijn van de positie van het symbool binnen een continu relationeel veld van morfologisch aangrenzende symbolen, in plaats van geïsoleerde identiteit.
• Het Synesthesie Grid: Een eerdere algoritmische instantie die geometrisch coherente tussenliggende frames berekent tussen alfanumerieke symbolen bij een controleerbare resolutie $N$, waarbij elk frame wordt behandeld als een staat met een gedefinieerde Positionele Identiteit.
• Negen-metrische Vormkarakterisering: Een framework voor het analyseren van transitievormen, inclusief lineariteit, de locatie van het buigpunt ($p^*$), asymmetrie, kromming en dimensionale variantie.

Methodologie

De auteurs voerden een gecontroleerd trainingsexperiment uit om te testen of het aanvullen van eindpuntparen met gestructureerde intermediaire staten een andere representationele geometrie produceert dan trainen op enkel eindpunten of op volume-gematchte ongestructureerde data.

Experimenteel Ontwerp

Het experiment maakte gebruik van vier verschillende representationele media ($M1$–$M4$):

1. Visueel-Morfologisch: Symboolframes gecodeerd via CLIP ViT-B/32.
2. Fonetisch/Linguïstisch: Fonetische beschrijvingen gecodeerd via een sentence transformer.
3. Semantische Beschrijving: Contextuele gebruiksbeschrijvingen gecodeerd via een sentence transformer.
4. Cross-Modaal: Paren die visuele en linguïstische modaliteiten combineren.

Vier trainingscondities werden vergeleken:

• C1 (Alleen Eindpunten): Baseline training op $A$- en $B$-paren alleen.
• C2 (Volume-Gematchte Augmentatie): Training op eindpunten plus $N$ willekeurig gesamplede synthetische intermediaire staten uit ongerelateerde paren (ter controle van de datavolume).
• C3 (Gestructureerde Interpolatie): Training op eindpunten plus $N$ gestructureerde intermediaire staten op gedefinieerde, gelijkmatig verdeelde Positionele Identiteiten langs het specifieke $A$-naar-$B$ pad.
• C4 (Random Same-Pair Interpolatie): Training op eindpunten plus $N$ intermediaire staten op willekeurige Positionele Identiteiten langs het specifieke $A$-naar-$B$ pad (om het effect van gedefinieerde tussenruimte te isoleren).

Metrieken

• Intrinsieke Dimensionaliteit: Gemeten met de TwoNN (Two Nearest Neighbors) estimator op verborgen representaties geëxtraheerd uit ondiepe MLP-probes getraind om de Positionele Identiteit te voorspellen. Lagere dimensionaliteit duidt op een meer georganiseerde, gecomprimeerde geometrie.
• Lineaire Probing Nauwkeurigheid: Gemeten via logistische regressie op bevroren verborgen staten.
• Transitievorm Metrieken: Analyse van het buigpunt ($p^*$) en padgeometrie.

Belangrijkste Resultaten

1. Het Effect van Gestructureerde Interpolatie

Het experiment bevestigde dat gestructureerde interpolatie (C3) een meetbaar meer georganiseerde representationele geometrie produceert dan volume-gematchte augmentatie (C2) in specifieke modaliteiten:

• Fonetische/Linguïstische Ruimte: C3 bereikte een intrinsieke dimensionaliteit van 3.33 (±0.75) vergeleken met 10.81 (±7.42) voor C2, een reductie van ~69%.
• Semantische Beschrijvingsruimte: C3 bereikte 4.59 (±1.04) vergeleken met 8.67 (±4.78) voor C2, een reductie van ~47%.
• Statistische Significantie: Deze verschillen waren zeer significant ($p < 10^{-30}$), wat bevestigt dat de trajectstructuur, en niet louter het datavolume, de organiserende werking drijft.

2. Modaliteitsgrensvoorwaarde

Het effect werd niet waargenomen in Visueel-Morfologische of Cross-Modale media.

• In de Visueel-Morfologische ruimte vertoonde C3 (5.42) een hogere dimensionaliteit dan C2 (4.32).
• In de Cross-Modale ruimte was C3 (6.51) significant hoger dan C2 (3.90).
• Gepoolde Analyse: In de Visueel-Morfologische ruimte veroorzaakte C3-training dat alle symboolparen globaal inklapten tot één degeneratiepunt (Pooled TwoNN = 0.075), terwijl de Fonetische/Linguïstische ruimte globale consistentie behield (Pooled TwoNN = 0.977) terwijl lokale structuur behouden bleef. Dit suggereert dat het effect gemedieerd wordt door de globale representationele structuur van de embeddingruimte.

3. De Rol van Positionele Identiteit

Conditie C4 (random same-pair interpolatie) resulteerde in bijna één-dimensionale representaties (TwoNN $\approx$ 1.0–1.6) over alle media, aanzienlijk lager dan C3. Dit geeft aan dat willekeurige positionering leidt tot representationele ineenstorting (het leren van slechts één continue variabele), terwijl gelijkmatig verdeelde, gedefinieerde Positionele Identiteiten het model dwingen om rijkere, hogere-dimensionale geometrische structuren te leren.

4. Resolutie Schaling (Hypothese 2)

De intrinsieke dimensionaliteit nam monotoon toe met de resolutie $N$ (van $N=5$ tot $N=50$) over alle media. Bij een vaste $N=50$ presteerde C3 beter dan C4 met 18–25 TwoNN-eenheden in elk medium. Dit bevestigt dat de representationele rijkdom een continue functie is van de Positionele Identiteit-resolutie, onafhankelijk van het aantal samples.

5. Buigpunt Analyse

De locatie van de maximale representationele verandering ($p^*$) vertoonde een "late piek"-tendens (gemiddelden tussen 0.585 en 0.632) binnen elk medium, maar was ongecorreleerd tussen de media ($|r| \approx 0.04$). Dit stelt vast dat de structurele logica van transities een eigenschap is van de representationele ruimte zelf, en niet van het specifieke symboolpaar.

Betekenis en Claims

Het paper claimt vijf theoretische bijdragen te leveren:

1. Formele Definities: Het vaststellen van TID en Positionele Identiteit als noodzakelijke constructen voor het karakteriseren van transitie-informatie.
2. Morfologische Instantiatie: Het demonstreren via het Synesthesie Grid dat er betekenisvolle, analyseerbare staten bestaan tussen symbolische eindpunten.
3. Synesthetische Correlatie: Het valideren van de hypothese dat categorische outputs (zoals synesthetische kleuren) de relationele positie coderen in plaats van geïsoleerde identiteit.
4. Vormkarakterisering: Het bieden van een negen-metrische framework voor het visualiseren en analyseren van transitiegeometrie.
5. Gestructureerde Interpolatie Hypothese: Het empirisch bevestigen dat training op gestructureerde transitiepaden lagere intrinsieke dimensionaliteit (meer georganiseerde geometrie) produceert in linguïstische en semantische ruimtes, terwijl het een modaliteitsgrensvoorwaarde vaststelt waar dit effect omkeert of instort in visuele ruimtes.

Het paper concludeert dat de informatie die door standaard endpoint-only training wordt weggegooid—de structuur van de transitie—herstelbaar is en dat het coderen hiervan leidt tot representaties die geometrisch coherent zijn. Deze coherentie wordt gepresenteerd als een noodzakelijke voorwaarde voor mechanistische interpreteerbaarheid en alignment, omdat het de interne kaart van concepten voor een model georganiseerd, controleerbaar en consistent over inputs heen maakt. De bevindingen suggereren dat TID-training selectief moet worden toegepast op representationele ruimtes waar gestructureerde interpolatie een coherente globale organisatie genereert, in plaats van als een universele augmentatiestrategie.