🤖 machine learning

Approximate Homomorphisms and Convergent Representations in Transducers

Dit artikel stelt theoretische voorwaarden vast voor de stabiliteit en convergentie van minimale representaties in gecontroleerde stochastische processen onder perturbaties, waarbij wordt aangetoond dat hoewel standaard transducers een gebrek aan structurele robuustheid kunnen vertonen, eindige-rang lineaire en predictieve transducers benaderende homomorfismen vertonen die de hypothese van structurele convergentie in neurale netwerk latente representaties ondersteunen.

Oorspronkelijke auteurs: Santiago Cifuentes

Gepubliceerd 2026-08-24

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Santiago Cifuentes

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

In het uitgestrekte, zoemende landschap van de moderne kunstmatige intelligentie is een nieuwsgierig patroon naar voren gekomen. Wanneer onderzoekers verschillende neurale netwerken—complexe systemen die ontworpen zijn om te leren van data—trainen om soortgelijke problemen op te lossen, merken ze vaak dat de interne werking van deze machines verrassend veel op elkaar begint te lijken. Zelfs als de netwerken zijn gebouwd met verschillende architecturen of getraind zijn op licht verschillende datasets, lijken de verborgen lagen waar ze gedeeltelijke berekeningen opslaan te convergeren naar een gedeelde structuur. Deze observatie heeft geleid tot een gedurfde gedachte: dat deze kunstmatige geesten niet alleen antwoorden memoriseren, maar onafhankelijk een gemeenschappelijk, onderliggend model ontdekken van hoe de wereld werkt. Om te begrijpen of deze convergentie een fundamentele wet van het leren is of slechts een toevalstreffer, hebben wetenschappers een manier nodig om de "vorm" van deze interne modellen te meten. Ze moeten weten of twee verschillende machines werkelijk op dezelfde manier denken, of dat ze slechts via volledig verschillende, incompatibele paden bij vergelijkbare antwoorden uitkomen.

Deze vraag vormt de kern van een nieuwe studie die deze interne modellen behandelt als wiskundige machines genaamd transducers. Denk aan een transducer als een apparaat dat een reeks acties neemt, zoals een reeks commando's of observaties, en een reeks reacties produceert, zoals een reeks outputs of voorspellingen. Het is een manier om te formaliseren hoe een agent, of het nu een robot of een neuraal netwerk is, interageert met zijn omgeving. De onderzoekers wilden zien of deze machines, wanneer ze door de ruis van training of verschillende data licht van elkaar verschillen, nog steeds een kern, minimale structuur delen. Ze vroegen zich af: als twee machines bijna hetzelfde gedrag vertonen, kunnen we de één op de ander mappen op een manier die hun logica behoudt, zelfs als de mapping niet perfect is?

Het team begon met het testen van dit idee op het meest algemene type van deze machines, die zij standaardtransducers noemen. Ze hoopten te vinden dat elke twee machines die vergelijkbaar gedrag vertonen, vereenvoudigd konden worden tot een enkele, gedeelde blauwdruk. Echter, hun onderzoek onthulde een verrassende beperking. Ze bewezen dat voor deze algemene machines specifieke gedragingen bestaan waarbij geen dergelijke gedeelde blauwdruk bestaat. Zelfs als twee machines bijna identiek zijn in hun output, kunnen hun interne structuren zo fundamenteel verschillend zijn dat ze niet op elkaar gemapt kunnen worden zonder de logica van hoe ze werken te breken. Deze bevinding sluit de mogelijkheid uit dat alle convergente structuren in kunstmatige intelligentie eenvoudig of universeel zijn; het laat zien dat zonder specifieke beperkingen, de weg naar een gedeeld intern model geblokkeerd kan worden.

Het verhaal verandert echter wanneer de onderzoekers kijken naar twee meer specifieke typen machines: lineaire transducers en predictieve transducers. Lineaire transducers zijn die waarbij de interne staat wordt gerepresenteerd als een punt in een geometrische ruimte, een structuur die van nature past bij de manier waarop moderne neurale netwerken opereren, aangezien hun parameters in essentie getallen in een vectorruimte zijn. Predictieve transducers zijn die waarbij de interne staat alleen de informatie bevat die strikt noodzakelijk is om de toekomst te voorspellen, waarbij redundante historie wordt weggegooid. Voor beide specifieke typen vonden de onderzoekers een robuuste vorm van convergentie, maar met belangrijke kanttekeningen. Voor lineaire transducers toonden ze aan dat deze convergentie specifiek geldt voor interfaces van eindige rang; als men twee minimale machines van dit type neemt die interfaces van eindige rang implementeren en bijna hetzelfde gedrag vertonen, kan men altijd een enkele, minimale machine vinden die als een gemeenschappelijke voorouder fungeert. Men kan de complexe, ruizige versies van deze machines mappen op deze eenvoudige, zuivere versie, en de fouten die door de mapping worden geïntroduceerd, zullen klein en proportioneel blijven aan hoe verschillend de oorspronkelijke machines waren. Vergelijkbaar daarmee toonden zij voor predictieve transducers aan dat convergentie optreedt wanneer de machines dicht bij elkaar liggen volgens een specifieke "residuele metriek" die hun gedrag vergelijkt na elke mogelijke historie, ongeacht hoe waarschijnlijk die historie is.

Dit resultaat is significant omdat het een theoretische fundering biedt voor de observatie dat neurale netwerken vaak vergelijkbare interne representaties ontwikkelen. Het suggereert dat terwijl algemene, ongestructureerde modellen mogelijk niet convergeren, de specifieke soorten structuren die moderne AI de voorkeur geeft—die welke vertrouwen op lineaire geometrie met interfaces van eindige rang of efficiënte voorspelling onder specifieke metrieken—een natuurlijke neiging hebben om tot een gedeelde, minimale vorm te komen. Het bestuderen van deze specifieke architecturen bevestigt dat de "Platonische Representatiehypothese", het idee dat verschillende modellen convergeren op een gedeelde statistische realiteit, standhoudt onder de voorwaarde van kleine perturbaties en specifieke structurele beperkingen. De onderzoekers hebben aangetoond dat deze convergentie geen fragiele toevalligheid is, maar een stabiele eigenschap van de wiskunde die deze systemen onder deze gedefinieerde condities beheerst.

Het werk verheldert ook de condities waaronder deze stabiliteit wegvalt. De onderzoekers identificeerden dat de convergentie voor lineaire transducers rust op het feit dat de interfaces van eindige rang zijn, terwijl voor predictieve transducers de afhankelijkheid ligt bij het feit dat de machines dicht bij elkaar liggen volgens de residuele metriek. Wanneer aan deze voorwaarden wordt voldaan, is het systeem robuust; wanneer zij niet worden voldaan, kunnen de interne structuren wild uiteenlopen. Dit onderscheid helpt verklaren waarom sommige modellen wel diepe structurele gelijkenissen vertonen en andere niet. Het suggereert dat het succes van het vinden van gedeelde representaties in AI niet gegarandeerd is voor elke mogelijke architectuur, maar een kenmerk is van diegene die voldoen aan bepaalde wiskundige beperkingen, met name eindige-rang lineariteit en predictieve efficiëntie onder de juiste metrieken.

Uiteindelijk biedt deze studie een kaart voor het begrijpen van de verborgen lagen van kunstmatige intelligentie. Het vertelt ons dat de zoektocht naar een gedeelde "taal" van het denken onder verschillende AI-modellen een geldige onderneming is, maar alleen als we naar de juiste soort modellen kijken. De convergentie is echt, maar het is niet universeel; het is een eigenschap van systemen die gebouwd zijn om stabiel en efficiënt te zijn binnen specifieke wiskundige grenzen. Door te bewijzen dat deze specifieke typen machines een unieke, minimale kern hebben waar alle vergelijkbare versies toe gereduceerd kunnen worden, hebben de onderzoekers een rigoureuze verklaring gegeven voor waarom verschillende AI-systemen vaak op dezelfde manier eindigen te denken. Ze hebben aangetoond dat het universum van mogelijke machine-gedragingen eilanden van stabiliteit bevat waar verschillende paden onvermijdelijk naar dezelfde bestemming leiden, wat een inkijkje biedt in de wiskundige wetten die de opkomst van intelligentie in silicium beheersen.

Technische Samenvatting: Benaderde Homomorfismen en Convergente Representaties in Transducers

Probleemstelling

Het artikel onderzoekt de theoretische stabiliteit van minimale representaties van gecontroleerde stochastische processen (specifiek transducers) onder perturbaties. Deze verkenning wordt gedreven door empirische observaties in deep learning waarbij verschillende neurale netwerkarchitecturen, getraind op verschillende data of doelstellingen, vaak convergente latente structuren vertonen. Dit fenomeen heeft geleid tot de "Platonic Representation Hypothesis", die suggereert dat agenten die leren van vergelijkbare distributies convergeren naar een gedeeld statistisch model van de werkelijkheid.

Terwijl eerder werk [44] vaststelde dat minimale implementaties bestaan voor lineaire en predictieve transducers (wat een unieke "canonieke" representatie biedt), waren deze resultaten exact. In praktische scenario's leren modellen van licht afwijkende datasets en zijn ze onderhevig aan ruis, wat betekent dat zij interfaces implementeren die benaderd gelijk zijn in plaats van identiek. De centrale vraag is of het bestaan van een unieke minimale representatie (en dus convergente structuur) robuust is tegen deze perturbaties. Specifiek: als twee transducers interfaces implementeren die $\epsilon$ -dicht bij elkaar liggen, delen zij dan een gemeenschappelijke structurele representatie (een benaderd homomorfisme) die hen naar een canonieke vorm brengt met een fout die lineair schaalt met $\epsilon$ ?

Methodologie

De auteur formaliseert het probleem aan de hand van drie klassen transducers:

Standaard Transducers: Algemene gecontroleerde stochastische systemen met verborgen toestanden.
Lineaire Transducers: Systemen waarbij toestanden zijn ingebed in een vectorruimte, gebruikmakend van Hankel-matrices voor constructie.
Predictieve Transducers: Systemen waarbij de interne toestanden geen voorspellende informatie bevatten die niet beschikbaar is vanuit de observeerbare historie (equivalent aan $\epsilon$ -machines in computationele mechanica).

De methodologie verloopt in drie stadia:

Definitie van Benaderde Homomorfismen: De auteur introduceert $\epsilon$ -homomorfismen, die de exacte structurele mapping-condities van standaard homomorfismen versoepelen. Voor standaard transducers houdt dit in dat de Total Variation (TV) afstand tussen de pushforward van de bron-dynamiek en de doel-dynamiek wordt begrensd. Voor lineaire transducers houdt dit in dat de norm van het verschil tussen de gemapte dynamiek en de doel-dynamiek wordt begrensd.
Metrische Ruimtes voor Interfaces: Om de gelijkenis van de geïmplementeerde gedragingen (interfaces) van transducers te meten, definieert de auteur metrieken over de ruimte van interfaces. Zij maken gebruik van de supremum-metriek ( $d_\infty$ ) en gedisconteerde metrieken ( $d_\gamma$ ) die discrepanties op de lange termijn minder zwaar wegen. Voor predictieve transducers wordt een "residuele metriek" ( $d_{res}$ ) geïntroduceerd, die de conditionele interfaces van alle toegestane historieën vergelijkt, ongeacht hun waarschijnlijkheid.
Stabiliteitsanalyse: De auteur analyseert de verzameling transducers die interfaces implementeren binnen een $\epsilon$ -nabijheid van een doel-interface $I$ . Zij onderzoeken of deze verzameling een " $\delta$ -minimum" bezit—een transducer $T_{min}$ waarvoor alle andere transducers in de verzameling een benaderde reductie naar $T_{min}$ toestaan met een fout $\delta = O(\epsilon)$ .

Belangrijkste Bijdragen en Resultaten

1. Benaderde Homomorfismen en Composabiliteit

Het artikel definieert $\epsilon$ -homomorfismen voor alle drie de transducer-typen. Een cruciaal theoretisch eigenschap die wordt bewezen is composabiliteit: als $T_1 \xrightarrow{\epsilon_1} T_2$ en $T_2 \xrightarrow{\epsilon_2} T_3$ , dan is $T_1 \xrightarrow{\epsilon_1 + \epsilon_2} T_3$ . Verder bewijst de auteur dat benaderde reducties de geïnduceerde interface-dynamiek behouden onder gedisconteerde metrieken. Specifiek: als $T_1$ reduceert naar $T_2$ met fout $\epsilon$ , dan is de afstand tussen hun interfaces onder een gedisconteerde metriek $d_\gamma$ begrensd door $O(\epsilon)$ .

2. Negatief Resultaat voor Standaard Transducers

Voor standaard transducers demonstreert de auteur dat convergentie zelfs onder benadering faalt. Zij construeren een specifieke interface $I$ waarvoor, voor elke $\delta < 1$ , de verzameling transducers die $I$ implementeren (of interfaces die willekeurig dicht bij $I$ liggen) geen $\delta$ -minimum bezit. Dit impliceert dat voor algemene stochastische systemen het gebrek aan een unieke minimale representatie niet kan worden opgelost door een foutterm te introduceren; structureel verschillende implementaties van vergelijkbare dynamiek delen mogelijk geen gemeenschappelijke benaderde structuur.

3. Positief Resultaat voor Lineaire Transducers

Voor lineaire transducers bewijst het artikel een sterke stabiliteitsresultaat. Voor elke interface $I$ met eindige rang bestaat er een nabijheid van interfaces (binnen afstand $\epsilon$ ) zodanig dat alle minimale lineaire transducers die deze nabijgelegen interfaces implementeren, een benaderde reductie toestaan naar de canonieke minimale implementatie van $I$ .

Mechanisme: Het bewijs steunt op de constructie van de minimale lineaire transducer via de Hankel-matrix. Kleine perturbaties in de interface leiden tot kleine perturbaties in de Hankel-matrix. De auteur construeert een lineaire afbeelding (gebaseerd op inverteerbare minor's van de Hankel-matrix) die de geperturbeerde canonieke representatie naar de oorspronkelijke brengt.
Foutberekening: De fout van deze reductie schaalt lineair met de grootte van de perturbatie ( $\delta \approx \Gamma_I \epsilon$ ), waarbij $\Gamma_I$ een constante is die enkel afhangt van de interface $I$ .

4. Positief Resultaat voor Predictieve Transducers

Voor predictieve transducers toont de auteur aan dat convergentie standhoudt onder een specifieke metriek. Zij introduceren de residuele metriek ( $d_{res}$ ), die de conditionele interfaces van alle historieën vergelijkt.

Conditie: Als de afstand tussen twee interfaces $I$ en $J$ onder $d_{res}$ voldoende klein is (specifiek, kleiner dan de helft van de minimale scheiding $\Delta_I$ tussen verschillende predictieve toestanden), dan staat de minimale predictieve transducer voor $J$ een $\epsilon$ -reductie toe naar de minimale predictieve transducer voor $I$ .
Betekenis: Dit resultaat benadrukt dat terwijl de supremum-metriek faalt om stabiliteit te garanderen voor predictieve transducers (vanwege zeldzame maar onderscheidende historieën), een metriek die rekening houdt met de structuur van alle conditionele historieën de stabiliteit herstelt.

Betekenis en Claims

Het artikel claimt theoretische ondersteuning te bieden voor de Platonic Representation Hypothesis onder specifieke structurele beperkingen.

Robuustheid van Abstracties: De resultaten identificeren condities waaronder canonieke transducer-representaties robuust zijn tegen perturbaties. Specifiek: als wereldmodellen in AI-architecturen geabstraheerd kunnen worden als lineaire of predictieve transducers, dan zouden modellen getraind op vergelijkbare datadistributies een structurele convergentie moeten vertonen (d.v. hun latente representaties kunnen gemapt worden naar een gemeenschappelijke minimale vorm met een begrensde fout).
Beperkingen van Generaliteit: Het artikel stelt expliciet dat deze convergentie niet gegarandeerd is voor algemene (standaard) transducers, wat suggereert dat de specifieke algebraïsche of structurele eigenschappen van lineaire en predictieve systemen noodzakelijk zijn voor het verschijnen van het "convergente fenomeen".
Theoretisch versus Empirisch: De auteur frameert deze resultaten als theoretisch bewijs. Zij merken op dat hoewel het bestaan van predictieve structuren (zoals $\epsilon$ -machines) in neurale netwerken empirisch is waargenomen [46, 47], de aanwezigheid van lineaire transducers een hypothese is gebaseerd op de vectorruimte-aard van neurale parameters. Het artikel claimt niet dat deze structuren experimenteel zijn geverifieerd in bestaande modellen, maar biedt het wiskundige kader om de verwachting ervan te rechtvaardigen.

Samenvattend stelt het werk vast dat de "convergentie" van interne representaties een eigenschap is die sterk afhangt van de klasse van de gebruikte wiskundige abstractie om het systeem te modelleren. Het houdt robuust stand voor lineaire en predictieve systemen, maar faalt voor algemene stochastische systemen, wat een genuanceerde theoretische verklaring biedt voor waarom convergente structuren wel in sommige AI-architecturen en niet in andere verschijnen.