Statistical and structural identifiability in representation learning

Deze paper introduceert de concepten van statistische en structurele bijna-identificeerbaarheid voor representatielering, bewijst dat niet-lineaire decoders deze eigenschappen bezitten, en toont aan dat ICA-postprocessing effectief is voor ontrafeling en het verbeteren van downstream-generalisatie.

De kern

Titel: Waarom AI-modellen soms "op elkaar lijken" en hoe we ze eindelijk kunnen begrijpen

Stel je voor dat je een groep van tien verschillende kunstenaars vraagt om een foto van een kat te tekenen. Als je de tekeningen van al deze kunstenaars naast elkaar legt, zie je dat ze allemaal ongeveer hetzelfde doen: ze tekenen oren, snorharen en een staart. Maar als je heel precies kijkt, zie je dat de ene kunstenaar de oren iets naar links heeft getekend en de andere iets naar rechts, of dat de ene de staart dikker heeft getekend dan de andere.

In de wereld van kunstmatige intelligentie (AI) gebeurt precies dit. Verschillende AI-modellen die worden getraind om taken te leren (zoals het herkennen van gezichten of het voorspellen van het volgende woord in een zin), ontwikkelen een soort "intern geheugen" of representatie. Het verrassende is: hoewel ze allemaal apart worden getraind, lijken hun interne gedachten steeds meer op elkaar.

Deze paper van Walter Nelson en zijn collega's (geschreven voor de conferentie ICLR 2026) probeert uit te leggen waarom dit gebeurt en hoe we deze interne gedachten eindelijk kunnen "ontwarren" om te begrijpen wat ze eigenlijk denken.

Hier is de uitleg in simpele taal, met een paar creatieve analogieën:

1. Het probleem: Twee soorten "stabielheid"

De auteurs zeggen dat we tot nu toe dachten dat deze stabiliteit één ding was. Maar ze splitsen het op in twee soorten:

• Statistische identificeerbaarheid (De "Kloon"-test): Als je twee AI-modellen apart traint op dezelfde data, krijgen ze dan ongeveer dezelfde interne gedachten?
  • Analogie: Stel je voor dat je twee verschillende bakkers vraagt om een cake te bakken. Als ze beide een perfecte cake maken, is dat "statistisch identificeerbaar". Ze hebben hetzelfde eindresultaat, ook al hebben ze misschien een ander recept gebruikt of een andere oven.
• Structurele identificeerbaarheid (De "Waarheid"-test): Komen die interne gedachten overeen met de echte wereld?
  • Analogie: De bakkers maken een cake, maar is het wel een echte cake? Of hebben ze per ongeluk een cake van zeep gebakken? Structurele identificeerbaarheid vraagt: "Begrijpt de AI echt wat een 'kat' is, of heeft hij gewoon een patroon gevonden dat toevallig werkt?"

2. De oplossing: "Bijna" perfect is goed genoeg

Vroeger dachten wetenschappers dat AI-modellen perfect identiek moesten zijn om te werken. De auteurs zeggen: "Nee, dat is onrealistisch." In plaats daarvan introduceren ze het concept van "bijna-identificeerbaarheid".

• De Analogie van de vervormde spiegel:
  Stel je voor dat je in een spiegel kijkt. Soms is de spiegel een beetje krom (zoals in een kermis). Je ziet jezelf, maar je bent iets breder of smaller.
  • De paper zegt: "Zolang de spiegel maar niet te krom is, kunnen we nog steeds zien wie je bent."
  • Ze bewijzen wiskundig dat als een AI-model goed genoeg is (een beetje "stabiel" in zijn interne logica), we kunnen garanderen dat de interne gedachten van twee verschillende modellen slechts een klein beetje verschillen (zoals een lichte kromming in de spiegel).

3. De magische sleutel: ICA (Het "Ontwarren" van de knoop)

Zelfs als we weten dat de modellen op elkaar lijken, is er nog een probleem: de AI heeft de informatie vaak door elkaar gehaald.

• Analogie: Stel je voor dat je een glas water en een glas wijn in één grote kan giet. Je ziet nu een mengsel. Je weet dat er water en wijn in zitten, maar je kunt ze niet meer uit elkaar halen.
• De auteurs zeggen: "Geen probleem! We kunnen een wiskundige truc gebruiken, genaamd ICA (Independent Component Analysis), om de vloeistoffen weer te scheiden."

Ze tonen aan dat als je deze truc toepast op de interne gedachten van de AI, je de "water" (bijvoorbeeld: de vorm van een object) kunt scheiden van de "wijn" (bijvoorbeeld: de kleur of de achtergrond).

4. De echte wereld test: Van cijfertjes tot celkweek

De auteurs hebben dit niet alleen in theorie bewezen, maar ook getest:

1. Op simpele data: Ze gebruikten een simpele AI om cijfers te herkennen (MNIST). Ze veranderden de "kromming" van de spiegel (de wiskundige eigenschappen van het model) en zagen dat de theorie klopte: hoe minder krom, hoe beter de modellen op elkaar leken.
2. Op complexe data: Ze keken naar enorme, bestaande AI-modellen (zoals die voor cellen in de biologie).
   • Het probleem: In de biologie zijn foto's van cellen vaak vervuild door "ruis" (bijvoorbeeld: verschillende microscopen of verschillende dagen). Dit is als een vlek op je foto.
   • De oplossing: Ze gebruikten hun "ontwarrende" truc (ICA) op de interne gedachten van de AI.
   • Het resultaat: De AI leerde plotseling het verschil tussen de biologische waarheid (de gezondheid van de cel) en de technische ruis (de microfoon). Hierdoor werd de AI veel beter in het voorspellen van ziektes, zelfs op data die ze nog nooit had gezien.

Samenvatting in één zin

Deze paper laat zien dat AI-modellen van nature op elkaar lijken (statistisch), en dat we met een slimme wiskundige truc (ICA) die interne gedachten kunnen "ontwarren" om de echte waarheid te vinden, zelfs als de modellen niet perfect zijn.

Waarom is dit belangrijk?
Het betekent dat we AI-modellen niet meer als een "zwarte doos" hoeven te zien. We kunnen ze nu vertrouwen en gebruiken om echte problemen op te lossen, zoals het vinden van nieuwe medicijnen of het begrijpen van complexe biologische processen, zonder dat we duizenden jaren aan training nodig hebben. Het is alsof we eindelijk de handleiding hebben gevonden voor de interne taal van de AI.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Statistical and Structural Identifiability in Representation Learning" (gepubliceerd als conferentiepaper bij ICLR 2026), geschreven in het Nederlands.

Probleemstelling

Representatieleren-modellen vertonen een opvallende stabiliteit in hun interne representaties; diverse modellen convergeren vaak naar een gedeelde set representaties van de natuurlijke wereld. Echter, de theoretische onderbouwing van deze stabiliteit is onvolledig. Bestaande literatuur behandelt identificeerbaarheid vaak als een enkelvoudig concept en maakt sterke aannames over het dataproces of vereist lineaire relaties tussen representaties en de verliesfunctie.

Het paper identificeert twee fundamentele gaten:

1. Gebrek aan onderscheid: Er wordt geen duidelijk onderscheid gemaakt tussen statistische identificeerbaarheid (consistentie van representaties over verschillende trainingen) en structurele identificeerbaarheid (alignement met een onderliggende "ground truth" of latente variabele).
2. Onrealistische eisen: Perfecte punt-voor-punt identificeerbaarheid is voor moderne, niet-lineaire modellen (zoals auto-encoders en transformers) vaak onhaalbaar. Bestaande theorieën sluiten veel van deze modellen uit of vereisen onpraktische aannames.

Methodologie

De auteurs introduceren een nieuw theoretisch raamwerk dat identificeerbaarheid formaliseert als twee distincte concepten en deze uitbreidt naar een "bijna-identificeerbaarheid" (near-identifiability) binnen een fouttolerantie $\epsilon$.

1. Definities:

• Statistische $\epsilon$-bijna-identificeerbaarheid: Twee modellen, getraind op dezelfde data, produceren representaties die tot een eenvoudige transformatiegroep $H$ (bijv. rotaties, schalingen) en een kleine fout $\epsilon$ gelijk zijn.
• Structurele $\epsilon$-bijna-identificeerbaarheid: De representaties corresponderen consistent met een ware latente structuur $u$ van het dataproces, weer tot een transformatie en fout $\epsilon$.

2. Theoretische Bijdragen (Stabiliteitstheorie):

• Theorema 1 (Interne Representaties): De auteurs bewijzen dat voor modellen met een identificeerbare output (zoals GPT's of supervised classifiers), ook de interne (middenlaag) representaties statistisch $\epsilon$-bijna-identificeerbaar zijn. Dit geldt zelfs als de mapping van de interne laag naar de loss niet-lineair is (bijv. via een niet-lineaire decoder). De grootte van $\epsilon$ wordt bepaald door de lokale bi-Lipschitz-constante van de decoder.
• Theorema 2 (Oplossen van Lineariteit): De resterende lineaire onbepaaldheid (rigid transformations) in de latente ruimte kan worden opgelost door Independent Component Analysis (ICA). Dit resulteert in identificeerbaarheid tot op een teken-permutatie ($H_\sigma$), zonder dat er extra aannames over het dataproces nodig zijn.
• Theorema 3 (Van Statistisch naar Structureel): Als er aannames worden gedaan over het dataproces (namelijk dat het gegenereerd wordt door een gladde, bi-Lipschitz diffeomorfisme van onafhankelijke, niet-Gaussische componenten), dan leidt statistische identificeerbaarheid tot structurele identificeerbaarheid. Dit betekent dat het model de ware latente factoren kan terugvinden.

3. Experimentele Validatie:
De theorie wordt getest op vier niveaus:

• Synthetische controle: Op MNIST met auto-encoders wordt gekeken of het controleren van de bi-Lipschitz-constante (via LeakyReLU 'leak' parameters) de voorspelde $\epsilon$-waarde beïnvloedt.
• Pre-trained modellen: Meten van de alignement tussen verschillende runs van bestaande modellen (Pythia, MAE, ResNet) om te zien of ze voldoen aan de theorie en of ICA de fout verkleint.
• Disentanglement: Toepassen van een "vanilla" auto-encoder gevolgd door lineaire ICA op synthetische datasets (Shapes3D, MPI3D) om te zien of dit leidt tot ontrafeling van factoren.
• Real-world toepassing: Toepassing op een foundation model voor celmicroscopie (OpenPhenom) om biologische variatie te ontrafelen van technische batch-effecten.

Kernresultaten

• Theoretisch: De paper levert de eerste algemene identificeerbaarheidsresultaten voor interne lagen van niet-lineaire modellen (zoals MAE's en GPT's). Het bewijst dat "dynamische isometrie" (een eigenschap van goed getrainde netwerken) voldoende is om de bi-Lipschitz-conditie te garanderen die nodig is voor de theorie.
• Empirisch (Identificeerbaarheid): Experimenten tonen aan dat pre-trained modellen (zoals MAE en Pythia) inderdaad een hoge mate van statistische stabiliteit vertonen. Het toepassen van ICA op de latente ruimte vermindert de alignement-fout aanzienlijk (tot 60% verbetering bij MAE's), wat bevestigt dat de lineaire onbepaaldheid in de praktijk kan worden opgelost.
• Empirisch (Disentanglement): Een simpele combinatie van een standaard auto-encoder en lineaire ICA bereikt state-of-the-art prestaties in disentanglement op synthetische benchmarks, vergelijkbaar met of beter dan gespecialiseerde modellen zoals $\beta$-VAE's, maar met veel minder hyperparameter-tuning.
• Empirisch (Biologie): In het geval van celmicroscopie slaagt de methode erin om batch-effecten (technische variatie) te ontrafelen van biologische variatie. Dit leidt tot een significante verbetering in de generalisatie van downstream taken (zoals het voorspellen van gen-perturbaties) op data buiten de trainingsverdeling.

Betekenis en Impact

Deze paper is significant omdat het de theorie van representatieleren grondig herformuleert:

1. Praktische Toepasbaarheid: Het verschuift de focus van "perfecte identificeerbaarheid" (vaak onmogelijk) naar "bijna-identificeerbaarheid", wat realistisch is voor moderne deep learning modellen.
2. Unificatie: Het verbindt de theorie van statistische stabiliteit met structurele ontrafeling (disentanglement) via een eenvoudige post-processing stap (ICA).
3. Interpretatie van Foundation Models: Het biedt een theoretische basis voor het interpreteren van interne lagen van grote modellen (zoals transformers), wat cruciaal is voor het begrijpen van wat deze modellen daadwerkelijk leren.
4. Biologische Toepassing: Het demonstreert direct nut in de wetenschap door een robuuste methode te bieden om ruis (batch effects) te verwijderen uit complexe biologische datasets zonder supervisie, wat essentieel is voor betrouwbaar AI-onderzoek in de biologie.

Kortom, het paper biedt een solide theoretisch fundament en een praktische recept voor het garanderen van stabiele en interpreteerbare representaties in een breed scala aan moderne machine learning modellen.