📊 statistics

Sanity Checking Causal Representation Learning on a Simple Real-World System

Dit artikel evalueert state-of-the-art methoden voor causale representatieleer op een eenvoudig, reëel optisch experiment met bekende grondwaarheid en stelt vast dat deze consistent falen in het herstellen van onderliggende causale factoren vanwege reproduceerbaarheidsproblemen en de schending van belangrijke theoretische aannames, wat een aanzienlijke kloof tussen theoretische belofte en praktische toepassing benadrukt.

Oorspronkelijke auteurs: Juan L. Gamella, Simon Bing, Jakob Runge

Gepubliceerd 2026-09-15

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Juan L. Gamella, Simon Bing, Jakob Runge

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Decennialang hebben wetenschappers gezocht naar een manier om computers te leren de wereld niet alleen te zien als een waas van pixels, maar als een verzameling van duidelijke oorzaken en gevolgen. Stel je voor dat je probeert een complexe machine te begrijpen door alleen naar de rook te kijken die uit de uitlaat komt; je kunt misschien raden wat er binnenin gebeurt, maar je kunt het niet zeker weten. Dit is de uitdaging van causal representation learning (het leren van causale representaties). Het is een vakgebied binnen de kunstmatige intelligentie dat ernaar streeft om de lagen van ruwe data af te pellen om de verborgen, fundamentele factoren te vinden die een systeem daadwerkelijk aansturen. Als een computer deze onderliggende oorzaken kan leren, zou hij betere voorspellingen kunnen doen, kan hij begrijpen waarom dingen misgaan en kan hij zich aanpassen aan nieuwe situaties, net zoals een mens dat doet. De belofte is dat als we machines kunnen leren om deze ware oorzaken te identificeren, ze veel betrouwbaarder en nuttiger zullen worden in de echte wereld, in plaats van alleen patronen in een dataset te onthouden.

Er is echter een aanzienlijke kloof ontstaan tussen de theorie en de realiteit. Veel nieuwe methoden om computers te leren deze oorzaken te vinden, zijn alleen getest op door de computer gegenereerde data, waarbij de regels perfect bekend zijn en de ruis zorgvuldig gecontroleerd wordt. Het is alsof je een nieuwe automotor alleen test op een loopband in een laboratorium; de motor draait daar misschien perfect, maar dat garandeert niet dat hij zal starten op een regenachtige weg. Onderzoekers vermoedden al lang dat deze methoden zouden kunnen worstelen wanneer ze geconfronteerd worden met de chaotische, onvoorspelbare aard van de echte wereld, maar tot nu toe was er geen eenvoudige, real-world test om dit te bewijzen.

Een team van onderzoekers heeft nu zo'n test gebouwd, met behulp van een fysiek apparaat dat eenvoudig genoeg is om te begrijpen, maar echt genoeg om ertoe te doen. Ze construeerden een "lichttunnel", een lange kamer met een regelbare lichtbron, twee draaiende filters die de richting van lichtgolven veranderen, en een camera samen met verschillende sensoren om de lichtintensiteit te meten. De onderzoekers konden de helderheid van de rode, groene en blauwe lichten, evenals de hoek van de twee filters, precies controleren. Omdat zij deze controles zelf instelden, wisten zij de exacte oorzaak van elke verandering in het licht. De camera en de sensoren registreerden vervolgens de resulterende beelden en metingen, die een verwarrende mix vormden van al die inputs. Deze opstelling bood een perfecte grondwaarheid: de onderzoekers wisten exact wat de oorzaken waren, zodat zij konden zien of de computeralgoritmen er ook succesvol in slaagden deze weer te vinden.

Het team nam drie verschillende, toonaangevende benaderingen van causal representation learning en vroeg hen dit puzzelstukje op te lossen. De eerste methode vertrouwde erop dat de computer gegevens te zien kreeg uit verschillende "omgevingen" waar de controles doelbewust werden gewijzigd. De tweede methode vroeg de computer om de gegevens vanuit meerdere verschillende hoeken of "perspectieven" tegelijkertijd te bekijken. De derde methode probeerde te leren van een opeenvolging van gebeurtenissen in de tijd, door te kijken naar hoe het systeem evolueerde. In een perfecte wereld hadden deze methoden gemakkelijk de helderheid van rood, groen en blauw en de twee filterhoeken moeten kunnen identificeren als de verborgen oorzaken.

De resultaten waren een harde realiteitscheck. Geen van de methoden slaagde erin om consequent de ware onderliggende oorzaken te achterhalen uit de echte wereldgegevens. Wanneer de onderzoekers de algoritmen de werkelijke afbeeldingen en sensoraflezingen uit de lichttunnel voerden, faalden de computers erin de oorzaken te ontwarren. Ze produceerden resultaten die zwak, inconsistent of volkomen fout waren. Om te begrijpen waarom dit gebeurde, maakten de onderzoekers een vereenvoudigde, door de computer gegenereerde versie van hetzelfde experiment. In deze synthetische versie was de relatie tussen de controles en de afbeeldingen perfect vloeiend en voorspelbaar, zonder de kleine, willekeurige fluctuaties die optreden in echte elektronica.

Toen ze dezelfde algoritmen op deze schone, synthetische data draaiden, waren de resultaten gemengd. Eén van de methoden, die vertrouwde op het zien van verschillende omgevingen, werkte eindelijk goed op de synthetische data en herstelde de oorzaken met hoge nauwkeurigheid. Dit suggereerde dat de methode in theorie solide was, maar te gevoelig voor de kleine, willekeurige ruis die aanwezig is in de echte sensoren. De andere twee methoden faalden echter net zo erg op de synthetische data als op de echte data. Dit was een verrassende ontdekking. Het betekende dat het probleem voor deze methoden niet alleen de ruis van de echte wereld was, maar iets dieper liggend in hoe de algoritmen zijn gebouwd of hoe ze zijn getraind. Ze konden het puzzelstukje simpelweg niet oplossen, zelfs niet toen de regels zo eenvoudig mogelijk waren gemaakt.

De studie benadrukt een cruciaal probleem in het vakgebied: het verschil tussen een methode die werkt in een gecontroleerde simulatie en een methode die werkt in de echte wereld. De onderzoekers ontdekten dat de aannames die deze algoritmen maken over hoe data wordt gegenereerd, vaak niet standhouden wanneer ze worden geconfronteerd met echte fysieke systemen. Bijvoorbeeld, sommige methoden gaan ervan uit dat de relatie tussen de oorzaak en de observatie perfect vloeiend en voorspelbaar is, maar echte sensoren introduceren kleine, onvoorspelbare trillingen die deze aannames doorbreken. Bovendien ontdekte het team dat het succes van deze methoden vaak zwaar afhing van specifieke keuzes gemaakt door de programmeurs, zoals de exacte vorm van het computernetwerk of de manier waarop de data werd voorbereid, in plaats van de kern van de theorie zelf.

Dit werk betekent niet dat het doel om computers te leren begrijpen van oorzaak en gevolg onmogelijk is. In plaats daarvan dient het als een noodzakelijke "sanity check", een eenvoudige realiteitstest die onthult waar de huidige instrumenten tekortschieten. Door aan te tonen dat zelfs de meest geavanceerde methoden worstelen met een eenvoudig, goed begrepen fysiek systeem, hebben de onderzoekers een duidelijk pad vooruit geïdentificeerd. Het vakgebied moet verder gaan dan testen op perfecte, door de computer gegenereerde data en beginnen met het omgaan met de imperfecties van de echte wereld. Alleen door methoden te bouwen die de ruis en complexiteit van werkelijke fysieke systemen kunnen hanteren, kunnen we hopen op kunstmatige intelligentie die de wereld waarin zij leeft werkelijk begrijpt.

Technische Samenvatting: Een Sanity Check op Causal Representation Learning op een Eenvoudig Real-World Systeem

Probleemstelling

Causal Representation Learning (CRL) streeft naar het terugwinnen van het onderliggende causale latente grondwaarheidmodel uit hoogwaardige, verstrengelde observaties van een systeem. Hoewel er aanzienlijke theoretische vooruitgang is geboien met betrekking tot de identificeerbaarheid van causale factoren onder specifieke assumpties (bijv. specifieke mengfuncties, interventietypes of temporele structuren), mist het vakgebied betekenisvolle real-world benchmarks. Bestaande evaluaties vertrouwen voornamelijk op synthetische datasets die gegenereerd zijn volgens de specifieke assumpties van de geteste methoden. Deze praktijk valideert weliswaar de theoretische fundamenten, maar biedt beperkt inzicht in de toepasbaarheid van deze methoden op real-world problemen waar datagenereerde processen complex, ruisachtig en vaak in strijd zijn met theoretische assumpties.

Methodologie

De auteurs introduceren een "sanity check" gebaseerd op een gecontroleerd, real-world fysiek systeem dat een "lichttunnel" wordt genoemd (Gamella et al., 2025). Dit systeem dient als testbed waar de grondwaarheid bekend is, wat directe evaluatie van CRL-methoden mogelijk maakt.

Het Fysieke Systeem

Het systeem bestaat uit een controleerbare lichtbron (Rode, Groene, Blauwe LED's), twee lineaire polarisatoren gemonteerd op draaiende frames, een camera en diverse licht- en hoeksensoren.

Grondwaarheid (Latente Factoren): De controle-inputs: helderheid van de lichtbron ( $R, G, B$ ) en polarisatorhoeken ( $\theta_1, \theta_2$ ).
Observaties: Beelden vastgelegd door de camera en numerieke sensoraflezingen (lichtintensiteit, stroomsterkte en ruisachtige hoekmetingen).
Mengfunctie: De transformatie van inputs naar observaties wordt bepaald door fysische principes (bijv. de wet van Malus voor polarisatie, de omgekeerde kwadratenwet voor lichtintensiteit). Cruciaal is dat dit proces stochastisch is vanwege fluctuaties in de lichtbron en sensorruis, en niet puur additief is.

Experimenteel Ontwerp

De auteurs evalueerden drie representatieve families van CRL-methoden:

Contrastive CRL: Methoden die interventionele data vereisen (Buchholz et al., 2023).
Multiview CRL: Methoden die gebruikmaken van meerdere disjuncte verzamelingen van observaties (Yao et al., 2024c).
Temporal CRL: Methoden die causale temporele structuren exploiteren (CITRIS, Lippe et al., 2022).

Om de oorzaken van falen te isoleren, voerden de auteurs een synthetische ablatie uit. Ze vervingen het real-world datagenereerde proces door een deterministische simulator die synthetische beelden en sensormetingen produceert vanuit dezelfde inputs. Deze simulator houdt zich strikt aan de theoretische assumpties van de geëvalueerde methoden (bijv. deterministische menging, additieve ruis waar aangenomen), wat dient als controle om onderscheid te maken tussen "misspecificatie" (geschonden assumpties) en "optimalisatie" (falen om te convergeren) fouten.

Belangrijkste Bijdragen

Real-World Benchmark: De introductie van de lt_crl_benchmark_v1 dataset, afgeleid van een fysiek optisch experiment, die een platform biedt voor de evaluatie van de grondwaarheid voor CRL.
Synthetische Ablatie Framework: Een methodologie om real-world data te vervangen door een deterministische surrogaat om de robuustheid van CRL-methoden te testen tegen de specifieke ruis en stochastiek van real-world mengfuncties.
Uitgebreide Evaluatie: Een systematische evaluatie van state-of-the-art methoden over verschillende theoretische paradigma's op zowel real als synthetische data, vergezeld van uitgebreide hyperparameter searches en code-reproductiepogingen.
Publieke Bronnen: De release van de dataset, dataverzamelingprocedures en reproductiecode om toekomstig onderzoek te faciliteren.

Resultaten

De evaluatie toonde aan dat alle geteste methoden er niet in slaagden om de onderliggende causale factoren consistent te herstellen op de real-world data.

Contrastive CRL (Buchholz et al., 2023):
- Synthetische Data: Presteerde goed en herstelde de latente variabelen en de causale graaf met hoge nauwkeurigheid (MCC $\approx$ 0.89).
- Real Data: De prestaties stortten in (MCC $\approx$ 0.28). De methode slaagde er niet in de latente variabelen te herstellen en produceerde inconsistente causale grafen over verschillende willekeurige initialisaties heen.
- Conclusie: Het falen wordt toegeschreven aan de misspecificatie van de mengfunctie. De methode gaat uit van een deterministisch mengproces, maar het echte systeem bevat complexe, niet-additieve stochastische ruis.
Multiview CRL (Yao et al., 2024c):
- Prestaties: Faalde in het herstellen van content-variabelen (specifiek de polarisatorhoeken $\theta_1, \theta_2$ ) uit de intersectie van beeld- en sensorviews, zelfs toen de theoretische assumpties (zoals injectiviteit) in de synthetische ablatie werden nagekomen.
- Observatie: De prestaties waren vergelijkbaar slecht op zowel real als synthetische data. De auteurs hypothetiseren dat hoewel gesuperviseerde modellen de polarisatorhoeken gemakkelijk uit beelden kunnen herstellen, self-supervised multiview methoden moeite hebben om deze informatie uit de beeldmodaliteit te vangen, mogelijk door afhankelijkheden tussen datamodaliteiten.
Temporal CRL (CITRIS, Lippe et al., 2022):
- Prestaties: Faalde in het herstellen van de grondwaarheid factoren op zowel real als synthetische data (lage diagonale $R^2$ scores, hoge off-diagonale correlaties).
- Conclusie: Het falen komt waarschijnlijk voort uit een combinatie van misspecificatie en optimalisatieproblemen. De complexiteit van de submodules van de methode kan fouten versterken, en de specifieke architectuur of trainingsregime is mogelijk niet robuust tegen de karakteristieken van de data, zelfs niet in de deterministische setting.

Betekenis en Claims

Het artikel positioneert zichzelf als een "sanity check" in plaats van een definitieve kritiek op het gehele vakgebied. De auteurs maken de volgende bescheiden claims:

Kloof tussen Theorie en Praktijk: Er is een scherp contrast tussen de theoretische belofte van CRL-methoden en hun prestaties in een eenvoudige, gecontroleerde real-world setting.
Reproduceerbaarheidsproblemen: De resultaten benadrukken een "reproduceerbaarheidsprobleem", waarbij methoden vaak falen, zelfs bij vereenvoudigde synthetische ablaties, wat suggereert dat implementatiedetails, pre-processing en optimalisatiekeuzes een grotere rol spelen dan louter theoretische garanties.
Rol van Assumpties: De studie laat zien dat veelvoorkomende assumpties over de mengfunctie (bijv. determinisme, additiviteit) cruciaal zijn voor prestaties, maar in real-world data vaak niet standhouden.
Negatieve Resultaten zijn Informatief: Een falen op dit eenvoudige testbed duidt op een hoge waarschijnlijkheid van falen in complexere real-world scenario's. Succes op deze benchmark garandeert echter geen succes in alle toepassingen.
Oproep tot Actie: De auteurs stellen dat hoewel theoretische vooruitgang noodzakelijk is, het veld zich ook moet richten op de "engineering inspanning" van het implementeren van robuuste, reproduceerbare algoritmen. Zij pleiten voor het gebruik van real-world fysieke testbeds om het moeilijke probleem van CRL op te splitsen in beheersbare stappen, en verder te gaan dan louter synthetische validatie.

Het artikel concludeert dat zonder de kloof te overbruggen tussen theoretische assumpties en de rommelige realiteit van fysieke datageneratie, de toepassing van CRL op real-world problemen beperkt blijft.