Causal Direction from Convergence Time: Faster Training in the True Causal Direction

Dit artikel introduceert Causal Computational Asymmetry (CCA), een methode die de causale richting bepaalt door te observeren dat een neurale netwerkmodel dat de werkelijke causale richting volgt sneller convergeert dan het omgekeerde model, vanwege een hogere onherleidbare verliesvloer en afhankelijke gradiëntruis in de tegenrichting.

De kern

Stel je voor dat je twee dingen ziet die altijd samen gebeuren: als het warm is, worden er veel ijsjes verkocht, en als er veel ijsjes worden verkocht, is het vaak warm. Maar wat veroorzaakt wat? Is het warm weer dat de verkoop van ijsjes stimuleert, of zorgt het eten van ijsjes ervoor dat het warmer wordt?

Dit is een oud raadsel in de wetenschap: correlatie betekent niet causaliteit. Meestal kunnen we dit niet uit de data halen, omdat beide scenario's er statistisch gezien precies hetzelfde uitzien.

Maar een nieuwe methode, bedacht door onderzoeker Abdulrahman Tamim, lost dit op met een slimme, maar verrassend simpele truc. Hij noemt het CCA (Causal Computational Asymmetry).

Hier is hoe het werkt, vertaald naar alledaagse taal:

De Grote Idee: "Het is makkelijker om vooruit te kijken dan terug"

Stel je voor dat je een machine bouwt die moet voorspellen wat er gaat gebeuren.

1. Scenario A (De echte oorzaak): Je leert de machine om te voorspellen hoeveel ijsjes er verkocht worden, gebaseerd op de temperatuur.
2. Scenario B (De omgekeerde richting): Je leert een andere machine om de temperatuur te voorspellen, gebaseerd op het aantal verkochte ijsjes.

De ontdekking van deze paper is: De machine in Scenario A leert veel sneller dan die in Scenario B.

Waarom?

• In de echte richting (Temperatuur → Ijsjes): De relatie is vrij schoon. Warm weer leidt tot ijsjes. De "fouten" die de machine maakt (bijvoorbeeld omdat er een festival was of een storm opkwam) zijn willekeurig en hebben niets te maken met de temperatuur. De machine kan zich makkelijk focussen op het patroon.
• In de verkeerde richting (Ijsjes → Temperatuur): Dit is een rommelige boel. Als je ziet dat er 1000 ijsjes verkocht zijn, zou dat kunnen betekenen dat het 30 graden is, maar het zou ook kunnen betekenen dat het 20 graden is maar er een groot festival was. De "fouten" in deze voorspelling zitten vast aan de uitkomst. De machine probeert een onmogelijke puzzel op te lossen: het proberen te raden van een specifieke oorzaak uit een onduidelijk effect. Het blijft vastlopen in verwarring.

De conclusie: Als je twee neurale netwerken (slimme computerprogramma's) traint, en het ene is veel sneller klaar dan het andere, dan is de snelle richting de echte oorzaak.

Een Leuke Analogie: De Zoutzee

Stel je voor dat je een glas zout water hebt (de oorzaak + het effect).

• De oorzaak (X): Het zoute water.
• Het effect (Y): Het water met een beetje extra zout erin gegooid (de "ruis" of toeval).

Als je probeert het zout te scheiden van het water (de oorzaak vinden uit het effect), is dat heel moeilijk. Je kunt het water misschien een beetje verdampen, maar je krijgt nooit het perfecte zoutkristal terug omdat het zout al door het water is verspreid. Het proces is rommelig en kost veel tijd.

Maar als je water en zout mengt (de oorzaak naar het effect), is dat heel makkelijk. Je gooit het erbij en het is klaar.

De computer doet precies hetzelfde. Het is makkelijker om "zout water te maken" (oorzaak naar gevolg) dan om "zout terug te halen uit het water" (gevolg naar oorzaak). De computer merkt dit op door te kijken hoe snel hij klaar is.

De Regels van het Spel (De "Valstrikken")

De auteur is eerlijk: deze methode werkt niet altijd. Hij noemt drie situaties waarin het misgaat, wat juist bewijst dat de theorie klopt:

1. Lineaire verbanden: Als de relatie perfect recht is (zoals: elke 1 graad warmer = 1 extra ijsje), werkt het niet. Het is dan net zo moeilijk om vooruit als achteruit te kijken. De methode heeft een beetje "kromme" (niet-lineaire) relaties nodig om het verschil te zien.
2. Niet-unieke relaties: Als twee verschillende oorzaken precies hetzelfde effect hebben (bijvoorbeeld: +2 graden en -2 graden geven allebei 0 ijsjes), kan de computer de richting niet meer bepalen.
3. Schalen: Als je de data niet goed "schaalt" (bijvoorbeeld: temperatuur in graden en ijsjes in miljoenen), kan de grootte van de getallen de computer in de war brengen. Je moet alles eerst "normaliseren" (zoals het zetten van een maatstok).

Waarom is dit belangrijk?

Vroeger moesten wetenschappers vaak gissen naar de oorzaak, of dure experimenten doen. Met deze methode kunnen we, puur door te kijken naar hoe snel een computer leert, de richting van de oorzaak bepalen.

• In de geneeskunde: Zorgt een medicijn voor genezing, of zijn het juist de gezonde mensen die het medicijn nemen?
• In de economie: Zorgt een hogere minimumloon voor werkloosheid, of zijn het juist rijke regio's die een hoger loon betalen én weinig werkloosheid hebben?

Samenvattend

De kernboodschap van dit paper is simpel maar krachtig: Het is structureel makkelijker om de toekomst te voorspellen dan het verleden te reconstrueren.

Als je een computer laat proberen te voorspellen, en hij is veel sneller klaar in de ene richting dan in de andere, dan is die snellere richting de oorzaak. De computer "weet" het niet door magie, maar omdat de wiskundige weg in die richting minder struikelblokken heeft.

Dit is een nieuwe manier om de wereld te begrijpen: niet door te tellen, maar door te kijken hoe snel we iets kunnen leren.

Technische samenvatting

Titel: Causale Richting uit Convergentietijd: Snellere Training in de Ware Causale Richting

Auteur: Abdulrahman Tamim (Onafhankelijk Onderzoeker)
Datum: Februari 2026

---

1. Het Probleem: De Causale Richting

Het paper adresseert een fundamenteel probleem in de statistiek en kunstmatige intelligentie: gegeven twee gecorreleerde variabelen $X$ en $Y$, hoe bepaal je welke de oorzaak is en welke het gevolg?

• De Uitdaging: Volgens de "Causal Hierarchy" van Judea Pearl (Rung 1: Observatie) kunnen pure correlaties geen causale richting onthullen. Zonder structurele aannames is het wiskundig onmogelijk om causale conclusies te trekken uit observationele data alleen.
• Huidige Beperkingen: Bestaande methoden zoals RESIT (residu-onafhankelijkheid), IGCI (kolmogorov-complexiteit) en SkewScore hebben beperkingen, bijvoorbeeld bij niet-injectieve functies of lineaire Gaussische mechanismen. Ze opereren vaak in de data-ruimte of complexiteitsruimte, maar niet in de optimalisatieruimte.

2. Methodologie: Causal Computational Asymmetry (CCA)

De kern van het paper is de introductie van Causal Computational Asymmetry (CCA). De centrale hypothese is dat een neurale netwerk sneller convergeert wanneer het wordt getraind in de ware causale richting ($X \to Y$) dan in de omgekeerde richting ($Y \to X$).

Het Mechanisme:

1. Additive Noise Model (ANM): De auteurs veronderstellen een model $Y = f(X) + \varepsilon$, waarbij $f$ een niet-lineaire, injectieve functie is en $\varepsilon$ onafhankelijke ruis is ($\varepsilon \perp X$).
2. Forward Training ($X \to Y$): Het netwerk leert $f$. De residuals (fouten) convergeren naar $\varepsilon$, die per definitie onafhankelijk is van $X$. Dit resulteert in een "schone" gradiëntsignaal en een eenvoudiger optimalisatielandschap.
3. Reverse Training ($Y \to X$): Het netwerk probeert $X$ te voorspellen uit $Y$. Omdat $Y$ ruis bevat die onlosmakelijk verbonden is met $X$ via de niet-injectieve omkering, blijven de residuals statistisch gecorreleerd met $Y$, ongeacht de kwaliteit van het netwerk.
   • Dit creëert een harder optimalisatielandschap met een hogere onherleidbare verliesvloer en niet-separeerbare gradiëntruis.
   • De optimizer heeft strikt meer gradiëntstappen nodig om een bepaalde verliesdrempel te bereiken.

Formele Bewijsvoering:
Het paper levert een formeel bewijs gebaseerd op drie lemma's:

• Lemma 1 (Residu-Afhankelijkheid): In de reverse richting blijven residuals gecorreleerd met de input voor elke eindige benadering.
• Lemma 2 (Landschapscomplexiteit): De reverse richting heeft een hogere populatie-minimale verlieswaarde en een heteroscedastische ruisvloer die niet door batch-grootte kan worden geëlimineerd.
• Lemma 3 (Convergentietijd): Onder de Polyak-Łojasiewicz (PL) conditie vereist een harder landschap strikt meer stappen om te convergeren.
• Theorema 4.4: $E[T_{fwd}] < E[T_{rev}]$. De verwachte stappen voor de causale richting zijn strikt kleiner dan voor de anti-causale richting.

CCL Framework (Causal Compression Learning):
CCA wordt geïntegreerd in een breder framework genaamd CCL, dat vier traditionele benaderingen combineert:

1. MDL (Minimum Description Length): Voor grafregularisatie.
2. Causal Information Bottleneck: Compressie van input met behoud van causale informatie (niet alleen statistische correlatie).
3. Causal Reinforcement Learning: Policy optimalisatie gebaseerd op causale graafstructuur.
4. CCA: Voor het bepalen van de richting van de randen.

De objectieve functie ($L_{CCL+}$) combineert beloning, causale compressie, MDL-straf en de CCA-score.

3. Belangrijkste Bijdragen

1. Eerste Formeel Bewijs: Het paper biedt het eerste formele bewijs dat de causale richting strikt minder verwachte gradiëntstappen vereist dan de omgekeerde richting, gebaseerd op de structuur van het ANM.
2. Nieuwe Criterium: CCA introduceert een nieuw criterium voor causale ontdekking dat werkt in de optimalisatietijd-ruimte, in tegenstelling tot eerdere methoden die in data- of complexiteitsruimte werken.
3. Robuustheid: De methode is architectonisch robuust; het asymmetrische signaal blijft bestaan over verschillende activatiefuncties (Tanh, ReLU), optimalizers (Adam, SGD, RMSProp) en netwerkdieptes.
4. Gedefinieerde Randvoorwaarden: Het paper identificeert en bevestigt theoretisch en experimenteel drie situaties waarin CCA faalt:
   • Lineaire Gaussische mechanismen (symmetrie maakt richtingen ononderscheidbaar).
   • Niet-injectieve functies (bijv. $Y=X^2$), waarbij de reverse regressie kan degenereren naar een constante.
   • Gebrek aan normalisatie (z-scoring is verplicht; anders domineert schaalverschil het signaal).

4. Resultaten en Experimenten

De auteurs hebben hun methoden getest op synthetische data en een real-world benchmark:

• Synthetische Data (6 Architecturen):
  • Injectieve DGPs (Sinus, Exponentieel): 30/30 correcte identificaties.
  • Cubische DGPs ($Y=X^3$): 26/30 correct (met z-scoring). Zonder z-scoring daalt dit naar 6/30, wat de noodzaak van normalisatie bevestigt.
  • Niet-injectieve DGPs ($Y=X^2$): 30/30 fout (zoals voorspeld door de theorie; de reverse richting convergeert extreem snel naar 0).
  • Lineaire Gaussische DGPs: 0/30 correct (zoals voorspeld; geen asymmetrie).
• Tübingen Cause-Effect Benchmark:
  • Op 108 real-world paren bereikte CCA een nauwkeurigheid van 96% (AUC 0.96).
  • Dit overtreft bestaande methoden zoals ANM/RESIT (63%) en IGCI (~60%).
• CCL+ Convergentie: Experimenten tonen monotoon dalend verlies in de CCL+ loop, bevestigend dat het geïntegreerde framework convergeert en spurious edges (schijnbare correlaties) uitsluit bij voldoende regularisatie.

5. Betekenis en Toekomstperspectief

• Theoretische Implicatie: Het paper vestigt dat "leren van oorzaak naar gevolg" wiskundig eenvoudiger is dan "leren van gevolg naar oorzaak" in neurale netwerken, puur vanwege de structuur van de ruis in het data-generatieproces.
• Praktische Toepassing: CCA biedt een modelvrije manier om causale richtingen te bepalen zonder complexe structurele vergelijkingen op te stellen. Dit is waardevol voor domeinen zoals geneeskunde (onderscheiden van drugseffecten en patiëntselectie), economie en genetica.
• Beperkingen:
  • Huidige validatie is beperkt tot bivariate (twee-variabele) scenario's.
  • Vereist dat mechanismen ongeveer niet-lineair en injectief zijn.
  • Vereist interventiedata voor het volledige CCL-framework (hoewel CCA alleen observationele data nodig heeft voor richtingbepaling).
• Toekomst: De volgende stap is het uitbreiden naar multivariate systemen, het hanteren van niet-injectieve mechanismen, en het integreren van "Rung 3" (counterfactuele redenering) via twin-networks.

Conclusie:
Dit paper levert een fundamentele doorbraak door te bewijzen dat de convergentiesnelheid van neurale netwerken een geldig en robuust signaal is voor het bepalen van causale richting. Het combineert dit in een volledig bewezen theoretisch raamwerk (CCL) dat samenvoegt wat eerder losse theorieën waren (compressie, PAC-learning, causaliteit) tot een samenhangend systeem voor causale ontdekking en interventie.