OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions

Dit paper introduceert OrthoFormer, een transformer-architectuur die instrumentele variabele schatting via neurale controlefuncties integreert om correlatief leren te overwinnen en causale mechanismen te modelleren voor robuustheid bij distributieveranderingen.

De kern

Het Grote Probleem: De "Goocheltruc" van AI

Stel je voor dat je een superintelligente robot (een Transformer) wilt leren hoe het weer werkt. Je geeft hem een jaar lang dagboeken van het weer.
De robot leert snel: "Als er vandaag wolken zijn, regent het morgen."

Maar hier zit een valkuil. Stel dat er een onzichtbare factor is, bijvoorbeeld de seizoenen.

• In de winter is het vaak bewolkt én vaak nat.
• In de zomer is het vaak zonnig én droog.

De robot ziet de wolken en denkt: "Ah! Wolken veroorzaken regen!"
Maar dat is niet waar. De wolken en de regen worden beide veroorzaakt door de winter (de onzichtbare factor). De robot heeft een schijnverband geleerd. Als je de robot nu in een nieuwe situatie zet (bijvoorbeeld een andere planeet waar wolken niet tot regen leiden), faalt hij totaal.

In de wetenschap noemen we dit confounding: de robot kan niet zien wat de echte oorzaak is en wat slechts een bijverschijnsel.

De Oplossing: OrthoFormer

De auteurs van dit paper, Charles Luo en collega's, hebben een nieuwe architectuur bedacht genaamd OrthoFormer. Ze zeggen: "Stop met gokken op patronen. We moeten de robot dwingen om echte oorzaken te vinden."

Ze doen dit met een slimme truc uit de economie, genaamd Instrumentele Variabelen, maar dan ingebouwd in de hersenen van de AI.

Hier is hoe het werkt, stap voor stap, met een analogie:

1. De "Tijds-Arrow" (Structuur)

Stel je voor dat je probeert te voorspellen of een bal morgen rolt. Je mag alleen kijken naar wat er vandaag of gisteren is gebeurd. Je mag niet naar de toekomst kijken.
OrthoFormer zorgt ervoor dat de AI strikt kijkt naar het verleden. Ze gebruiken een "masker" (een soort bril) dat de AI verbiedt om naar te toekomstige informatie te kijken. Dit zorgt voor een duidelijke richting: oorzaak komt vóór gevolg.

2. De "Tijds-Vertraging" als Sleutel (Instrument)

Dit is het meest creatieve deel.
Stel je voor dat je wilt weten of roken (oorzaak) kanker (gevolg) veroorzaakt. Maar mensen die roken, hebben vaak ook een stressvol leven (de onzichtbare factor).
Om dit op te lossen, kijken economen niet naar de huidige roker, maar naar wat de roker 10 jaar geleden deed.

• Waarom? Omdat wat je 10 jaar geleden deed, niet beïnvloed wordt door je huidige stress.
• Maar het is wel een goede voorspeller voor wat je nu doet.

OrthoFormer doet precies dit. Als de AI een voorspelling moet maken voor moment $T$, kijkt hij niet naar $T-1$ (want dat is nog te beïnvloed door de huidige "stress"), maar naar $T-10$ (of $T-k$).

• De Analogie: Het is alsof je een spiegel gebruikt die 10 seconden vertraging heeft. De "spiegel" (het verleden) is schoon en niet besmet door de huidige chaos.

3. De "Twee-Stappen Truc" (Neurale Controlefunctie)

Normaal gesproken probeert een AI alles in één keer te leren. OrthoFormer splitst het proces in twee strikte stappen, alsof je twee verschillende mensen aan het werk zet:

• Stap 1 (De Voorspeller): Deze AI kijkt naar het oude verleden ($T-10$) en voorspelt wat er nu zou moeten gebeuren.
• Stap 2 (De Beslissingsnemer): Deze AI kijkt naar wat er echt gebeurt. Hij vergelijkt dit met de voorspelling van Stap 1.
  • Het verschil tussen voorspelling en realiteit is de "ruis" of de "onverklaarde factor".
  • De Magische Knop: De auteurs zorgen ervoor dat Stap 2 niet kan terugkoppelen naar Stap 1. Stap 2 mag niet zeggen: "Hé Stap 1, pas je voorspelling aan zodat ik makkelijker kan winnen."
  • Als ze dit wel zouden doen, zou Stap 1 gaan "valsspelen" en de echte oorzaak vergeten. Dit noemen ze in het paper de "Neurale Verboden Regressie". Het is alsof een student die zijn huiswerk laat nakijken door de leraar, en de leraar vervolgens de antwoorden aanpast zodat de student een 10 haalt, in plaats van de student echt te leren.

Waarom is dit belangrijk?

1. Betrouwbaarheid: Als je deze AI in de echte wereld zet (bijvoorbeeld voor zelfrijdende auto's of medische diagnoses), zal hij niet faals als de situatie iets anders is dan tijdens het trainen. Hij heeft de echte regels geleerd, niet de toevallige patronen.
2. De Drie-Weg Dilemma: De paper laat zien dat je een keuze moet maken.
   • Kijk je heel ver terug? Dan ben je zeker dat je geen "ruis" oppikt (goed voor de oorzaak), maar is de voorspelling minder nauwkeurig (minder relevant).
   • Kijk je net iets terug? Dan is het nauwkeuriger, maar kun je nog steeds een beetje "verkeerd" worden beïnvloed.
   • OrthoFormer helpt je de perfecte balans te vinden.

Samenvatting in één zin

OrthoFormer is een slimme AI die weigert om op "toeval" te vertrouwen; in plaats daarvan kijkt hij bewust naar het verre verleden om de echte oorzaken van dingen te vinden, zelfs als dat betekent dat hij in het begin iets minder goed presteert op de test, maar later veel betrouwbaarder is in de echte wereld.

Het paper is een stap in de richting van AI die niet alleen slim is in het voorspellen, maar ook slim is in het begrijpen van hoe de wereld echt werkt.

Technische samenvatting

Probleemstelling: Correlatie versus Causaliteit in Transformers

Hoewel Transformer-architecturen uitstekend presteren in sequentiemodeling, lijden ze onder een fundamenteel epistemologisch probleem: ze leren correlaties in plaats van causale mechanismen.

• Het Kernprobleem: Transformers verwarren statische achtergrondfactoren (zoals intrinsieke identiteit, stijl of context) met dynamische causale stromen (toestandsevolutie). Latente, niet-geobserveerde variabelen (confounders) die zowel de huidige als de volgende toestand beïnvloeden, creëren schijnbare autocorrelaties.
• Gevolg: Het model leert patronen zoals "systemen met bepaalde statische kenmerken vertonen bepaalde sequenties" in plaats van "hoe de volgende toestand evolueert vanuit de huidige". Dit leidt tot catastrofale uitval bij distributieveranderingen (Out-of-Distribution, OOD) en maakt counterfactual reasoning onmogelijk.
• Econometrische Context: In een autoregressief model $h_t = f(h_{t-1}) + \epsilon_t$ zorgt een geserialiseerde foutterm (door een latente confounder $U_t$) voor endogeniteit ($Cov(h_{t-1}, \epsilon_t) \neq 0$). Hierdoor is de schatting via OLS (Ordinary Least Squares) inconsistent.

Methodologie: OrthoFormer

De auteurs stellen OrthoFormer voor, een architectuur die Instrumental Variable (IV) schatting direct in de Transformer-blokken integreert via Neural Control Functions. Het systeem rust op vier theoretische pijlers:

1. Structurale Directionaliteit: Het gebruik van de tijdspijl om toekomstige "lekkage" te blokkeren, zodat instrumenten altijd voorafgaan aan de effecten.
2. Representatie-Orthogonaliteit: Het afdwingen van orthogonaliteit tussen latente representaties en ruis/statische achtergronden om pure dynamische signalen te isoleren.
3. Causale Sparsiteit: Het beperken van de aandacht (attention) tot geldige instrumentele lags (een benadering van de Markov-klep) en het negeren van irrelevante tussenstappen.
4. End-to-End Consistentie: Het garanderen van gezamenlijke optimalisatie zonder foutopbouw door middel van gradient detachment (gradiëntloskoppeling).

De Architectuur:
OrthoFormer bestaat uit drie hoofdcomponenten:

• Transformer Encoder: Verwerkt de inputsequentie naar hidden states.
• Instrumental Attention Mask: Een gespecialiseerde module die de query op positie $t$ beperkt tot keys bij posities $\leq t-k$. Hiermee wordt $Z_t = h_{t-k}$ (de vertraagde toestand) structureel geforceerd als het instrument.
• Neural Control Function Module (Tweestapsproces):
  • Stap 1: Voorspelt het endogene component van de instrument-context.
  • Residu: Het residu $R_t$ wordt berekend en gradiëntlosgekoppeld (detach()). Dit is cruciaal: zonder dit zou Stap 2 de parameters van Stap 1 beïnvloeden, wat de causale interpretatie vernietigt.
  • Stap 2: Voorspelt het doel met als input de concatenatie van de voorspelling van Stap 1, het losgekoppelde residu en het instrument.

Belangrijkste Bijdragen

1. Architecturale Innovatie: Een mechanisme waarbij vertraagde hidden states fungeren als instrumenten via een "Instrumental Attention Mask", gecombineerd met een tweestaps-neuraal netwerk dat gradiëntloskoppeling gebruikt om causale scheiding af te dwingen.
2. Theoretisch Bewijs:
   • Bewijs van Bias-reductie: OrthoFormer bereikt een bias die strikt lager is dan OLS voor elk geldig instrument. De resterende bias neemt geometrisch af als $O(\rho^k)$, waarbij $\rho$ de persistentie van de confounder is en $k$ de lag.
   • MSE Decompositie: De fout wordt opgesplitst in vier termen, waarbij de onherleidbare bias door instrument-endogeniteit (schaal $\rho^{2k}$) dominant is en niet verdwijnt bij toenemende steekproefgrootte (in tegenstelling tot klassieke 2SLS met perfecte instrumenten).
   • Het Bias-Variantie-Exogeniteit Dilemma: Een fundamenteel compromis wordt geïdentificeerd: het vergroten van de lag $k$ verbetert de exogeniteit (minder bias) maar verzwakt de relevantie van het instrument (hoge variantie).
3. Neural Forbidden Regression: De auteurs identificeren een fenomeen waarbij het verwijderen van de gradiëntloskoppeling de voorspellingsfout (loss) verbetert, maar de causaliteit vernietigt. Dit toont aan dat een lagere loss niet noodzakelijk leidt tot betere causale schattingen.

Resultaten en Experimentele Validatie

De theorie werd gevalideerd op synthetische data (AR(1) proces met latente AR(1) confounders) vergeleken met baselines zoals OLS, DeepIV, CausalTransformer en Dragonnet.

• Theoretische Voorspellingen Bevestigd: De IV-bias neemt monotoon af met toenemende lag. De empirische correlatie tussen instrument en fout volgt nauwkeurig de theoretische $\rho^k$-snelheid.
• OOD-Generalisatie: OrthoFormer toont aanzienlijk betere robuustheid bij distributieveranderingen (waar de persistentie $\rho$ verschilt) vergeleken met OLS-baselines, ten koste van een lichte efficiëntieverlies binnen de trainingsdistributie.
• Diagnostische Tests: AR(2)-tests op de residuals van Stap 2 bevestigen dat de gebruikte instrumenten voldoen aan de vereiste exogeniteit (geen tweede-orde seriële correlatie).
• Ablatiestudies: Het verwijderen van de control-functie leidt tot de grootste prestatiedaling. Het verwijderen van de lag-mask (reductie naar $k=1$) vermindert de prestaties licht, consistent met de hogere endogeniteit.
• Efficiëntie-Consistentie Trade-off: OrthoFormer heeft een hogere voorspellingsfout dan OLS omdat het bewust geen gebruik maakt van endogene variatie (schijnbare correlaties). Dit bevestigt dat IV-schattingen onnodig en schadelijk zijn als er geen confounding aanwezig is.

Betekenis en Toekomstperspectief

OrthoFormer vertegenwoordigt een paradigmaverschuiving van correlatief naar causaal sequentiemodeling.

• Significantie: Het biedt een oplossing voor het fundamentele probleem van endogeniteit in diepe sequentiemodellen door causale inferentieprincipes in de architectuur te embedden, in plaats van ze als na-post-hoc analyse te behandelen.
• Beperkingen: De huidige theorie rust op synthetische, diagonale AR(1) dynamieken. Real-world data met dichte transitiematrices en niet-lineaire dynamiek vereist verdere uitbreiding. De bias is irreducibel voor eindige lags als confounders zeer persistent zijn ($\rho \to 1$).
• Toekomst: Richtingen omvatten toepassing op real-world data, adaptieve lag-selectie, en het integreren van feature-level sparsiteit (bijv. via sparse autoencoders) voor monosemantic feature discovery.

Kortom, OrthoFormer bewijst dat het actief scheiden van dynamische causale stromen van statische confounders essentieel is voor robuuste, interpreteerbare en betrouwbare besluitvorming onder distributieverandering.