Bias-robust causal inference for panel data

Stel je voor dat je een detective bent die een mysterie probeert op te lossen: "Heeft dit nieuwe beleid echt levens veranderd?" In de echte wereld krijgen we zelden de kans om perfecte experimenten uit te voeren waarbij we een schakelaar omzetten en willekeurig mensen toewijzen aan het ontvangen van het beleid terwijl anderen dat niet doen. In plaats daarvan moeten we kijken naar de rommelige, observationele data die we al hebben. Om te achterhalen wat er zou zijn gebeurd zonder het beleid (het "contrafactuele"), bouwen statistici modellen – zoals digitale tijdmachines – die proberen de toekomst te voorspellen op basis van het verleden. Ze gebruiken vaak geavanceerde wiskunde om verborgen patronen te vinden, zoals een gemeenschappelijke "trend" of "factor" die iedereen beïnvloedt, en gebruiken die patronen vervolgens om te raden hoe de behandelde groep eruit zou hebben gezien als ze nooit behandeld waren. Het probleem is dat deze tijdmachines niet perfect zijn. Als het model een verborgen patroon mist of de verkeerde trend raadt, is de voorspelling fout. Traditionele methoden gedragen zich vaak alsof ze 100% zeker zijn van hun voorspelling, waarbij ze negeren dat hun "tijdmachine" misschien een beetje defect is, wat leidt tot conclusies die er zelfverzekerd uitzien maar eigenlijk wankel zijn.

Dit artikel introduceert een nieuwe, voorzichtigere manier om dit detectivewerk te doen, specif|iek voor data die veel verschillende mensen of plaatsen over de tijd volgen (zogenaamde paneldata). De auteur, Angelos Alexopoulos, betoogt dat in plaats van te doen alsof onze voorspellingen perfect zijn, we moeten toegeven dat ze fout kunnen zijn en die onzekerheid direct in ons uiteindelijke antwoord te verwerken. Denk aan een weersverwachting: in plaats van alleen te zeggen "Het gaat om 14:00 uur regenen", zegt een bias-robuuste methode: "Het gaat om 14:00 uur regenen, maar als ons model er een bepaalde hoeveelheid naast zit, kan de regen eigenlijk om 13:30 of 14:30 beginnen." Het papier ontwikkelt een methode die de voorspelling aanpast door te kijken naar de "overgebleven" fouten in de data en creëert een vangnet (een breder interval) dat garandeert dat het ware antwoord erin ligt, zelfs als het model niet perfect is.

De Tijdmachine en het Vangnet

Het artikel pakt een specifiek hoofdpijndossier in de economie en sociale wetenschappen aan: hoe de effectiviteit van een beleid te meten wanneer we geen gecontroleerd experiment kunnen uitvoeren. De standaardbenadering, zoals de "Generalized Synthetic Control" (GSC) methode, is als het proberen te matchen van de outfit van een beroemdheid door stukjes kleding samen te naaien van een groep gewone mensen. Het werkt goed als de beroemdheid en de gewone mensen erg vergelijkbaar zijn in hun onderliggende stijl (factoren). Maar als het model de stijl fout krijgt – zeg, als het een subtiele trend mist die alleen de beroemdheid volgt – dan ziet de "samengenaaide" outfit er fout uit, en is de geschatte impact van het beleid vertekend. Erger nog, traditionele methoden berekenen hun "vertrouwen" alsof het naaiwerk perfect was, waarbij ze negeren dat het patroon misschien fout is.

De auteur stelt een "bias-robuuste" methode voor. Stel je voor dat je probeert het gewicht van een mysterieuze doos te raden. Je hebt een weegschaal die er misschien iets naast zit. In plaats van alleen het getal af te lezen en te zeggen: "Hij weegt 10 pond", zeg je: "Hij weegt 10 pond, maar mijn weegschaal kan tot 2 pond afwijken, dus het echte gewicht ligt ergens tussen de 8 en 12 pond." De nieuwe methode doet precies dit voor beleidseffecten. Het neemt de standaardvoorspelling, controleert hoeveel het model fout kan zitten (de "contrafactuele fout"), en voegt vervolgens een "veiligheidsmarge" toe aan het eindresultaat. Het gebruikt een wiskundige truc genaamd "minimax" optimalisatie, wat lijkt op een spel waarbij je de beste gok probeert te vinden die werkt, zelfs in het worst-case scenario van hoe fout het model zou kunnen zijn.

Wat de Simulatiesen lieten zien

Om dit idee te testen, heeft de auteur computer-simulaties uitgevoerd – het creëren van nepwerelden waar het ware antwoord bekend is als nul (wat betekent dat het beleid niets deed). In deze simulaties bleek de nieuwe methode een betrouwbare detective te zijn. Wanneer de standaard "Generalized Synthetic Control" methode probeerde het effect te raden, was deze vaak extreem zelfverzekerd maar volledig fout, waarbij het de ware waarde (nul) bijna altijd miste, vooral wanneer het model niet genoeg "factoren" had om de data te beschrijven. In een scenario waarin het model een cruciale trend miste, waren de betrouwbaarheidsintervallen van de standaardmethode zo smal dat ze de waarheid 100% van de tijd misten.

In contrast hiermee waren de intervallen van de nieuwe methode breder, maar ze vingen de waarheid altijd. Het was als een visnet dat groter en zwaarder was, maar nooit de vis liet ontsnappen. Het artikel merkt op dat dit een prijs heeft: de intervallen zijn breder, wat betekent dat de schatting minder precies is. De auteur voert echter aan dat een beetje minder precies zijn maar wel correct zijn, veel beter is dan zeer precies zijn maar fout. In de simulaties behield de nieuwe methode een succespercentage van 100% in het vastleggen van de waarheid, terwijl het succespercentage van de standaardmethode bijna naar nul daalde wanneer het model slechts licht imperfect was.

De Praktijktest: Registratie op de Dag van de Verkiezingen

De auteur paste deze methode vervolgens toe op een praktijkgeval: het effect van registratie op de dag van de verkiezingen (Election Day Registration, EDR) op de opkomst van de stemmen. Eerdere studies met de standaardmethode schatten dat EDR de opkomst met ongeveer 4,9 procentpunten verhoogde. Wanneer de auteur de nieuwe, bias-robuuste methode toepaste, bleef de schatting zeer vergelijkbaar (rond de 4,99 punten), maar het "veiligheidsnet" was veel breder.

Het meest interessante deel van deze praktijktest was het controleren hoeveel fout de methode kon tolereren voordat de conclusie zou veranderen. De auteur vond dat de conclusie (dat EDR de opkomst verhoogt) geldig bleef, zelfs als de voorspellingsfout van het model bijna twee keer zo groot was als de typische fouten gezien in "placebo"-testen (nepexperimenten waarbij het beleid geen effect zou moeten hebben). Echter, als de fout te groot werd – specifiek, als het model een enorme afwijking vertoonde – zou de conclusie omdraaien. Het artikel benadrukt dat terwijl de standaardmethode een nauwe marge geeft die indrukwekkend lijkt, de nieuwe methode toegeeft: "We zijn vrij zeker dat het effect positief is, maar we moeten ruimte laten voor de mogelijkheid dat ons model er een beetje naast zit."

De Kern van het Verhaal

Dit artikel beweert niet een magische oplossing te hebben gevonden die alle modellen perfect maakt. In plaats daarvan biedt het een eerlijkere manier om resultaten te rapporteren. Het suggereert dat wanneer we complexe modellen gebruiken om te raden wat er zou zijn gebeurd, we expliciet rekening moeten houden met de mogelijkheid dat onze gok fout is. De nieuwe methode ruilt een beetje precisie in voor veel meer betrouwbaarheid. Het vertelt ons dat, hoewel we de exacte contrafactuele fout niet kunnen kennen, we wel een limiet kunnen stellen aan hoe groot die fout mag zijn en nog steeds de conclusie kunnen vertrouwen. Uiteindelijk betoogt het artikel dat transparant zijn over onze onzekerheid de enige manier is om echt te weten of een beleid heeft gewerkt, in plaats van enkel te doen alsof onze tijdmachine onfeilbaar is.