AutoCause: A Python framework that automates expert decisions in environmental time-series causal discovery

Stel je voor dat je een detective bent die een mysterie probeert op te lossen in een bruisende, chaotische stad. Je hebt een notitieblok vol gegevens: wanneer de verkeerslichten op rood springen, wanneer de koffiebars openen, wanneer de vogels beginnen te zingen en wanneer de regen valt. Je doel is om uit te zoeken wat wat veroorzaakt. Veroorzaakt de regen dat de vogels zingen, of zingen de vogels omdat de zon opkomt? Veroorzaakt het verkeerslicht dat de koffiebar opent, of gebeuren ze gewoon tegelijkertijd vanwege een verborgen schema?

In de wereld van de wetenschap wordt dit causale ontdekking (causal discovery) genoemd. Het is de kunst van het uitzoeken wie de touwtjes in handen heeft in een complex systeem, in plaats van alleen maar te merken dat twee dingen toevallig samen gebeuren. Dit is vooral lastig met tijdreeksgegevens (time-series data), wat simpelweg een lange lijst is van metingen die door de tijd heen zijn opgenomen, zoals de waterstand van een rivier die elk uur wordt geregistreerd of temperatuurmetingen van een bos. Het probleem is dat deze gegevens rommelig zijn. Dingen herhalen zich in cycli (zoals seizoenen), dingen beïnvloeden elkaar met een vertraging (zoals een vloedgolf die uren nodig heeft om te reizen), en soms zijn er onzichtbare krachten (zoals een verborgen weerpatroon) die alles tegelijkertijd beïnvloeden. Als je alleen naar de cijfers kijkt, kun je erdoor misleid worden om te denken dat twee dingen met elkaar verbonden zijn terwijl dat niet zo is, of een echte verbinding missen omdat het te ingewikkeld is. Wetenschappers hebben verschillende "detective-instrumenten" (algoritmen) gebouwd om dit op te lossen, maar elk instrument heeft zijn eigen regels en zwakheden. Het ene instrument is misschien goed in het vinden van rechte lijnverbindingen, maar slecht in het spotten van kromme verbindingen; een ander is misschien snel, maar raakt in de war door ontbrekende gegevens. Tot nu toe vereiste het kiezen van het juiste instrument en het correct instellen ervan een menselijke expert die een dozijn lastige beslissingen moest nemen, en als twee experts verschillende keuzes maakten, konden ze met totaal andere, niet vergelijkbare antwoorden eindigen.

Dit is waar een nieuw Python-framework genaamd AutoCause om de hoek komt kijken. Zie AutoCause als een supergeorganiseerd, geautomatiseerd detectiveteam dat niet slechts één instrument gebruikt, maar een heel team van hen tegelijkertijd aanstuurt. In plaats van de rommelige beslissingen over te laten aan een mens die misschien moe of bevooroordeeld is, controleert AutoCause eerst de gegevens om te zien wat voor soort "plaats delict" het is. Is de data grillig en niet-lineair? Is er veel ontbrekende informatie? Op basis van deze aanwijzingen kiest het de beste mix van detective-instrumenten, stelt de parameters in en voert ze allemaal uit. Vervolgens kijkt het, in plaats van blind op één instrument te vertrouven, naar een consensus. Als drie van de vier verschillende detective-instrumenten allemaal naar dezelfde verbinding wijzen, markeert AutoCause die link als "hoog vertrouwen". Als er slechts één instrument een link vindt, markeert het dit als "slechts een vermoeden". De onderzoekers hebben dit geautomatiseerde team getest op 145 verschillende datasets, variërend van perfect gemaakte computer-simulaties tot echte riviernetwerken in Beieren. Ze ontdekten dat op de schone, computergegenereerde puzzels de "meerderheidsstem"-aanpak briljant werkte: het filterde valse alarmen eruit en vond de ware verbindingen met hoge precisie. Echter, op de rommelige, echte riviergegevens vond de meerderheidsstem niet altijd de meest nauwkeurige links, wat suggereert dat in de echte wereld zelfs een groep experts op een fout antwoord kan uitkomen als ze allemaal een cruciaal stukje van de puzzel missen (zoals een verborgen riviertak). Uiteindelijk lost AutoCause het mysterie niet magisch op of bewijst het wat de waarheid is; in plaats daarvan verandert het een chaotisch, inconsistent proces in een helder, controleerbaar en herhaalbaar onderzoek, waarbij de uiteindelijke interpretatie van het "waarom" wordt overgelaten aan de menselijke wetenschapper.

Het Detective-team: Hoe AutoCause werkt

Stel je voor dat je probeert de oorzaak-gevolgrelaties in een complex systeem te achterhalen, zoals een riviernetwerk of een weerpatroon. Je hebt een lange lijst met gegevenspunten die in de loop van de tijd zijn opgenomen. De uitdaging is dat het simpelweg zien dat twee dingen samen gebeuren niet betekent dat het ene het andere heeft veroorzaakt. Misschien gebeurden ze allebei door een derde, onzichtbare factor, of misschien volgde het ene toevallig op het andere door puur toeval. Om dit op te lossen, gebruiken wetenschappers methoden voor causale ontdekking. Beschouw deze methoden als verschillende soorten detectives. Sommige detectives zijn goed in het spotten van rechte lijnverbindingen (lineaire relaties), terwijl anderen beter zijn in het vinden van complexe, kromme verbindingen (niet-lineaire relaties). Sommige zijn snel maar missen misschien subtiele aanwijzingen, terwijl anderen grondig zijn maar er lang over doen.

Het probleem is dat het kiezen van de juiste detective en het correct instellen van hun instrumenten moeilijk is. Een menselijke expert moet beslissen: "Welke detective moet ik gebruiken? Hoe ver terug in de tijd moet ik kijken naar oorzaken? Wat als er delen van de gegevens ontbreken?" Als twee experts verschillende keuzes maken, kunnen ze met totaal verschillende kaarten van oorzaak en gevolg eindigen, waardoor het onmogelijk is om hun werk te vergelijken of te vertrouwen.

AutoCause is een nieuw softwareframework dat ontworend is om deze beslissingen te automatiseren. Het fungeert als een projectmanager voor een team van causale ontdekkings-detectives. Zo werkt het in eenvoudige termen:

1. De Voorcontrole (Causale Audit): Voordat de detectives aan de slag gaan, bekijkt AutoCause eerst de gegevens om te zien wat voor soort "plaats delict" het is. Het controleert zaken als: Is de data stabiel, of springt het wild heen en weer? Is er een herhalend patroon, zoals seizoenen? Ontbreken er stukken? Op basis van deze controle doet het een aanbeveling over welke detective-instrumenten te gebruiken en hoe de data voor te bereiden (bijvoorbeeld door seizoenspatronen te verwijderen als deze de resultaten in de war schoppen).
2. De Teamloop: In plaats van zich op slechts één detective te richten, laat AutoCause vier verschillende causale ontdekkingsmethoden tegelijkertijd draaien. Deze methoden komen uit drie verschillende "families" van detective-stijlen:
   • Regressie-gebaseerd: Deze zoeken naar patronen waarbij de ene variabele de andere voorspelt.
   • Informatie-theoretisch: Deze meten hoeveel kennis van de ene variabele de onzekerheid over de andere vermindert.
   • Constraint-gebaseerd: Deze testen of twee variabelen onafhankelijk zijn zodra er rekening wordt gehouden met andere variabelen.
3. De Consensusstemming: Nadat het team klaar is, kijkt AutoCause naar de resultaten. Als drie of vier van de verschillende methoden het erover eens zijn dat "Variabele A veroorzaakt Variabele B", krijgt die link het label Tier-1 (Hoog Vertrouwen). Als er slechts twee het eens zijn, krijgt het Tier-2 (Gemiddeld Vertrouwen). Als slechts één methode het vindt, is het Tier-3 (Exploratief/Vermoeden). Deze "meerderheidsstem" helpt om valse alarmen te filteren.
4. Het Rapport: AutoCause genereert een duidelijk rapport dat laat zien welke links zijn gevonden, hoe groot het vertrouwen van het team in elke link is, en welke beslissingen er onderweg zijn genomen. Dit maakt het hele proces transparant en herhaalbaar.

Wat het Squad heeft gevonden

De onderzoekers hebben AutoCause getest op 145 verschillende datasets om te zien hoe goed het werkt. Deze datasets kwamen uit drie bronnen:

• DGP-Atlas: 97 synthetische datasets gegenereerd door computers waarbij de onderzoekers de exacte "grondwaarheid" (het echte antwoord) kenden. Deze waren ontworpen om specifieke zwakheden te testen, zoals niet-lineaire relaties of ontbrekende gegevens.
• TimeGraph: 18 categorieën van synthetische data die zaken testten zoals trends, seizoenen en ontbrekende blokken gegevens.
• CausalRivers: 30 echte subgrafen van een riviernetwerk in Beieren, Duitsland. Hier was de "grondwaarheid" de fysieke kaart van de rivier (welke meetpost stroomopwaarts ligt van welke), maar de onderzoekers wisten dat deze kaart niet alle mogheden vastlegt (zoals verborgen regenval of reservoirs).

De Resultaten:

• Op de Synthetische Puzzels (DGP-Atlas en TimeGraph): De strategie van de "meerderheidsstem" werkte erg goed. Wanneer drie of meer methoden een verbinding bevestigden, was die verbinding zeer waarschijnlijk echt. De precisie (het percentage correcte links onder alle gevonden links) was veel hoger voor de door de meerderheid ondersteunde links dan voor links die door slechts één methode werden gevonden. Bijvoorbeeld, op de DGP-Atlas data hadden de Tier-1 links een precisie van ongeveer 85%, terwijl de Tier-3 links (gevonden door slechts één methode) een precisie van slechts ongeveer 13% hadden. Dit sugggeert dat op schone, gecontroleerde data het verkrijgen van een consensus van verschillende methoden een geweldige manier is om de waarheid te vinden.
• Op de Echte Riviergegevens (CausalRivers): De resultaten waren verrassender. Op de riviergegevens leidde de meerderheidsstem niet altijd tot de meest nauwkeurige links. Sterker nog, de Tier-1 links (waarover de meeste methoden het eens waren) hadden een lagere precisie (42%) dan de Tier-2 en Tier-3 links. Waarom? Omdat de echte wereld rommelig is. De riviermethoden kunnen het allemaal eens zijn over een verbinding die niet in de fysieke kaart staat, omdat ze allemaal reageren op een verborgen factor, zoals een gezamenlijk regenvalevent dat de kaart niet laat zien. De "grondwaarheid" die voor de rivier werd gebruikt (de fysieke topologie), was incompleet, waardoor de methoden eigenlijk echte hydrologische verbindingen vonden die de kaart miste. Dit toont aan dat hoewel consensus krachtig is, het geen garantie biedt voor de waarheid als de referentiekaart incompleet is of als er verborgen gemeenschappelijke drijfveren zijn.

Wat dit betekent (en wat het niet betekent)

Het paper maakt heel duidelijk dat AutoCause geen toverstaf is die causaliteit bewijst. Het zet observatiegegevens niet om in een bewijs van oorzaak en gevolg. In plaats daarvan verandert het een rommelig, inconsistent proces in een transparante, controleerbare workflow.

• Wat het doet: Het legt elke beslissing vast, draait meerdere methoden en beoordeelt het bewijs op basis van hoeveel methoden het eens zijn. Het helst wetenschappers om te zien welke verbindingen robuust zijn en welke wankel.
• Wat het niet doet: Het lost het probleem van verborgen variabelen (latente confounders) niet uit zichzelf op. Als een verborgen factor alles aanstuurt, kunnen de methoden het allemaal eens zijn over het foute antwoord. Het vervangt ook de behoefte aan menselijke expertise niet. De software kan een vertraging (lag) suggereren op basis van wiskunde, maar een menselijke expert moet weten of die vertraging fysiek zinvol is (bijvoorbeeld: duurt een vloedgolf echt 30 uur om die afstand af te leggen?).
• Het Vertrouwensniveau: De bevindingen over de effectiviteit van de "meerderheidsstem" zijn gebaseerd op simulaties (DGP-Atlas en TimeGraph) en een specifieke real-world dataset (CausalRivers). De auteurs suggereren dat dit patroon standhoudt voor synthetische data, maar waarschuwen dat het kan breken in andere real-world scenario's waar de referentiekaart incompleet is. Zij beweren niet dat dit een universele wet is voor alle milieudata.

Kortom, AutoCause is een krachtig nieuw hulpmiddel dat wetenschappers helpt te navigeren door de complexe jungle van tijdreeksgegevens. Het geeft hen niet het definitieve antwoord, maar het geeft hen een heldere, herhaalbare kaart van het terrein, die laat zien waar de verschillende paden overeenkomen en waar ze uiteenlopen, zodat zij betere, weloverwogen beslissingen kunnen nemen over wat werkelijk de oorzaak is van wat.