Technische Samenvatting: In-context leren voor het voorspellen van kritieke overgangen in dynamische systemen

Probleemstelling

Kritieke overgangen—plotselinge, vaak onomkeerbare verschuivingingen in systeemgedrag—komen voor in klimaat, ecologie, infrastructuur en biologische systemen. Het voorspellen van deze gebeurtenissen is uitdagend omdat waarnemingen van dergelijke verschuivingen in de echte wereld schaars zijn, en de data vaak ruis bevat, kort is en slechts gedeeltelijk wordt waargenomen.

Conventionele vroege waarschuwingssignalen (EWS), zoals toenemende variantie of lag-1 autocorrelatie (AR1), vertrouwen op restrictieve aannames, waaronder linearisatie nabij evenwicht, stationariteit en voldoende lange reeksen. Deze indicatoren falen vaak onder realistische omstandigheden, met name bij snelheidsgeïnduceerde (r-tipping) en ruisgeïnduceerde (n-tipping) overgangen waarbij kritieke vertraging (CSD) afwezig of zwak kan zijn.

Vanuit het perspectief van machine learning is het voorspellen van kantelpunten een taak buiten de verdeling (OOD). Standaard diep-lerende classifiers, getraind op specifieke dynamische regimes, falen vaak in het generaliseren naar onbekende systemen of verschillende kantelmechanismen. Bestaande datagedreven benaderingen vereisen doorgaans uitgebreide hertraining voor nieuwe systemen en worstelen met extrapolatie buiten hun trainingsverdeling.

Methodologie: TipPFN

De auteurs introduceren TipPFN, een transformer-architectuur die gebruikmaakt van Prior-Data Fitted Networks (PFN's) en In-Context Learning (ICL). In tegenstelling tot traditionele modellen die parameters aanpassen aan één enkele dataset, worden PFN's getraind op miljoenen synthetische taken om een mapping te leren van data naar een posterieure predictieve verdeling, waardoor inferentie via ICL mogelijk wordt.

1. Trainingskader en Datageneratie (TipBox)

TipPFN wordt uitsluitend getraind op een nieuwe synthetische datagenerator genaamd TipBox. Deze generator creëert diverse stochastische dynamische systemen door canonieke kantelsystemen in te bedden in hoogdimensionale, gerandomiseerde niet-lineaire stochastische differentiaalvergelijkingen (SDE's).

• Generatief Proces: De prior $p(\psi)$ factoriseert over een canoniek kantelsysteem $M$ (dat de bifurcatie aanstuurt), een willekeurig interactiegraf $G$, en een aanvullend niet-lineair SDE-systeem $Z$.
• Diversiteit: De trainingsdata omvat verschillende bifurcatietypes (fold, Hopf, transcritisch) en is gekoppeld aan gerandomiseerde stochastische dynamica en dwingingschema's.
• Taakconstructie: Het model wordt getraind op context-queryparen. Een query-episode vertegenwoordigt het systeem van belang, terwijl context-episodes aanvullende trajecten bieden uit hetzelfde onderliggende generatieve proces, maar met verschillende ruisrealisaties of dwingingschema's.
• Voorspellingstarget: In plaats van het binaire evenement van een crash te voorspellen, voorspelt het model de Relatieve Afstand tot Kritikaliteit (RDTC), aangeduid als $\Lambda$. Voor bifurcatie-geïnduceerd kantelen geldt $\Lambda = 1 - \tilde{\lambda}$, waarbij $\tilde{\lambda}$ de genormaliseerde controleparameter is. $\Lambda=0$ geeft het bifurcatiepunt aan. Deze continue target stelt het model in staat om de nabijheid tot een overgang te leren in plaats van alleen het evenement zelf.

2. Architectuur en Inferentie

TipPFN past de TabPFN-architectuur aan voor tijdreeksen en dynamische systemen:

• Inputrepresentatie: Tijdreeksen worden gecodeerd als tabulaire multi-episode sequenties met identificatoren voor episodes en tijdstappen. Variabelen worden genormaliseerd met uitsluitend waargenomen waarden om lekken van de target te voorkomen.
• Aandachtsmechanisme: De transformer maakt gebruik van causale aandacht. Query-tokens kunnen aandacht besteden aan alle context-tokens en hun eigen verleden/huidige tokens, maar nooit aan toekomstige tokens. Context-tokens kunnen bidirectioneel aandacht besteden aan alle andere context-tokens.
• Inferentiemodi:
  • Nowcasting: Schat de huidige RDTC op basis van waarnemingen tot tijdstip $t$.
  • Forecasting: Voorspelt het toekomstige traject van RDTC op basis van waarnemingen tot tijdstip $t$.
• Zero-Shot en ICL-capaciteiten: Het model kan opereren in een zero-shot setting (geen context-episodes), uitsluitend vertrouwend op de geleerde prior, of gebruikmaken van context-episodes (sim-to-real of real-world) om zijn posterieure predictieve verdeling te verfijnen.

Belangrijkste Bijdragen

1. Model (TipPFN): Een op transformer gebaseerde PFN ontworpen om nabijheid tot kritieke overgangen direct af te leiden uit korte, ruizige tijdreeksen met behulp van ICL.
2. Training en Benchmark (TipBox): Een uitgebreide benchmark-suite en synthetische datagenerator die diverse kantelregimes (b-tipping, r-tipping, n-tipping) en complexiteiten bestrijkt, inclusief hoogdimensionale stochastische dynamica.
3. Generalisatie: Aangetoond robuust prestatievermogen over eerder onbekende kantelregimes, sim-to-real gevallen en real-world systemen, zowel in ICL- als zero-shot settings.

Resultaten

De auteurs hebben TipPFN geëvalueerd tegen klassieke EWS (variantie, AR1, scheefheid) en state-of-the-art diep-lerende baselines (Bury, Huang, Zhuge, TabPFN) over 14 datasets die synthetische, semi-reële, sim-to-real en real-world systemen bestrijken.

• Prestaties: TipPFN behaalde consistent state-of-the-art AUROC-scores, presterend beter dan klassieke indicatoren en gespecialiseerde diep-lerende modellen. Bijvoorbeeld, op canonieke bifurcatiesystemen behaalde TipPFN AUROCs rond de 0,95, significant hoger dan het bereik van ~0,6–0,8 van de baselines.
• Generalisatie naar Onbekende Mechanismen: Cruciaal generaliseerde TipPFN naar r-tipping en n-tipping scenario's, ondanks dat het voornamelijk was getraind op synthetische b-tipping-data. Het bleef concurrerend op Bautin, compost-bomb en saddle-node r-tipping systemen waar klassieke EWS en andere ML-modellen vaak faalden.
• Rol van Context: De prestaties verbeterden aanzienlijk wanneer context-episodes werden aangeleverd. In het Daphnia-uitstervingsexperiment stonden het toevoegen van gesimuleerde of echte context-episodes TipPFN toe om baselines te overtreffen, met name in regimes met schaarse data ($W=16$).
• Real-world Toepassing: In zero-shot settings (geen context) leverde TipPFN vroege waarschuwingen voor real-world systemen, waaronder:
  • AMOC: Detecteerde verhoogde variantie die samenviel met een abnormale omkering in de vertraging.
  • Stroomnet: Signaleerde verborgen instabiliteit 2 minuten voor een black-out.
  • Microcosm: Schatte een instorting van een cyanobacteriënpopulatie ongeveer een week van tevoren in.
• Vergelijking met Baselines: Hoewel gespecialiseerde modellen zoals Bury (getraind op specifieke bifurcaties) goed presteerden op overeenkomende taken, faalden ze in het generaliseren naar r-tipping. TipPFN behield hoge prestaties over alle regimes zonder systeemspecifieke hertraining.

Betekenis en Aanspraken

Het artikel beweert dat TipPFN een verschuiving vertegenwoordigt van systeemspecifieke, indicator-gebaseerde voorspelling naar een universeel, systeem-agnostisch kader voor het detecteren van kritieke overgangen.

• Universele Voorspelling: Door verborgen nabijheid tot een overgang af te leiden in plaats van te vertrouwen op expliciete vroege waarschuwingssignalen (die specifieke dynamische structuren aannemen), biedt TipPFN een universele schatting van kritikaliteit.
• Data-efficiëntie: Het kader maakt effectief gebruik van beperkte observationele data door ICL te benutten om context uit simulaties of andere vergelijkbare systemen op te nemen, waarmee de schaarste aan real-world kanteldata wordt aangepakt.
• Operationele Nut: Het vermogen om vroege voorspellingen te doen in zero-shot settings maakt inzet mogelijk in hoog-risico domeinen (klimaat, energie, gezondheid) waar vroege interventie cruciaal is en systeemspecifieke hertraining onpraktisch is.

De auteurs wijzen op beperkingen, met name met betrekking tot online settings waar waarnemingen sequentieel binnenkomen. Zij suggereren dat toekomstig werk ICL zou kunnen combineren met modeladaptatie in bijna-real-time (bijvoorbeeld low-rank updates) en ruimtelijke afhankelijkheden in kritieke overgangen zou kunnen onderzoeken.