Learning Transferable Predictability Representations

Technische Samenvatting: Het Leren van Overdraagbare Voorspelbaarheidsrepresentaties

Probleemformulering

Het artikel behandelt de uitdaging om een scalaire score toe te kennen aan een kort trajectvenster die de positie ervan op een geordend continuüm van voorspelbaarheidsregimes reflecteert. Terwijl bestaande methoden effectief onderscheid maken tussen deterministische en stochastische dynamica binnen één enkel systeem, slagen ze er niet in om scores met consistente numerieke interpretaties over verschillende systemen heen te produceren.

De auteurs formaliseren dit als een ordinaal schattingsprobleem over een vijfstaps "voorspelbaarheidsladder" ($L_0$ tot $L_4$):

1. $L_0$ (Stabiel Deterministisch): Vaste punten of limietcycli ($\lambda_{max} \le 0$).
2. $L_1$ (Zwak Chaotisch): Deterministisch met kleine positieve instabiliteit ($0 < \lambda_{max}\tau \ll 1$).
3. $L_2$ (Sterk Chaotisch): Deterministisch met snelle divergentie ($\lambda_{max}\tau \gg 0$).
4. $L_3$ (Gestructureerd Stochastisch): Surrogaten die lineaire statistieken behouden (bijv. vermogensspectrum) maar de nietlineaire geometrie verstoren.
5. $L_4$ (Ongestructureerd Stochastisch): i.i.d. ruis.

Een kritische structurele barrière die wordt geïdentificeerd is gauge-vrijheid: ordinale supervisie bepaalt alleen de volgorde van scores, maar laat de numerieke coördinaat onvast tot een monotone herparametrisatie. Bijgevolg zijn scores getraind op het ene systeem niet direct vergelijkbaar met die op het andere, zelfs als de ordinale rangorde correct is. Het artikel betoogt dat cross-systeem transfer vereist dat deze coördinaat-ambiguïteit wordt opgelost, aangezien zero-shot scenario's geen data van het doelsysteem hebben voor post-hoc recalibratie.

Methodologie: Het Gauge-Fixed Ordinal Network (GON)

De voorgestelde oplossing, GON, is een temporeel convolutioneel model dat is ontworpen om een gedeelde score-coördinaat over systemen heen te leren. Het bestaat uit drie kerncomponenten:

1. 2-Jet Preprocessing:
   In plaats van ruwe toestandscoördinaten te gebruiken (die systeem-specifieke schaling en eenheden met zich meebrengen), werkt GON op 2-jet features: positie ($x$), snelheid ($\dot{x}$) en versnelling ($\ddot{x}$). Deze features worden geschat via Savitzky–Golay-filtering en centrale eindige differenties, en leggen de lokale trajectgeometrie bloot. Deze representatie wordt behouden door gladde deterministische stromingen maar verstoord door stochastische surrogaatprocedures, wat het ideaal maakt voor het onderscheiden van deterministische structuur van gestructureerde ruis.

2. Architectuur:
   Het model gebruikt een Temporal Convolutional Network (TCN) met gedilateerde residuele blokken om de 2-jet input te coderen in een verborgen sequentie. Multi-scale average pooling aggregeert dit tot een vector, die via een twee-laags MLP wordt afgebeeld op een scalaire score. De outputs worden afgeknipt met een hyperbolische tangensfunctie om aan te sluiten bij het doelbereik.

3. Gauge-Fixed Ordinaal Doel:
   Om de gauge-vrijheid op te lossen, wijst de trainingsdoelstelling vaste anker-targets toe aan de gemiddelde scores van elk ladderniveau: $\{t_k\} = \{-4, -2, 0, +2, +4\}$. De verliesfunctie ($\mathcal{L}$) bestaat uit:

   • Anker-term: Bestraft de afwijking van de niveau-gemiddelden ($\mu_k$) van hun targets ($t_k$).
   • Variantie-term: Bestraft excessieve spreiding binnen een niveau ($\sigma_k$), wat zorgt voor nauwe clustering rond de ankers.

   Deze "anker-en-variantie"-doelstelling legt de score-coördinaat vast, waardoor een specifieke numerieke waarde overeenkomt met een specifiek voorspelbaarheidsregime over verschillende systemen heen.

Experimentele Opzet

• Trainingsdata: 12 driedimensionale dissipatieve chaotische ODE-systemen (bijv. Lorenz-63, Rössler, Chen) die een reeks attractor-geometrieën beslaan.
• Testdata: Vijf volledig uit de training gehouden systemen (bijv. Thomas, Tigan, geforceerde pendel) waarbij geen data tijdens de training is gebruikt.
• Evaluatiemetrieken:
  • Monotoniciteithelling ($\beta$): Meet de globale ordinale coherentie van de niveau-gemiddelden.
  • Schaal-genormaliseerde $\beta$ ($\beta_{norm}$): Gebruikt voor vergelijking tussen methoden.
  • Ankerdrift ($\delta_{anchor}$): Meet hoe nauw de geleerde gemiddelden overeenkomen met de doel-ankers.
  • Pairwise AUROC: Evalueert discriminatie bij specifieke grenzen (bijv. $L_2 \to L_3$).

Belangrijkste Resultaten

1. Zero-Shot Transfer:

   • GON bereikt een schaal-genormaliseerde monotoniciteithelling van $\beta_{norm} = 0,559$ op uit de training gehouden systemen, waarmee het alle gesuperviseerde baselines (die rond 0,46–0,48 clusteren) overtreft.
   • De transfer is het sterkst bij de stochastische grens ($L_2 \to L_3$ en $L_3 \to L_4$), waar surrogaatprocedures de nietlineaire geometrie verstoren. Deterministische zijden grenzen ($L_0 \to L_2$) vertonen een zwakkere scheiding, wat suggereert dat fijnmazige chaotische onderscheidingen meer systeem-specifiek zijn.
   • In-distributie kalibratie is uitstekend, met een gemiddelde ankerdrift $\delta_{anchor} = 0,0097$.

2. Adaptatie-efficiëntie:

   • Het initialiseren vanaf een voorgetraind GON-checkpoint presteert aanzienlijk beter dan trainen vanaf nul, zelfs met zeer beperkte gelabelde vensters ($k=5$).
   • Volledige fine-tuning (pre_all) presteert consequent beter dan willekeurige initialisatie, terwijl het bevriezen van de encoder (pre_head) de discriminatie verbetert maar faalt in het herstellen van de globale ordinale structuur ($\beta$).
   • Adaptatiediepte correleert met geometrische nabijheid: systemen met vectorenvelden die vergelijkbaar zijn met de trainingsset adapteren onmiddellijk, terwijl systemen met ongeziene structuren (bijv. sinusoïdale forcering) meer data vereisen en mogelijk falen in het oplossen van fijnere grenzen.

3. Ablatie-studies:

   • Anker vs. Margin: Het vervangen van de anker-doelstelling door een margin-loss (die wel scheiding afdwingt maar geen vaste coördinaten) behoudt in-distributie discriminatie, maar zorgt ervoor dat de ankerdrift stijgt van 0,005 naar 2,556 en vermindert de transfer-$\beta$ met 47%. Dit bevestigt dat coördinaat-stabiliteit, en niet alleen ordinale coherentie, noodzakelijk is voor transfer.
   • 2-Jet Features: Het gebruik van coherente 2-jet features verbetert de transfer aanzienlijk ($\beta = 1,504$) vergeleken met ruwe toestanden ($\beta = 1,132$) of geschudde derivaten. Dit benadrukt het belang van geometrische structuur boven louter dimensionaliteit.

Betekenis en Claims

Het artikel claimt te hebben geïdentificeerd dat gauge-fixing het ontbrekende ingrediënt is voor overdraagbare ordinale voorspelbaarheidsscores. De centrale bijdrage is het aantonen dat het toewijzen van een stabiele numerieke coördinaat aan ordinale niveaus een noodzakelijke voorwaarde is voor cross-systeem vergelijkbaarheid.

• Theoretisch Inzicht: Het werk stelt vast dat paarwijze discriminatie en globaal coherente ordinale scoring verschillende eigenschappen zijn; een stabiele coördinaat is nodig om deze onder transfer te overbruggen.
• Praktisch Nut: Het framework maakt de beoordeling van voorspelbaarheid, modelselectie en vroege waarschuwingsdiagnostiek mogelijk voor natuurlijke en technische systemen zonder systeem-specifieke kalibratie.
• Beperkingen: De auteurs merken op dat de benchmark momenteel beperkt is tot laag-dimensionale, dissipatieve ODE-systemen. Uitbreidingen naar hoog-dimensionale, conservatieve of real-world signalen blijven toekomstig werk. De methode werkt op synthetische data en brengt geen persoonlijke gegevens of voorzienbare negatieve maatschappelijke impact met zich mee.

Concluderend stelt het artikel dat het leren van een overdraagbare ordinale voorspelbaarheidscoördinaat via gauge-fixing een zinvolle vergelijking van voorspelbaarheidsregimes tussen heterogene dynamische systemen mogelijk maakt, een capaciteit die voorheen onbereikbaar was met standaard ordinale regressie of classificatie-benaderingen.