Technische Samenvatting: Het Perceptie-Fysica Paradox: Het Onderzoeken van Wetenschappelijke Uitlijning met TC-BENCH

1. Probleemstelling

Vision Foundation Models (VFMs) hebben sterke zero-shot prestaties aangetoond op visuele benchmarks, wat heeft geleid tot hun adoptie in wetenschappelijke domeinen. De auteurs identificeren echter een kritieke beperking: hoge voorspellende nauwkeurigheid op satellietbeelden vloeit vaak voort uit visuele correlaties in plaats van uit een begrip van onderliggende structurele invarianten. Deze discrepantie wordt het Perceptie-Fysica Paradox genoemd.

Specifiek kunnen modellen er op het eerste gezicht goed uitzien qua perceptieve generalisatie (bijvoorbeeld over verschillende geografische regio's of instanties), terwijl ze falen in het behoud van de fysieke vrijheidsgraden die noodzakelijk zijn voor wetenschappelijk redeneren. In extreme fysieke regimes, zoals intense tropische cyclonen, kunnen visuele aanwijzingen (zoals wolkstructuur) verzadigen, waardoor fysiek verschillende toestanden (bijvoorbeeld 905 hPa versus 915 hPa druk) visueel ononderscheidbaar worden. VFMs kunnen deze verschillende toestanden afbeelden op vergelijkbare latente representaties, waardoor de fysieke variatie die nodig is voor accurate wetenschappelijke inferentie instort. Huidige evaluatieprotocollen, die vertrouwen op prestaties in het gemiddelde geval of perceptie-gebaseerde out-of-distribution (OOD) tests, detecteren deze "latente instorting" niet.

2. Methodologie

2.1 Wetenschappelijke Uitlijning en Structurele Isomorfie

Om deze kloof aan te pakken, introduceert het artikel Wetenschappelijke Uitlijning als een impliciet doel voor representatieleren. De auteurs formaliseren een testbaar aspect van deze uitlijning genaamd Structurele Isomorfie.

• Definitie: Een representatie $z = g(x)$ is structureel isomorf aan een fysiek systeem $S$ als er een injectieve lineaire afbeelding $A$ bestaat zodanig dat $z = Ay + \epsilon_\mu(y)$, waarbij $y$ de fysieke toestandsvariabelen voorstelt en $\epsilon_\mu(y)$ een uniform begrensd residu is.
• Implicatie: Deze definitie vereist geen ontvlechting per coördinaat, maar zorgt ervoor dat de latente ruimte het fysieke systeem identificeert tot op een lineaire herparameterisatie. Dit impliceert dat de latente geometrie de structuur van het fysieke toestandsmanifold behoudt.

2.2 Het Framework voor Structurele Uitlijningstests

Gebaseerd op de implicaties van structurele isomorfie, leiden de auteurs een hiërarchie van noodzakelijke voorwaarden af, geoperationaliseerd als Structurele Uitlijningstests. Deze tests onderzoeken of een geleerde representatie specifieke fysieke eigenschappen ondersteunt:

1. Statische Fideliteit ($Q_{stat}$): Kan de fysieke toestand $y$ lineair worden hersteld uit de latente representatie $z$? (d.w.z. $\|y - Lz\| \le \epsilon_{stat}$).
2. Dynamische Coherentie ($Q_{dyn}$): Stemmen de latente afgeleiden overeen met fysieke afgeleiden? (d.w.z. $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$).
3. Manifold Consistentie ($Q_{con}$): Voldoen de herstelde variabelen aan bekende fysieke beperkingen (bijvoorbeeld druk-windkoppeling)?

Theoretische analyse (Stelling 2.1) stelt vast dat als statische fideliteit en dynamische coherentie gelden met uniforme grenzen, de representatie interventieconsistentie ondersteunt, wat fysiek plausibele rollouts onder verstoringen mogelijk maakt.

2.3 TC-BENCH Dataset

Om deze tests te operationaliseren, introduceren de auteurs TC-BENCH, een globale, versiebeheerde en reproduceerbare benchmarkdataset voor onderzoek naar tropische cyclonen.

• Data Bronnen: Integreert het International Best Track Archive for Climate Stewardship (IBTrACS v4r01) voor metadata (minimale centrale druk $P_c$, maximale aanhoudende wind $V_m$) en GridSat-B1 voor geostationaire infrarood helderheidstemperatuurbeelden.
• Reikwijdte: Dekking van 1980–2024 over zeven meteorologische instanties en alle grote oceanbekkens.
• Ontwerp: In tegenstelling tot eerdere benchmarks die gericht waren op prestaties in het gemiddelde geval, omvat TC-BENCH expliciet intense regimes ($P_c < 980$ hPa) en overgangen in de levenscyclus om "fysiek gerichte stress-tests" mogelijk te maken.

2.4 Experimenteel Protocol

De auteurs evalueren een diverse reeks bevroren VFMs (waaronder DINOv2/3, CLIP, SigLIP en MAE) met behulp van een beperkte lineaire test ($L \in \mathcal{H}_{lin}$). De evaluatie is gestratificeerd op intensiteitsregimes:

• Matig Regime: $P_c \ge 980$ hPa.
• Intens Regime: $P_c < 980$ hPa.
  Het protocol controleert voor verstorende factoren zoals steekproefonevenwicht, testcapaciteit (via niet-lineaire tests) en representatieaggregatie (via ruimtelijke token-middelen).

3. Belangrijkste Resultaten

3.1 Het Perceptie-Fysica Paradox in Actie

De experimenten onthullen een systematisch falen van huidige VFMs in intense regimes:

• Afnemende Statische Fideliteit: Hoewel modellen goed presteren in matige regimes, neemt de fout bij het lineair herstellen van druk ($P_c$) scherp toe in het intense regime. Deze "Visuele Verzadiging"-hypothese suggereert dat kenmerken verzadigen, waardoor fijnmazige intensiteitsverschillen in de latente ruimte ononderscheidbaar worden.
• Instorting van Dynamische Coherentie: De uitlijning tussen latente en fysieke temporele evolutie degradeert significant in intense regimes, met foutpieken in catastrofale regimes ($P_c < 920$ hPa).
• Manifold Inconsistentie: Herstelde druk- en windvariabelen respecteren geen fysieke koppelingen (bijvoorbeeld de gradiëntwindbalansbeperking met betrekking tot breedtegraad) in intense regimes, waarbij schendingen van beperkingen stijgen van ongeveer 20% in matige regimes naar ongeveer 55% in intense regimes.

3.2 Analyse van Latente Geometrie

Geometrische diagnostiek op DINOv3-representaties (de sterkste performer) bevestigt het falingsmechanisme:

• Dimensionaliteitsinstorting: In intense regimes daalt de effectiviteit van de dimensionaliteit van de covariantie van kenmerken met ongeveer 60%.
• Kenmerkdruk: Fysiek verschillende stormen worden afgebeeld op een smaller gebied van de latente ruimte, wat de spreiding van kenmerken vermindert.
• Resolutieverlies: De eerste hoofdcomponent (PC1), die in matige regimes correleert met druk, verliest zijn systematische variatie met druk in intense regimes.

3.3 Robuustheid van Bevindingen

Het falen is geen artefact van de lineaire test of statische beeldpretraining:

• Niet-lineaire Tests: Het vergroten van de testcapaciteit (MLP, Transformer) lost de prestatiekloof niet op.
• Supervisie Baselines: Een supervisie-model dat vanaf nul is getraind op pixeldata, bereikt een lagere fout in intense regimes, wat bewijst dat het signaal statistisch aanwezig is in de beelden maar niet wordt vastgelegd door bevroren VFM-representaties.
• Video-modellen: Temporele pretraining (VideoMAE, V-JEPA2) verbetert de gemiddelde prestaties maar faalt in het elimineren van de regime-afhankelijke degradatie.

4. Bijdragen

1. Wetenschappelijke Uitlijning als Diagnostische Lens: Het artikel formuleert het Perceptie-Fysica Paradox en formaliseert Structurele Isomorfie als een reeks falsifieerbare, noodzakelijke voorwaarden voor wetenschappelijk bruikbaarheid. Het verplaatst de evaluatiefocus van perceptieve robuustheid naar structurele behouding van fysieke invarianten.
2. TC-BENCH: Een globale, reproduceerbare benchmarkdataset met een geautomatiseerd constructieproces, specifiek ontworpen om representaties te stress-testen in fysiek extreme regimes waar visuele aanwijzingen verzadigen.
3. Unificerend Testframework: Een systematisch protocol (Statische Fideliteit, Dynamische Coherentie, Manifold Consistentie) dat een faalmodus blootlegt – regime-afhankelijke latente instorting – die wordt gemist door conventionele evaluaties in het gemiddelde geval of OOD-evaluaties.

5. Betekenis en Claims

De auteurs positioneren dit werk als diagnostisch in plaats van voorschrijvend. Zij claimen niet dat VFMs inherent onbekwaam zijn om fysiek uitgelijnde representaties te leren, noch dat taakspecifieke training fysieke informatie niet kan herstellen. In plaats daarvan demonstreert het artikel dat:

• Huidige evaluaties ontoereikend zijn: Standaardmetrieken en perceptie-gedreven OOD-tests kunnen geen uitlijning certificeren met betrekking tot specifieke wetenschappelijke vragen, met name in extreme regimes.
• Schalen geen wondermiddel is: Wetenschappelijke uitlijning ontstaat niet als een natuurlijk neveneffect van schalen alleen; modellen kunnen er correct uitzien zonder correct te redeneren.
• Noodzakelijke voorwaarden voor wetenschap: Het voorgestelde framework biedt een minimale set van testbare voorwaarden om te bepalen of een representatie kan dienen als een geldig structureel vervangend middel voor fysieke systemen.

De auteurs merken op dat het Perceptie-Fysica Paradox waarschijnlijk generaliseerbaar is naar andere hoog-impact remote sensing toepassingen (bijvoorbeeld bosbrandmonitoring) waar waarnemingen lokaal ongevoelig worden voor fysiek betekenisvolle variatie in extreme regimes. Het werk benadrukt de noodzaak van query-bewuste, fysiek onderbouwde tests om ervoor te zorgen dat geleerde representaties coherent wetenschappelijk redeneren ondersteunen.