Technische Zusammenfassung: Das Wahrnehmungs-Physik-Paradoxon: Untersuchung der wissenschaftlichen Ausrichtung mit TC-BENCH

1. Problemstellung

Vision Foundation Models (VFMs) haben auf visuellen Benchmarks eine starke Zero-Shot-Leistung gezeigt, was zu ihrer Übernahme in wissenschaftlichen Domänen geführt hat. Die Autoren identifizieren jedoch eine kritische Einschränkung: Hohe Vorhersagegenauigkeit bei Satellitenbildern resultiert häufig aus visuellen Korrelationen anstatt aus einem Verständnis zugrunde liegender struktureller Invarianten. Diese Diskrepanz wird als Wahrnehmungs-Physik-Paradoxon bezeichnet.

Insbesondere scheinen Modelle sich wahrnehmungstechnisch gut zu verallgemeinern (z. B. über verschiedene geografische Regionen oder Behörden hinweg), während sie die für wissenschaftliches Schlussfolgern notwendigen physikalischen Freiheitsgrade nicht bewahren. In extremen physikalischen Regimen, wie bei intensiven tropischen Wirbelstürmen, können visuelle Hinweise (wie die Wolkenstruktur) sättigen, wodurch physikalisch unterschiedliche Zustände (z. B. 905 hPa vs. 915 hPa Luftdruck) visuell ununterscheidbar werden. VFMs können diese unterschiedlichen Zustände auf ähnliche latente Darstellungen abbilden und so die für eine genaue wissenschaftliche Inferenz erforderliche physikalische Variation kollabieren lassen. Aktuelle Evaluierungsprotokolle, die auf Durchschnittsleistung oder wahrnehmungsbasierten Out-of-Distribution (OOD)-Tests beruhen, versagen beim Erkennen dieses „latenten Kollapses".

2. Methodik

2.1 Wissenschaftliche Ausrichtung und struktureller Isomorphismus

Um diese Lücke zu schließen, führt die Arbeit wissenschaftliche Ausrichtung als implizites Ziel für das Repräsentationslernen ein. Die Autoren formalisieren einen testbaren Aspekt dieser Ausrichtung, den strukturellen Isomorphismus.

• Definition: Eine Darstellung $z = g(x)$ ist strukturell isomorph zu einem physikalischen System $S$, wenn es eine injektive lineare Abbildung $A$ gibt, sodass $z = Ay + \epsilon_\mu(y)$ gilt, wobei $y$ die physikalischen Zustandsvariablen darstellt und $\epsilon_\mu(y)$ ein gleichmäßig beschränkter Residualterm ist.
• Implikation: Diese Definition erfordert keine koordinatenweise Entwirrung, stellt jedoch sicher, dass der latente Raum das physikalische System bis auf eine lineare Reparametrisierung identifiziert. Sie impliziert, dass die latente Geometrie die Struktur der physikalischen Zustandsmannigfaltigkeit bewahrt.

2.2 Das Framework für strukturelle Ausrichtungsproben

Basierend auf den Implikationen des strukturellen Isomorphismus leiten die Autoren eine Hierarchie notwendiger Bedingungen ab, die als strukturelle Ausrichtungsproben operationalisiert werden. Diese Proben testen, ob eine gelernte Darstellung spezifische physikalische Eigenschaften unterstützt:

1. Statische Genauigkeit ($Q_{stat}$): Kann der physikalische Zustand $y$ linear aus der latenten Darstellung $z$ wiederhergestellt werden? (d. h. $\|y - Lz\| \le \epsilon_{stat}$).
2. Dynamische Kohärenz ($Q_{dyn}$): Stimmen die latenten Ableitungen mit physikalischen Ableitungen überein? (d. h. $\|\dot{y} - L\dot{z}\| \le \epsilon_{dyn}$).
3. Mannigfaltigkeitskonsistenz ($Q_{con}$): Erfüllen die wiederhergestellten Variablen bekannte physikalische Constraints (z. B. Druck-Wind-Kopplung)?

Eine theoretische Analyse (Satz 2.1) zeigt, dass, wenn statische Genauigkeit und dynamische Kohärenz mit gleichmäßigen Schranken gelten, die Darstellung interventional Konsistenz unterstützt, was physikalisch plausible Rollouts unter Störungen ermöglicht.

2.3 TC-BENCH-Datensatz

Um diese Proben zu operationalisieren, stellen die Autoren TC-BENCH vor, einen globalen, versionierten und reproduzierbaren Benchmark-Datensatz für die Forschung zu tropischen Wirbelstürmen.

• Datenquellen: Integration des International Best Track Archive for Climate Stewardship (IBTrACS v4r01) für Metadaten (minimaler Zentraldruck $P_c$, maximale anhaltende Windgeschwindigkeit $V_m$) und GridSat-B1 für geostationäre Infrarot-Helligkeitstemperaturbilder.
• Umfang: Abdeckung von 1980 bis 2024 über sieben meteorologische Behörden und alle großen Becken hinweg.
• Design: Im Gegensatz zu früheren Benchmarks, die sich auf Durchschnittsleistung konzentrierten, enthält TC-BENCH explizit intensive Regime ($P_c < 980$ hPa) und Lebenszyklus-Übergänge, um „physikalisch gezielte Stresstests" zu ermöglichen.

2.4 Experimentelles Protokoll

Die Autoren evaluieren eine diverse Suite eingefrorener VFMs (einschließlich DINOv2/3, CLIP, SigLIP und MAE) unter Verwendung einer eingeschränkten linearen Probe ($L \in \mathcal{H}_{lin}$). Die Evaluierung ist nach Intensitätsregimen stratifiziert:

• Mäßiges Regime: $P_c \ge 980$ hPa.
• Intensives Regime: $P_c < 980$ hPa.
  Das Protokoll kontrolliert für konfundierende Faktoren wie Stichprobenungleichgewicht, Probenkapazität (durch nichtlineare Proben) und Repräsentationsaggregation (durch räumliche Token-Mittelwerte).

3. Hauptergebnisse

3.1 Das Wahrnehmungs-Physik-Paradoxon in Aktion

Die Experimente offenbaren ein systematisches Versagen aktueller VFMs in intensiven Regimen:

• Degradation der statischen Genauigkeit: Während Modelle in mäßigen Regimen gut abschneiden, steigt der Fehler bei der linearen Wiederherstellung des Drucks ($P_c$) im intensiven Regime stark an. Diese Hypothese der „visuellen Sättigung" legt nahe, dass Merkmale sättigen, wodurch fein abgestufte Intensitätsunterschiede im latenten Raum ununterscheidbar werden.
• Kollaps der dynamischen Kohärenz: Die Ausrichtung zwischen latenter und physikalischer zeitlicher Entwicklung verschlechtert sich in intensiven Regimen erheblich, mit Fehlerausbrüchen in katastrophalen Regimen ($P_c < 920$ hPa).
• Mannigfaltigkeitsinkonsistenz: Wiederhergestellte Druck- und Windvariablen respektieren in intensiven Regimen keine physikalischen Kopplungen (z. B. die Gradientwind-Balance-Constraint bezüglich des Breitengrads), wobei Constraint-Verletzungen von ca. 20 % in mäßigen Regimen auf ca. 55 % in intensiven Regimen ansteigen.

3.2 Analyse der latenten Geometrie

Geometrische Diagnosen an DINOv3-Darstellungen (der stärkste Performer) bestätigen den Versagensmechanismus:

• Dimensionskollaps: In intensiven Regimen sinkt die effektive Dimensionalität der Merkmalskovarianz um etwa 60 %.
• Merkmalskompression: Physikalisch unterschiedliche Stürme werden auf einen schmaleren Bereich des latenten Raums abgebildet, was die Merkmalsstreuung reduziert.
• Verlust der Auflösung: Die erste Hauptkomponente (PC1), die in mäßigen Regimen mit dem Druck korreliert, verliert ihre systematische Variation mit dem Druck in intensiven Regimen.

3.3 Robustheit der Ergebnisse

Das Versagen ist kein Artefakt der linearen Probe oder des statischen Bild-Pretrainings:

• Nichtlineare Proben: Eine Erhöhung der Probenkapazität (MLP, Transformer) löst die Leistungslücke nicht.
• Überwachte Baselines: Ein von Grund auf auf Pixeldaten trainiertes überwachtetes Modell erzielt in intensiven Regimen einen niedrigeren Fehler, was beweist, dass das Signal statistisch in den Bildern vorhanden ist, aber von eingefrorenen VFM-Darstellungen nicht erfasst wird.
• Video-Modelle: Temporäres Pretraining (VideoMAE, V-JEPA2) verbessert die Durchschnittsleistung, eliminiert jedoch die regimenabhängige Degradation nicht.

4. Beiträge

1. Wissenschaftliche Ausrichtung als diagnostische Linse: Die Arbeit artikuliert das Wahrnehmungs-Physik-Paradoxon und formalisiert den strukturellen Isomorphismus als eine Reihe widerlegbarer, notwendiger Bedingungen für die wissenschaftliche Verwendbarkeit. Sie verlagert den Evaluierungsfokus von wahrnehmungsbasierter Robustheit zur strukturellen Bewahrung physikalischer Invarianten.
2. TC-BENCH: Ein globaler, reproduzierbarer Benchmark-Datensatz mit einer automatisierten Konstruktionspipeline, der speziell entwickelt wurde, um Darstellungen in physikalisch extremen Regimen, in denen visuelle Hinweise sättigen, zu testen.
3. Einheitliches Probenframework: Ein systematisches Protokoll (Statische Genauigkeit, Dynamische Kohärenz, Mannigfaltigkeitskonsistenz), das eine Versagensart aufdeckt – regimenabhängigen latenten Kollaps –, der von konventionellen Durchschnitts- oder OOD-Evaluierungen übersehen wird.

5. Bedeutung und Behauptungen

Die Autoren positionieren diese Arbeit als diagnostisch und nicht präskriptiv. Sie behaupten nicht, dass VFMs inhärent unfähig sind, physikalisch ausgerichtete Darstellungen zu lernen, noch dass eine aufgaben spezifische Ausbildung physikalische Informationen nicht wiederherstellen kann. Stattdessen zeigt die Arbeit Folgendes auf:

• Aktuelle Evaluierungen sind unzureichend: Standardmetriken und wahrnehmungsgetriebene OOD-Tests können keine Ausrichtung bezüglich spezifischer wissenschaftlicher Fragen zertifizieren, insbesondere in extremen Regimen.
• Skalierung ist kein Allheilmittel: Wissenschaftliche Ausrichtung entsteht nicht als natürlicher Nebeneffekt der Skalierung allein; Modelle können korrekt aussehen, ohne korrekt zu schlussfolgern.
• Notwendige Bedingungen für die Wissenschaft: Das vorgeschlagene Framework bietet einen minimalen Satz testbarer Bedingungen, um zu bestimmen, ob eine Darstellung als gültiger struktureller Surrogat für physikalische Systeme dienen kann.

Die Autoren weisen darauf hin, dass das Wahrnehmungs-Physik-Paradoxon wahrscheinlich auf andere hochrelevante Fernerkundungsszenarien übertragbar ist (z. B. Waldbrandüberwachung), bei denen Beobachtungen in extremen Regimen lokal unempfindlich gegenüber physikalisch bedeutsamen Variationen werden. Die Arbeit betont die Notwendigkeit von abfragebewussten, physikalisch fundierten Proben, um sicherzustellen, dass gelernte Darstellungen kohärentes wissenschaftliches Schlussfolgern unterstützen.