🤖 machine learning

Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Diese Arbeit untersucht die Interpretierbarkeit des „Walrus“-Foundation-Modells für Kontinuumsdynamik durch die Anwendung von Sparse Autoencodern zur Analyse seiner internen Mechanismen und zeigt auf, dass einige Merkmale zwar eine stückweise Konsistenz mit physikalischen Prinzipien wie der Enstrophie aufweisen, die internen Repräsentationen des Modells jedoch weiterhin undurchsichtig bleiben und es versäumen, sauber auf Standard-Physikzerlegungen abzubilden, was zu systematischen Abweichungen in den Ausgaben bei Scherströmungssimulationen führt.

Ursprüngliche Autoren: Katherine Rosenfeld, Maike Sonnewald

Veröffentlicht 2026-06-11

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Katherine Rosenfeld, Maike Sonnewald

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Die große Frage: „Denkt“ die KI oder „merkt sie sich nur etwas“?

Stellen Sie sich vor, Sie haben einen brillanten Schüler (das KI-Modell namens Walrus), der jedes Lehrbuch darüber gelesen hat, wie Wasser fließt, wie der Wind weht und wie sich die Sterne bewegen. Dieser Schüler kann genau vorhersagen, wie ein Fluss wirbeln oder eine Wolke driften wird.

Aber hier liegt das Rätsel: Wie macht der Schüler das eigentlich?

Versteht der Schüler die Physik (die echten Naturgesetze wie Gravitation und Reibung)? Oder hat er einfach nur die Antworten auf die Übungstests so gut auswendig gelernt, dass er die richtige Antwort erraten kann, ohne wirklich zu wissen, warum sie richtig ist?

Diese Arbeit versucht, in das Gehirn des Schülers hineinzuschauen, um das herauszufinden.

Das Experiment: Ein „Scherströmungs“-Test

Um den Schüler zu testen, verwendeten die Forscher ein sehr spezifisches, einfaches Szenario namens Scherströmung (Shear Flow).

Die Analogie: Stellen Sie sich zwei Schichten Honig vor, die aneinander vorbeigleiten. Eine Schicht bewegt sich schnell, die andere langsam. Dort, wo sie aufeinandertreffen, entstehen Wirbel (wie wenn man Kaffee umrührt).
Der Aufbau: Die Forscher ließen diese Simulation viele Male mit leicht unterschiedlichen Einstellungen durchlaufen (wie etwa der Veränderung der Dickflüssigkeit des Honigs oder der Geschwindigkeit der Schichten). Sie verglichen die Vorhersagen der KI mit einer „Goldstandard“-Computersimulation, die mathematisch perfekt bekannt ist.

Das Werkzeug: Der „Sparse Autoencoder“ (SAE)

Die Forscher konnten die KI nicht einfach fragen: „Was denkst du gerade?“, denn das Gehirn der KI ist ein riesiger, chaotischer „Black Box“-Kasten mit Milliarden von Verbindungen.

Stattdessen verwendeten sie ein Werkzeug namens Sparse Autoencoder (SAE).

Die Analogie: Stellen Sie sich das Gehirn der KI wie ein riesiges, dunkles Lagerhaus vor, das mit tausenden von Lichtschaltern gefüllt ist. Meistens sind die Lichter alle schwach eingeschaltet, was es unmöglich macht, zu sehen, was genau passiert. Der SAE ist wie ein spezieller Filter, der fast alle Lichter ausschaltet und nur zu jedem gegebenen Zeitpunkt einige wenige helle Lichter anlässt.
Das Ziel: Indem sie beobachteten, welche spezifischen „Schalter“ (Features) aufleuchteten, hofften die Forscher zu sehen, ob diese Schalter mit realen physikalischen Dingen wie „Vortices“ (Wirbeln) oder „Energie“ korrespondierten.

Sie verwendeten eine physikalische Metrik namens Enstrophie (ein schicker Begriff für die Frage, wie stark die Flüssigkeit wirbelt oder rotiert) als Lineal, um zu messen, welche Schalter aufleuchteten.

Was sie fanden: Eine Mischung aus Verheißung und Verwirrung

Die Ergebnisse waren ein wenig so, als würde man einem Zauberer bei einem Trick zusehen, der manchmal funktioniert und manchmal scheitert.

1. Die gute Nachricht: Es existieren einige Muster
Ganz am Anfang der Simulation schienen die „Lichtschalter“ der KI tatsächlich mit der Physik übereinzustimmen.

Die Analogie: Wenn die Flüssigkeit zu wirbeln beginnt, leuchteten spezifische Schalter genau dort auf, wo sich die Wirbel bildeten. Es sah so aus, als hätte die KI gelernt, die „Wirbel“ zu erkennen.
Der Haken: Dies geschah jedoch nur für eine kurze Zeit.

2. Die schlechte Nachricht: Die Muster fallen auseinander
Während die Simulation fortschritt und die Flüssigkeit chaotischer wurde, verschwanden die ordentlichen Muster.

Die Analogie: Stellen Sie sich den Schüler vor, der zu Beginn des Spiels die Regeln perfekt rezitierte, aber als das Spiel komplizierter wurde, fing er an, wahllos zu raten. Die „Lichtschalter“, die eigentlich „Wirbel“ darstellen sollten, leuchteten plötzlich an zufälligen, verrauschten Stellen auf oder ergaben überhaupt keinen Sinn mehr.
Das Ergebnis: Die Forscher stellten fest, dass, obwohl das Endergebnis der KI (das Bild der Flüssigkeit) weitgehend korrekt aussah, der interne Prozess, mit dem sie dorthin gelangte, nicht auf eine konsistente Weise mit den bekannten Naturgesetzen übereinstimmte.

3. Das „Diffuse“ Problem
Die Arbeit stellte auch fest, dass die KI die Flüssigkeit manchmal zu „unscharf“ oder zu „scharf“ darstellte, im Vergleich zur Realität.

Die Analogie: Wenn man ein Foto von einem rotierenden Ventilator macht, fängt eine gute Kamera die Unschärfe perfekt ein. Die KI machte den Ventilator manchmal entweder zu einem starren, eingefrorenen Objekt (zu scharf) oder zu einem kompletten Matsch (zu unscharf).
Der Zusammenhang: Wenn die KI diese „unscharfen“ Fehler machte, sahen auch die internen „Lichtschalter“ ungeordnet und zerstreut aus, anstatt auf spezifische physikalische Merkmale fokussiert zu sein.

Das Fazit: Vertrauen Sie dem Gehirn noch nicht ganz

Die Forscher kommen zu dem Schluss, dass die KI (Walrus) zwar sehr gut darin ist, vorherzusagen, was die Flüssigkeit tun wird, wir aber eigentlich nicht wissen, wie sie das macht.

Die Erkenntnis: Nur weil die KI die richtige Antwort gibt, bedeutet das nicht, dass sie die Wissenschaft dahinter versteht. Sie könnte lediglich einen cleveren Abkürzungsweg gefunden oder die Muster auswendig gelernt haben, ohne die zugrunde liegenden Regeln zu verstehen.
Die Warnung: Bevor wir diesen riesigen KI-Modellen vertrauen, um komplexe wissenschaftliche Probleme zu lösen (wie die Vorhersage des Klimawandels oder das Design neuer Materialien), benötigen wir bessere Werkzeuge, um ihre „Denkprozesse“ zu verstehen. Der Versuch, ihre interne Gehirnaktivität zu interpretieren, ist derzeit so, als würde man versuchen, ein Buch zu lesen, dessen Alphabet sich ständig ändert.

Kurz gesagt: Die KI ist ein großartiger Schauspieler, der in der Lage ist, die Gesetze der Physik auf der Bühne perfekt nachzuahmen, aber wenn wir versuchen, hinter die Bühne zu blicken, um zu sehen, wie sie den Trick macht, wirkt die Maschinerie chaotisch, inkonsistent und ein Stück weit mysteriös.

Technisches Resümee: Sparse Probes und trübe Physik

Problemstellung
Generative KI-Emulatoren werden zunehmend in wissenschaftlichen Domänen eingesetzt, in denen bereits starke physikalische Theorien und Benchmarks existieren. Dies schafft eine kritische Interpretierbarkeitsherausforderung: Wenn ein Foundation-Modell bekannte Kontinuumsdynamiken erfolgreich reproduziert, bleibt unklar, ob das Modell die zugrunde liegenden physikalischen Mechanismen gelernt hat oder lediglich statistische Korrelationen auswendig gelernt hat. Insbesondere müssen Forscher feststellen, ob die internen Repräsentationen des Modells mit bekannten physikalischen Prinzipien übereinstimmen, wie diese Repräsentationen mit den Erfolgen oder Misserfolgen des Modells zusammenhängen und ob „unterschiedliche“ interne Strukturen tatsächlich informativ sind oder lediglich effektive Abkürzungen darstellen. Die vorliegende Arbeit adresst diese Fragen am Beispiel des Walrus-Foundation-Modells, einem 1,3 Milliarden Parameter starken Transformer, der auf diversen physikalischen Szenarien trainiert wurde, wobei der Fokus auf der Lücke zwischen gelernten internen Repräsentationen und physikalischer Intuition liegt.

Methodik
Die Autoren verwenden einen mechanistischen Interpretierbarkeitsansatz, der durch physikalische Prinzipien geleitet wird, indem sie speziell einen Sparse Autoencoder (SAE) nutzen, um die internen Aktivierungen des Walrus-Modells zu sondieren.

Modell und Daten: Die Studie konzentriert sich auf Walrus, das auf neunzehn physikalischen Szenarien, einschließlich klassischer Fluide, trainiert wurde. Die Analyse beschränkt sich auf eine 2D-Scherströmungssimulationssuite, die durch die inkompressible Navier-Stokes-Gleichung bestimmt wird. Der Datensatz variiert nach der Reynolds-Zahl ($Re$) und der Schmidt-Zahl ($Sc$), wobei ein besonderes Augenmerk auf drei Simulationen gelegt wird: Sim3 ( $Re=10^4, Sc=0,1$ ), Sim50 ( $Re=10^4, Sc=0,2$ ) und Sim56 ( $Re=5\times10^4, Sc=0,1$ ).
Physikalische Fundierung: Um den großen Feature-Satz zu triagieren, den der SAE generiert, verwenden die Autoren die Enstrophie ( $E$ ), definiert als das Integral des Quadrats der Vortizität, als physikalisch fundierte Metrik. Sie analysieren zudem die zeitliche Ableitung der Enstrophie ( $\dot{E}$ ), um die Bilanz von Injektion und Dissipation zu bewerten.
SAE-Implementierung: Ein Top-K Sparse Autoencoder wurde auf den Aktivierungen aus dem mittleren Block ( $l=20$ ) des Walrus-Transformers trainiert, der 2.816 Aktivierungen enthält. Der SAE verwendet einen Expansionsfaktor von 8, was zu 22.528 Features führt. Das Training nutzte eine zweiteilige Verlustfunktion (Mean Squared Error und einen Hilfsverlust für tote Neuronen), um das Training zu stabilisieren und Feature-Kollaps zu verhindern.
Analyse-Strategie: Die Autoren ordnen die SAE-Features basierend auf ihrer Spearman-Rangkorrelation mit globalen Enstrophie-Metriken ein. Anschließend visualisieren sie die Feature-Aktivierungs-Heatmaps gegen Tracer-Felder und Enstrophie-Maps, um die räumliche Kohärenz und Konsistenz über verschiedene Simulationsaufbauten und Zeitschritte hinweg zu bewerten.

Kernergebnisse
Die Untersuchung liefert mehrere Erkenntnisse bezüglich der Konsistenz und Interpretierbarkeit der internen Repräsentationen des Modells:

Identifizierung von Features und Korrelation: Während ein top-gelistetes Feature eine hohe Korrelation ( $\rho = 0,85$ ) mit der Enstrophie in der Referenzsimulation (Sim50) zeigte, überschritten etwa 10 % aller 22.528 Features den Signifikanzschwellenwert. Dies deutet darauf hin, dass die Korrelation mit einer einzelnen physikalischen Metrik wie der Enstrophie nicht ausreicht, um mechanistisch bedeutsame Features eindeutig zu isolieren.
Intermittierende Konsistenz: Die Studie findet Hinweise auf eine „stückweise Konsistenz“. Teilmengen von Features treten in ähnlichen Rollen in verschiedenen Scherströmungs-Setups wieder (z. B. spezifische Features, die in Kanalgrenzflächen oder Wirbelregionen aktivieren). Diese Struktur ist jedoch hochgradig intermittierend; sie bildet sich nicht sauber auf Standard-Physik-Zerlegungen ab und behält ihre Beständigkeit über Zeitschritte hinweg oft nicht bei.
Diffusivität und Diskrepanzen: Direkte Vergleiche zwischen der numerischen Simulation und dem Walrus-Emulator offenbaren systematische Ausgabediskrepanzen. Walrus tendiert dazu, Energie bei mittleren Wellenzahlen unterzuschätzen und bei großen Wellenzahlen zu überschätzen, was auf die Produktion übermäßiger kleinskaliger Strukturen oder „zu viel“ kleinskaliger Diffusion hindeutet.
Repräsentative vs. physikalische Diffusivität: Der Verlust der Feature-Kohärenz während der Simulation kann aus zwei Quellen stammen:
- Physikalisch: Walrus könnte die Strömungsfelder übermäßig glätten, was dazu führt, dass die Energiespektren Strukturen auf Skalen dissipieren, die in der Referenzsimulation noch erhalten bleiben.
- Repräsentativ: Selbst wenn die physikalische Struktur erhalten bleibt, könnte das Modell diese über viele schwach aktive Features kodieren, anstatt sie in wenigen interpretierbaren Features zu konzentrieren.
Mangel an stabiler Abbildung: Die Beschränkung der Analyse auf top-gelistete Features innerhalb einer einzelnen Simulation führt nicht zu einer stabilen Abbildung auf vertraute physikalische Größen. Muster, die in frühen Zeitschritten bedeutungsvoll erscheinen, lösen sich oft in Rauschen auf oder verschieben sich unvorhersehbar, während sich die Strömung entwickelt.

Bedeutung und Ansprüche
Das Paper behauptet nicht, die Interpretierbarkeit von Foundation-Modellen gelöst oder bewiesen zu haben, dass Walrus die zugrunde liegenden Gleichungen der Fluiddynamik gelernt hat. Stattdessen dient es als Fallstudie, die offene Fragen für die wissenschaftliche Foundation-Model-Community hervorhebt:

Priorisierung: Es ist schwierig, mechanistisch bedeutsame Features robust zu priorisieren, wenn ein großer Teil der Features mit physikalischen Metriken korreliert.
Artefakt vs. Struktur: Es besteht eine erhebliche Herausforderung darin, stabile interne Strukturen von Analyse-Artefakten zu trennen, einschließlich der Einschränkungen, die der Single-Layer-Sondierung und der SAE-Methodik eigen sind.
Benchmarking: Etablierte Benchmarks (wie die Genauigkeit auf Ausgabenebene) reichen nicht aus, um zu bestimmen, ob interne Repräsentationen tatsächlich informativ sind. Ein Modell kann Dynamiken effektiv reproduzieren, während es interne Repräsentationen nutzt, die nicht mit der menschlichen physikalischen Intuition übereinstimmen.

Die Autoren kommen zu dem Schluss, dass Behauptungen darüber, was solche Modelle „gelernt“ haben, mit Vorsicht zu behandeln sind. Sie legen nahe, dass der Aufbau von Vertrauen in wissenschaftliche Foundation-Modelle möglicherweise erfordert, von einfacheren, interpretierbareren Architekturen auszugehen und diese systematisch zu skalieren, anstatt zu versuchen, Milliarden-Parameter-Transformer im Nachhinein zu dekonstruieren. Die Arbeit unterstreicht die Notwendigkeit, zwischen Modellen, die beherrschende Beziehungen erfasst haben, und solchen, die lediglich statistische Regelmäßigkeiten auswendig gelernt haben, zu unterscheiden.