Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Technische Samenvatting: Sparse Probes en Onduidelijke Fysica

Probleemstelling
Generatieve AI-emulatoren worden steeds vaker ingezet in wetenschappelijke domeinen waar sterke fysieke theorieën en benchmarks al bestaan. Dit creëert een kritische uitdaging voor de interpreteerbaarheid: wanneer een fundatiemodel succesvol bekende continuüm-dynamica reproduceert, blijft het onduidelijk of het model de onderliggende fysieke mechanismen heeft geleerd of slechts statistische correlaties heeft gememoriseerd. Specifiek moeten onderzoekers bepalen of de interne representaties van het model overeenkomen met bekende fysieke principes, hoe deze representaties zich verhouden tot de successen of tekortkomingen van het model, en of "verschillende" interne structuren werkelijk informatief zijn of slechts effectieve shortcuts. Het artikel adresseert deze vragen met behulp van het Walrus-fundatiemodel, een transformer met 1,3 miljard parameters dat getraind is op diverse fysieke scenario's, waarbij de focus ligt op de kloof tussen geleerde interne representaties en fysieke intuïtie.

Methodologie
De auteurs hanteren een mechanistische interpreteerbaarheidsbenadering die wordt gestuurd door fysieke principes, waarbij specifiek gebruik wordt gemaakt van een Sparse Autoencoder (SAE) om de interne activaties van het Walrus-model te onderzoeken.

• Model en Data: De studie richt zich op Walrus, getraind op negentien fysieke scenario's, inclusief klassieke vloeistoffen. De analyse is beperkt tot een 2D afschuivingsstroom-simulatiesuite (shear-flow) die wordt beheerst door de incompressibele Navier-Stokes-vergelijkingen. De dataset varieert per Reynoldsgetal ($Re$) en Schmidtgetal ($Sc$), met specifieke aandacht voor drie simulaties: Sim3 ($Re=10^4, Sc=0,1$), Sim50 ($Re=10^4, Sc=0,2$) en Sim56 ($Re=5\times10^4, Sc=0,1$).
• Fysieke Grondslag: Om de grote feature-set gegenereerd door de SAE te triageren, gebruiken de auteurs enstrofie ($E$), gedefinieerd als de integraal van de gekwadrateerde vorticiteit, als een fysiek gegronde metriek. Ze analyseren ook de tijdsafgeleide van de enstrofie ($\dot{E}$) om de balans tussen injectie en dissipatie te beoordelen.
• SAE Implementatie: Een Top-K Sparse Autoencoder werd getraind op de activaties van de middelste block ($l=20$) van de Walrus-transformer, die 2.816 activaties bevat. De SAE gebruikt een expansiefactor van 8, wat resulteert in 22.528 features. De training maakte gebruik van een tweeledige verliesfunctie (Mean Squared Error en een hulpverlies voor dode neuronen) om de training te stabiliseren en feature-collapse te voorkomen.
• Analyse Strategie: De auteurs rangschikken SAE-features op basis van hun Spearman-rangcorrelatie met globale enstrofie-metrieken. Vervolgens visualiseren ze feature-activatie-heatmaps tegenover tracer-velden en enstrofie-kaarten om de ruimtelijke coherentie en consistentie over verschillende simulatie-opstellingen en tijdstappen te beoordelen.

Belangrijkste Resultaten
Het onderzoek levert verschillende bevindingen op met betrekking tot de consistentie en interpreteerbaarheid van de interne representaties van het model:

1. Feature Identificatie en Correlatie: Hoewel een bovengeraankte feature een hoge correlatie ($\rho = 0,85$) vertoonde met de enstrofie in de referentisimulatie (Sim50), overschreed ongeveer 10% van alle 22.528 features de significantiedrempel. Dit suggereet dat correlatie met een enkele fysieke metriek zoals enstrofie onvoldoende is om uniek mechanistisch betekenisvolle features te isoleren.
2. Intermitterende Consistentie: De studie vindt bewijs voor "stuksgewijze consistentie" (piecewise consistency). Subsets van features komen in vergelijkbare rollen terug in verschillende afschuivingsstroom-opstellingen (bijv. specifieke features die activeren in kanaalinterfaces of vortex-regio's). Deze structuur is echter zeer intermitterend; het brengt niet helder in kaart naar standaard fysieke decomposities en slaagt er vaak niet in om over tijdstappen heen te persistre.
3. Diffusiviteit en Discrepanties: Directe vergelijkingen tussen de numerieke simulatie en de Walrus-emulator onthullen systematische output-niveau discrepanties. Walrus heeft de neiging om energie bij midden-golflengten te ondervoorspellen en bij grote golflengten te overvoorspellen, wat wijst op de productie van excessieve kleinschalige structuren of "te veel" kleinschalige diffusie.
4. Representatieve versus Fysieke Diffusiviteit: Het verlies van feature-coherentie naarmate simulaties evolueren, kan voortkomen uit twee bronnen:
   • Fysiek: Walrus kan stromingsvelden overmatig gladstrijken, waardoor energiespectra structuren laten verdwijnen op schalen waar de referentisimulatie deze nog behoudt.
   • Representatief: Zelfs wanneer de fysieke structuur aanwezig blijft, kan het model deze coderen over vele zwak actieve features in plaats van deze te concentreren in een paar interpreteerbare features.
5. Gebrek aan Stabiele Mapping: Het beperken van de analyse tot bovengeraankte features binnen een enkele simulatie leidt niet tot een stabiele mapping op bekende fysieke grootheden. Patronen die betekenisvol lijken in vroege tijdstappen, lossen vaak op in ruis of verschuiven onvoorspelbaar naarmate de stroming evolueert.

Significantie en Claims
Het artikel claimt niet de interpreteerbaarheid van fundatiemodellen te hebben opgelost of bewezen dat Walrus de leidende vergelijkingen van de fluïdumdynamica heeft geleerd. In plaats daarvan dient het als een casestudy die openstaande vragen belicht voor de wetenschappelijke fundatiemodel-gemeenschap:

• Prioritering: Het is moeilijk om robuust mechanistisch betekenisvolle features te prioriteren wanneer een groot deel van de features correleert met fysieke metrieken.
• Artefact versus Structuur: Er is een aanzienlijke uitdaging in het scheiden van stabiele interne structuur van analyse-artefacten, inclusief de beperkingen die inherent zijn aan single-layer probing en de SAE-methodologie.
• Benchmarking: Gevestigde benchmarks (zoals nauwkeurigheid op output-niveau) zijn onvoldoende om te bepalen of interne representaties werkelijk informatief zijn. Een model kan dynamica effectief reproduceren terwijl het interne representaties gebruikt die niet overeenkomen met de menselijke fysieke intuïtie.

De auteurs concluderen dat claims over wat dergelijke modellen hebben "geleerd" met voorzichtigheid moeten worden behandeld. Ze suggereren dat het opbouwen van vertrouwen in wetenschappelijke fundatiemodellen wellicht vereist dat men begint met eenvoudigere, meer interpreteerbare architecturen en deze systematisch opschaalt, in plaats van te proberen miljarden-parameter transformers achteraf te reverse-engineeren. Het werk benadrukt de noodzaak om onderscheid te maken tussen modellen die leidende relaties hebben gevangen en modellen die slechts statistische regelmatigheden hebben gememoriseerd.