Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Resumen Técnico: Sondas Dispersas y Física Turbia

Planteamiento del Problema
Los emuladores de IA generativa se despliegan cada vez más en dominios científicos donde ya existen teorías físicas y puntos de referencia (benchmarks) sólidos. Esto crea un desafío crítico de interpretabilidad: cuando un modelo fundacional reproduce con éxito la dinámica de un continuo conocido, no queda claro si el modelo ha aprendido los mecanismos físicos subyacentes o si simplemente ha memorizado correlaciones estadísticas. Específicamente, los investigadores necesitan determinar si las representaciones internas del modelo corresponden a principios físicos conocidos, cómo se relacionan estas representaciones con sus éxitos o fracasos, y si las estructuras internas "diferentes" son genuinamente informativas o simplemente atajos efectivos. El artículo aborda estas cuestiones utilizando el modelo fundacional Walrus, un transformador de 1.3 mil millones de parámetros entrenado en diversos escenarios físicos, centrándose en la brecha entre las representaciones internas aprendidas y la intuición física.

Metodología
Los autores emplean un enfoque de interpretabilidad mecánica guiado por principios físicos, utilizando específicamente un Autocodificador Disperso (SAE, por sus siglas en inglés) para sondear las activaciones internas del modelo Walrus.

• Modelo y Datos: El estudio se centra en Walrus, entrenado en diecinueve escenarios físicos que incluyen fluidos clásicos. El análisis se restringe a una suite de simulación de flujo de cizalla 2D gobernada por las ecuaciones de Navier-Stokes incompresibles. El conjunto de datos varía según el número de Reynolds ($Re$) y el número de Schmidt ($Sc$), prestando especial atención a tres simulaciones: Sim3 ($Re=10^4, Sc=0.1$), Sim50 ($Re=10^4, Sc=0.2$) y Sim56 ($Re=5\times10^4, Sc=0.1$).
• Fundamentación Física: Para realizar el triaje del gran conjunto de características generado por el SAE, los autores utilizan la entropía de vorticidad ($E$), definida como la integral del cuadrado de la vorticidad, como una métrica físicamente fundamentada. También analizan la derivada temporal de la entropía de vorticidad ($\dot{E}$) para evaluar el equilibrio entre la inyección y la disipación.
• Implementación del SAE: Se entrenó un Autocodificador Disperso Top-K sobre las activaciones del bloque intermedio ($l=20$) del transformador Walrus, que contiene 2,816 activaciones. El SAE utiliza un factor de expansión de 8, lo que resulta en 22,528 características. El entrenamiento utilizó una función de pérdida de dos partes (Error Cuadrático Medio y una pérdida auxiliar para neuronas muertas) para estabilizar el entrenamiento y prevenir el colapso de características.
• Estrategia de Análisis: Los autores clasifican las características del SAE basándose en su correlación de rango de Spearman con las métricas globales de entropía de vorticidad. Luego, visualizan los mapas de calor de activación de las características frente a los campos de trazadores y los mapas de entropía de vorticidad para evaluar la coherencia espacial y la consistencia a través de diferentes configuraciones de simulación y pasos de tiempo.

Resultados Clave
La investigación arroja varios hallazgos respecto a la consistencia e interpretabilidad de las representaciones internas del modelo:

1. Identificación de Características y Correlación: Si bien una característica de primer rango mostró una alta correlación ($\rho = 0.85$) con la entropía de vorticidad en la simulación de referencia (Sim50), aproximadamente el 10% de todas las 22,528 características superaron el umbral de significancia. Esto sugiere que la correlación con una única métrica física como la entropía de vorticidad es insuficiente para aislar de manera única características mecánicamente significativas.
2. Consistencia Intermitente: El estudio encuentra evidencia de "consistencia por partes". Subconjuntos de características reaparecen en roles similares a través de diferentes configuraciones de flujo de cizalla (por ejemplo, características específicas que se activan en interfaces de canal o regiones de vórtices). Sin embargo, esta estructura es altamente intermitente; no se mapea limpiamente con las descomposiciones físicas estándar y a menudo no persiste a través de los pasos de tiempo.
3. Difusividad y Discrepancias: Las comparaciones directas entre la simulación numérica y el emulador Walrus revelan discrepancias sistemáticas en el nivel de salida. Walrus tiende a subpredecir la energía en números de onda medios y a sobrepredecir en números de onda grandes, lo que indica la producción de estructuras de pequeña escala excesivas o "demasiada" difusión de pequeña escala.
4. Difusividad Representacional vs. Física: La pérdida de coherencia de las características a medida que las simulaciones evolucionan puede provenir de dos fuentes:
   • Física: Walwalrus puede estar suavizando excesivamente los campos de flujo, causando que los espectros de energía disipen la estructura en escalas donde la simulación de referencia la retiene.
   • Representacional: Incluso cuando la estructura física permanece, el modelo puede codificarla a través de muchas características débilmente activas en lugar de concentrarla en unas pocas interpretables.
5. Falta de Mapeo Estable: Restringir el análisis a las características de primer rango dentro de una sola simulación no recupera un mapeo estable hacia cantidades físicas familiares. Los patrones que parecen significativos en los primeros pasos de tiempo a menudo se disuelven en ruido o cambian de forma impredecible a medida que el flujo evoluciona.

Significancia y Reivindicaciones
El artículo no pretende haber resuelto la interpretabilidad de los modelos fundacionales ni haber probado que Walrus haya aprendido las ecuaciones que gobiernan la dinámica de fluidos. En su lugar, sirve como un caso de estudio que destaca preguntas abiertas para la comunidad de modelos fundacionales científicos:

• Priorización: Es difícil priorizar de manera robusta las características mecánicamente significativas cuando una gran fracción de ellas se correlaciona con métricas físicas.
• Artefacto vs. Estructura: Existe un desafío significativo para separar la estructura interna estable de los artefactos de análisis, incluyendo las limitaciones inherentes al sondeo de una sola capa y la metodología del SAE.
• Evaluación Comparativa (Benchmarking): Los puntos de referencia establecidos (como la precisión a nivel de salida) son insuficientes para determinar si las representaciones internas son genuinamente informativas. Un modelo puede reproducir la dinámica de manera efectiva mientras utiliza representaciones internas que no se alinean con la intuición física humana.

Los autores concluyen que las afirmaciones sobre lo que tales modelos han "aprendido" deben tratarse con cautela. Sugieren que construir confianza en los modelos fundacionales científicos podría requerir partir de arquitecturas más simples y más interpretables y escalar sistemáticamente, en lugar de intentar la ingeniería inversa de transformadores de miles de millones de parámetros post-hoc. El trabajo subraya la necesidad de distinguir entre los modelos que han capturado relaciones gobernantes y aquellos que simplemente han memorizado regularidades estadísticas.