Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

Resumo Técnico: Sondas Esparsas e Física Turva

Definição do Problema
Emuladores de IA generativa são cada vez mais implantados em domínios científicos onde já existem teorias físicas e benchmarks robustos. Isso cria um desafio crítico de interpretabilidade: quando um modelo de fundação reproduz com sucesso a dinâmica contínua conhecida, permanece incerto se o modelo aprendeu os mecanismos físicos subjacentes ou se apenas memorizou correlações estatísticas. Especificamente, pesquisadores precisam determinar se as representações internas do modelo correspondem a princípios físicos conhecidos, como essas representações se relacionam com seus sucessos ou falhas, e se estruturas internas "diferentes" são genuinamente informativas ou meramente atalhos eficazes. O artigo aborda essas questões utilizando o modelo de fundação Walrus, um transformer de 1,3 bilhão de parâmetros treinado em diversos cenários físicos, focando na lacuna entre as representações internas aprendidas e a intuição física.

Metodologia
Os autores empregam uma abordagem de interpretabilidade mecanística guiada por princípios físicos, utilizando especificamente um Autoencoder Esparso (SAE) para sondar as ativações internas do modelo Walrus.

• Modelo e Dados: O estudo foca no Walrus, treinado em dezenove cenários físicos, incluindo fluidos clássicos. A análise é restrita a um conjunto de simulações de escoamento de cisalhamento 2D governado pelas equações de Navier-Stokes incompressíveis. O conjunto de dados varia por número de Reynolds ($Re$) e número de Schmidt ($Sc$), com atenção específica dada a três simulações: Sim3 ($Re=10^4, Sc=0,1$), Sim50 ($Re=10^4, Sc=0,2$) e Sim56 ($Re=5\times10^4, Sc=0,1$).
• Fundamentação Física: Para triar o grande conjunto de características gerado pelo SAE, os autores utilizam a enstrofia ($E$), definida como a integral do quadrado da vorticidade, como uma métrica fisicamente fundamentada. Eles também analisam a derivada temporal da enstrofia ($\dot{E}$) para avaliar o equilíbrio entre injeção e dissipação.
• Implementação do SAE: Um Autoencoder Esparso Top-K foi treinado nas ativações do bloco intermediário ($l=20$) do transformer Walrus, que contém 2.816 ativações. O SAE utiliza um fator de expansão de 8, resultando em 22.528 características. O treinamento utilizou uma função de perda de duas partes (Erro Quadrático Médio e uma perda auxiliar para neurônios mortos) para estabilizar o treinamento e evitar o colapso de características.
• Estratégia de Análise: Os autores classificam as características do SAE com base em sua correlação de postos de Spearman com métricas globais de enstrofia. Eles então visualizam mapas de calor de ativação de características contra campos de traçadores e mapas de enstrofia para avaliar a coerência espacial e a consistência através de diferentes configurações de simulação e passos de tempo.

Principais Resultados
A investigação produz diversas descobertas em relação à consistência e interpretabilidade das representações internas do modelo:

1. Identificação de Características e Correlação: Embora uma característica de topo tenha mostrado uma alta correlação ($\rho = 0,85$) com a enstrofia na simulação de referência (Sim50), aproximadamente 10% de todas as 22.528 características excederam o limiar de significância. Isso sugere que a correlação com uma única métrica física como a enstrofia é insuficiente para isolar unicamente características mecanisticamente significativas.
2. Consistência Intermitente: O estudo encontra evidências de "consistência por partes". Subconjuntos de características recorrem em papéis semelhantes em diferentes configurações de escoamento de cisalhamento (por exemplo, características específicas ativando-se em interfaces de canal ou regiões de vórtice). No entanto, essa estrutura é altamente intermitente; ela não se mapeia claramente em decomposições físicas padrão e frequentemente falha em persistir através dos passos de tempo.
3. Difusividade e Discrepâncias: Comparações diretas entre a simulação numérica e o emulador Walrus revelam discrepâncias sistemáticas no nível de saída. O Walrus tende a subestimar a energia em números de onda médios e superestimar em números de onda grandes, indicando a produção de estruturas de pequena escala excessivas ou "demais" difusão de pequena escala.
4. Difusividade Representacional vs. Física: A perda de coerência de características conforme as simulações evoluem pode advir de duas fontes:
   • Física: O Walrus pode estar suavizando excessivamente os campos de escoamento, fazendo com que os espectros de energia dissipe estruturas em escalas onde a simulação de referência as mantém.
   • Representacional: Mesmo quando a estrutura física permanece, o modelo pode codificá-la através de muitas características fracamente ativas, em vez de concentrá-la em poucas características interpretáveis.
5. Falta de Mapeamento Estável: Restringir a análise às características de topo dentro de uma única simulação não recupera um mapeamento estável sobre quantidades físicas familiares. Padrões que parecem significativos em passos de tempo iniciais frequentemente se dissolvem em ruído ou mudam imprevisivelmente conforme o escoamento evolui.

Significância e Alegações
O artigo não alega ter resolvido a interpretabilidade de modelos de fundação ou ter provado que o Walrus aprendeu as equuições governantes da dinâmica de fluidos. Em vez disso, serve como um estudo de caso destacando questões abertas para a comunidade de modelos de fundação científica:

• Priorização: É difícil priorizar de forma robusta características mecanisticamente significativas quando uma grande fração de características correlaciona-se com métricas físicas.
• Artefato vs. Estrutura: Existe um desafio significativo em separar a estrutura interna estável de artefatos de análise, incluindo limitações inerentes à sondagem de camada única e à metodologia de SAE.
• Benchmarking: Benchmarks estabelecidos (como a precisão ao nível de saída) são insuficientes para determinar se as representações internas são genuinamente informativas. Um modelo pode reproduzir a dinâmica de forma eficaz enquanto utiliza representações internas que não se alinham com a intuição física humana.

Os autores concluem que as alegações sobre o que tais modelos têm "aprendido" devem ser tratadas com cautela. Eles sugerem que construir confiança em modelos de fundação científica pode exigir começar de arquiteturas mais simples e interpretáveis e escalar sistematicamente, em vez de tentar realizar engenharia reversa de transformers de bilhões de parâmetros post-hoc. O trabalho ressalta a necessidade de distinguir entre modelos que capturaram relações governantes e aqueles que meramente memorizaram regularidades estatísticas.