Sparse probes and murky physics: a case study of interpretability challenges in a foundation model for continuum dynamics

기술 요약: 희소 프로브와 모호한 물리(Sparse Probes and Murky Physics)

문제 정의
생성형 AI 에뮬레이터는 강력한 물리 이론과 벤치마크가 이미 존재하는 과학적 영역에 점점 더 많이 배치되고 있습니다. 이는 중대한 해석 가능성(interpretability)의 과제를 생성합니다. 파운데이션 모델이 알려진 연속체 역학(continuum dynamics)을 성공적으로 재현하더라도, 모델이 근저에 있는 물리적 메커니즘을 학습한 것인지 아니면 단순히 통계적 상관관계를 암기한 것인지 불분명하기 때문입니다. 구체적으로, 연구자들은 모델의 내부 표현(internal representations)이 알려진 물리 원칙과 일치하는지, 이러한 표현이 모델의 성공 또는 실패와 어떻게 연관되는지, 그리고 "다른" 내부 구조가 진정으로 정보 가치가 있는 것인지 아니면 단지 효과적인 지름길(shortcuts)에 불과한지를 판단해야 합니다. 본 논문은 다양한 물리적 시나리오를 학습한 13억 파라미터 규모의 트랜스포머인 Walrus 파운데이션 모델을 중심으로, 학습된 내부 표현과 물리적 직관 사이의 간극에 초점을 맞추어 이 질문들을 다룹니다.

방법론
저자들은 물리적 원리에 기반한 기계론적 해석 가능성(mechanistic interpretability) 접근 방식을 채택하며, 특히 희소 오토인코더(Sparse Autoencoder, SAE)를 사용하여 Walrus 모델의 내부 활성화(activations)를 조사합니다.

• 모델 및 데이터: 본 연구는 고전 유체를 포함한 19가지 물리적 시나리오로 학습된 Walrus에 집중합니다. 분석은 비압축성 나비에-스토크스(Navier-Stokes) 방정식에 의해 지배되는 2D 전단 유동(shear-flow) 시뮬레이션 제품군으로 제한됩니다. 데이터셋은 레이놀즈 수($Re$)와 슈미트 수($Sc$)에 따라 변화하며, 특히 세 가지 시뮬레이션—Sim3 ($Re=10^4, Sc=0.1$), Sim50 ($Re=10^4, Sc=0.2$), Sim56 ($Re=5\times10^4, Sc=0.1$)—에 주목합니다.
• 물리적 근거: SAE에 의해 생성된 방대한 피처(feature) 세트를 선별하기 위해, 저자들은 물리적으로 근거가 있는 지표로서 와도(vorticity)의 제곱 적분인 엔스트로피(enstrophy, $E$)를 활용합니다. 또한 주입(injection)과 소산(dissipation)의 균형을 평가하기 위해 엔스트로피의 시간 미분값($\dot{E}$)을 분석합니다.
• SAE 구현: Walrus 트랜스포머의 중간 블록($l=20$)에서 추출한 2,816개의 활성화를 대상으로 Top-K 희소 오토인코더를 학습시켰습니다. SAE는 8배의 확장 계수(expansion factor)를 사용하여 22,528개의 피처를 생성합니다. 학습에는 피처 붕괴(feature collapse)를 방지하고 학습을 안정화하기 위해 두 부분으로 구성된 손실 함수(평균 제곱 오차 및 데드 뉴런을 위한 보조 손실)를 사용했습니다.
• 분석 전략: 저자들은 글로벌 엔스트로피 지표와의 스피어먼 순위 상관관계(Spearman rank correlation)를 기준으로 SAE 피처의 순위를 매깁니다. 그 후, 공간적 일관성과 다양한 시뮬레이션 설정 및 타임스텝 간의 일관성을 평가하기 위해 피처 활성화 히트맵을 트레이서 필드(tracer fields) 및 엔스트로피 맵과 대조하여 시각화합니다.

주요 결과
본 조사는 모델의 내부 표현의 일관성과 해석 가능성에 관한 몇 가지 발견을 제시합니다:

1. 피처 식별 및 상관관계: 참조 시뮬레이션(Sim50)에서 상위 순위 피처 하나가 엔스트로피와 높은 상관관계($\rho = 0.85$)를 보였으나, 전체 22,528개 피처 중 약 10%가 유의 수준을 초과했습니다. 이는 엔스트로피와 같은 단일 물리 지표와의 상관관계만으로는 기계론적으로 의미 있는 피처를 고유하게 분리해 내기에 불충분함을 시사합니다.
2. 간헐적 일관성: 연구는 "구간별 일관성(piecewise consistency)"의 증거를 발견했습니다. 특정 피처들이 서로 다른 전단 유동 설정(예: 채널 인터페이스나 와류 영역에서 활성화되는 특정 피처들)에서 유사한 역할을 반복 수행합니다. 그러나 이러한 구조는 매우 간헐적입니다. 즉, 표준적인 물리적 분해(physical decompositions)와 깔끔하게 매핑되지 않으며, 타임스텝이 경과함에 따라 지속되지 못하는 경우가 많습니다 much.
3. 확산성 및 불일치: 수치 시뮬레이션과 Walrus 에뮬레이터 간의 직접적인 비교 결과, 체계적인 출력 레벨의 불일치가 드러났습니다. Walrus는 중간 파수(mid-wavenumbers)에서 에너지를 과소 예측하고, 큰 파수(large wavenumbers)에서는 과대 예측하는 경향이 있는데, 이는 과도한 소규모 구조 생성 또는 "너무 많은" 소규모 확산(small-scale diffusion)을 나타냅니다.
4. 표현적 확산 vs 물리적 확산: 시뮬레이션이 진행됨에 따라 피처의 일관성이 상실되는 것은 두 가지 원인에서 기인할 수 있습니다:
   • 물리적 원인: Walrus가 유동장을 과도하게 매끄럽게(over-smooth) 만들어, 참조 시뮬레이션이 구조를 유지하는 스케일에서 에너지 스펙트럼이 소산되도록 할 수 있습니다.
   • 표현적 원인: 물리적 구조가 남아 있더라도, 모델이 이를 몇 개의 해석 가능한 피처에 집중시키지 않고 여러 약하게 활성화된 피처들에 걸쳐 인코딩할 수 있습니다.
5. 안정적인 매핑의 부재: 단일 시뮬레이션 내의 상위 순위 피처들로 분석을 제한하더라도 익숙한 물리량으로의 안정적인 매핑을 회복하지 못했습니다. 초기 타임스텝에서 의미 있어 보이던 패턴들은 유동이 진화함에 따라 노이즈로 변하거나 예측 불가능하게 변합니다.

의의 및 주장
본 논문은 파운데이션 모델의 해석 가능성을 해결했거나 Walrus가 유체 역학의 지배 방정식을 학습했다는 것을 증명하려 하는 것이 아닙니다. 대신, 과학적 파운데이션 모델 커뮤니티를 위한 열린 질문들을 강조하는 사례 연구 역할을 합니다:

• 우선순위 설정: 방대한 비율의 피처가 물리적 지표와 상관관계를 가질 때, 기계론적으로 의미 있는 피처를 견고하게 우선순위화하는 것은 어렵습니다.
• 아티팩트 vs 구조: 단일 레이어 프로빙 및 SAE 방법론 자체의 한계를 포함하여, 안정적인 내부 구조와 분석 아티팩트(artifact)를 구분하는 데는 상당한 어려움이 따릅니다.
• 벤치마킹: 기존의 벤치마크(출력 레벨의 정확도 등)는 내부 표현이 진정으로 정보 가치가 있는지 판단하기에는 불충분합니다. 모델은 인간의 물리적 직관과 일치하지 않는 내부 표현을 사용하면서도 역학을 효과적으로 재현할 수 있습니다.

저자들은 이러한 모델이 무엇을 "학습했는지"에 대한 주장은 주의 깊게 다뤄져야 한다고 결론짓습니다. 이들은 과학적 파운데이션 모델에 대한 신뢰를 구축하는 방법이, 사후적으로 수십억 파라미터의 트랜스포머를 역공학(reverse-engineer)하려 하기보다는, 더 단순하고 해석 가능한 구조에서 시작하여 체계적으로 규모를 키워나가는 방식이어야 한다고 제언합니다. 본 연구는 모델이 지배적인 관계를 포착한 것인지, 아니면 단순히 통계적 규칙성을 암기한 것인지를 구분하는 것이 필수적임을 강조합니다.