기술 요약: LAWFUL – 잠재 변수의 충실한 사용을 위한 법칙 정렬된 증거(Law-Aligned Witness for Faithful Use of Latents)

1. 문제 정의

신경망이 물리 시스템을 정확하게 예측할 때, 해당 네트워크가 물리 법칙을 형식적이고 구조화된 지식으로 내면화한 것인지, 아니면 단순히 좁은 훈련 분포 내에서 입출력 동작을 모방하는 법을 배운 것인지는 여전히 불분명하다. 특히, 연속적인 물리 변수를 다루는 모델과 관련하여 다음과 같은 세 가지 구체적인 질문이 제기된다:

1. 표현(Representation): 네트워크가 법칙을 구조화된 지식으로서 학습했는가?
2. 인과적 사용(Causal Usage): 이 표현이 네트워크의 내부 연산에 인과적으로 활용되는가, 아니면 단순히 외부 프로브(probe)에 의해 디코딩 가능한 것인가?
3. 도메인 유효성(Domain Validity): 해당 표현이 법칙의 전체 유효 도메인 전반에 걸쳐 유지되는가, 아니면 오직 경험적 훈련 분포 내에서만 유효한가?

현재의 기계론적 해석 가능성(mechanistic interpretability) 프레임워크는 연속 변수에 대한 법칙을 다룰 때 다음과 같은 네 가지 구체적인 격차를 보인다:

• 커버리지 인식 일관성(Coverage-Aware Consistency): 기존의 인과적 추상화 방법은 좁게 샘플링된 이산적(discrete) 반사실적 쌍(counterfactual pairs)에 대해서만 일관성을 정량화하며, 연속적인 반사실적 가족(continuous counterfactual families)에 대한 측정법이 부족하다.
• 유효 도메인 테스트(Domain-of-Validity Testing): 식별된 "물리 회로(physics circuit)"가 단순히 훈련 분포 내에서뿐만 아니라 법칙의 전체 이론적 범위에서 일관되게 작동하는지 검증하는 확립된 절차가 없다.
• 불변량 검증(Invariant Verification): 기존 도구들은 가짜 상관관계(spurious correlations)를 타겟팅할 뿐 물리적 제약 조건(mandated physical constraints)을 타겟팅하지 않으므로, 회로 내에서 물리적 불변량(금지된 행동)의 강제 집행을 검증하는 방법이 없다.
• 신호 흐름 정량화(Signal Flow Quantification): 속성(attribution) 방법들이 어떤 에지가 중요한지는 식별하지만, 유도된 물리량의 연속적인 신호가 회로를 통해 어떻게 흐르는지(쓰기, 변환, 전송, 읽기)를 정량화하지는 못한다.

2. 방법론: LAWFUL 프레임워크

저자들은 LAWFUL(Law-Aligned Witness for Faithful Use of Latents)을 제안한다. 이는 학습된 모델을 명시적인 물리 법칙과 결합하여, 연속적인 반사실적 상태에 대해 두 모델 간의 일치성을 목격하는 기초적인 프레임워크이다.

2.1. 핵심 구성 요소

이 프레임워크는 학습된 모델 $f: \mathcal{X} \to \mathcal{Y}_f$와 알려진 법칙을 나타내는 물리 모델 $g: \Omega \to \mathcal{Y}_g$를 쌍으로 결합한다. 이는 세 가지 핵심 메커니즘을 활용한다:

• 브릿지(Bridges):
  • 입력 브릿지 ($B$): 원시 모델 입력 $\mathcal{X}$를 물리 공간 $\Omega$로 매핑한다 (예: 모션 캡처 데이터에서 시선 속도 추출).
  • 출력 브릿지 ($D_f, D_g$): 두 모델의 출력을 공유 관측 공간 $\mathcal{Z}$로 투영한다 (예: 도플러 중심 주파수).
• 섭동 가족 ($\mathcal{P}$): $\Omega$에서 반사실적 상태를 생성하는 물리적으로 의미 있는 연산 $p_\alpha$의 집합이다. 이를 통해 이산적인 교체(swap)가 아닌 연속적인 변화(예: 시선 속도 스케일링)에 대한 모델의 반응을 테스트할 수 있다.
• 일관성 점수 ($M_P(f, g)$): 섭동 가족 전체에 걸쳐 브릿징된 출력 간의 합의를 측정하는 스칼라 범함수 $\Phi$이다. 점수가 높을수록 물리 법칙에 더 밀접하게 부합함을 의미한다.

2.2. 물리적으로 일관된 회로 식별

프레임워크는 모델의 계산 그래프 중 활성화 패칭(activation patching)을 통해 일관성 점수를 복구하는 부분 그래프 $C$를 물리적으로 일관된 회로로 정의한다.

• 충분성(Sufficiency): 섭동을 $C$를 통해서만 전달하고(나머지 네트워크는 기본 활성화 상태로 유지) 모델의 물리적 일관성을 복구해야 한다.
• 필요성(Necessity): $C$를 기본 활성화 상태로 유지하면서 보수(complement, $V \setminus C$)를 통해 섭동을 전달했을 때, 일관성 복구에 실패해야 한다.
• 최소성(Minimality): 회로가 언패치된 베이스라인 대비 편차 임계값 $\tau$를 만족하면 $\tau$-일관적이라고 하며, 더 작은 부분 집합이 $\tau$-일관성을 만족하지 못할 때 최소적이라고 한다.

3. 실험적 구현: MoCap-to-Radar

이 프레임워크는 3D 모션 캡처(MoCap) 데이터로부터 레이더 스펙트로그램을 예측하도록 학습된 MoCap2Radar 트랜스포머에 구현된다.

• 법칙: 도플러 주파수 법칙 $f(t) = \frac{2v(t)}{\lambda}$ (여기서 $f(t)$는 주파수, $v(t)$는 시선 속도, $\lambda$는 파장이다).
• 도전 과제: $f(t)$와 $v(t)$는 모두 훈련 데이터에 나타나지 않는다. 즉, 모델은 원시 3D 마커 궤적으로부터 이 관계를 추론해야 한다.
• 섭동: 입력 브릿지는 시선 속도를 추출한다. 섭동 가족은 이러한 속도를 계수 $\alpha$만큼 스케일링하여(반사실적 스케일링), 접선 운동은 보존하면서 속도만을 변화시키는 효과를 준다.
• 유효 도메인: 섭동 범위는 레이더의 물리적 해상도 한계($\alpha \in [-1.16, 1.16]$)에 의해 제한된다.

4. 주요 결과

4.1. 회로 발견

• 베이스라인: 언패치된 모델은 높은 일관성 점수($M_0 = 0.988$)를 달 기록하며, 이는 모델이 법칙을 학습했음을 확인시켜 준다.
• 회로 식별: 탐욕적 하향식 탐색(greedy bottom-up search)을 통해 18개의 전체 구성 요소 중 9개(모델의 50%)로 이루어진 최소 $\tau=0.9$ 일관적 회로($C^\dagger$)를 식별했다.
• 구성: 회로는 템포럴 트랜스포머(Temporal Transformer) 블록(9개 중 7개 구성 요소)에 의해 지배되며, 구체적으로 MLP와 어텐션 헤드 $h_0, h_1, h_2, h_4, h_6, h_7$를 포함한다. 스페이셜 트랜스포머(Spatial Transformer)는 미미하게 기여한다 (MLP 및 헤드 $h_4$).
• 성능: 이 축소된 회로는 원래 모델의 도플러 일관성의 91%를 복구한다.

4.2. 유효 도메인 및 불변성

• 시선 방향 스케일링(Radial Scaling): 레이더 해상도 도메인 내($|\alpha| \le 1.16$)에서 식별된 회로 $C^\dagger$는 물리 모델 $g$를 밀접하게 추적하며, 속도 스케일링에 대해 선형적 반응을 보인다. 이 도메인을 벗어나면 성능이 저하되는데, 이는 물리적 외삽(extrapolation)의 한계 때문이다.
• 접선 방향 불변성(Tangential Invariance): 접선 방향 속도(레이더 시선 방향에 수직)를 스케일링할 때, 모델과 회로는 거의 제로에 가까운 반응을 보인다. 이는 접선 운동이 도플러 이동을 유발하지 않는다는 물리적 원칙을 준수함을 확인해 준다.

4.3. 기계론적 분석

• 속도의 출현(Emergence of Velocity): 선형 프로빙(linear probing) 결과, 시선 속도는 개별 어텐션 헤드나 투영 레이어에 명시적으로 인코딩되어 있지 않다. 대신, 결합된 템포럴 어텐션 헤드의 출력에서 선형적으로 디코딩 가능한 표현으로 나타난다.
• 작용 기전: 어텐션 패턴(QK)과 값 변환(VAL)을 패칭함으로써, 저자들은 **어텐션 패턴(QK)**이 일관성의 주요 동인임을 발견했다. QK만을 교체했을 때는 일관성이 복구되지만, VAL을 교체했을 때는 복구되지 않는다.
• 해석: 이는 모델이 **적응형 템포럴 차분(adaptive temporal differentiation)**을 수행함을 시사한다. 어텐션 패턴은 프레임 쌍을 동적으로 선택하여 비교하며, 이는 대상의 속도에 따라 (빠른 움직임에는 짧은 간격을, 느린 움직임에는 긴 간격을) 속도를 계산하는 방식과 유사한 멀티 스케일 신호 처리와 닮아 있다.

5. 의의 및 주장

본 논문은 신경망 모델이 연속 변수에 대한 물리 법칙을 실제로 체화하고 있는지 평가하기 위한 최초의 원칙적인 프레임워크를 제공한다고 주장한다.

• 격차 해소: LAWFUL은 연속 법칙에 대한 커버리지 인식 인과적 일관성과 유효 도메인 테스트의 문제를 해결한다.
• 충실한 사용: 이는 단순히 "모델이 정확한가?"를 넘어 "모델이 내부적으로 법칙을 사용하는가?"를 식별함으로써, 물리적 일관성을 담당하는 특정 부분 그래프를 찾아낸다.
• 미래 연구를 위한 토대: 현재의 구현은 선형 법칙(도플러)과 특정 트랜스포머 아키텍처에 집중되어 있지만, 이 프레임워크는 더 복잡한 물리적 AI 시스템을 위한 불변량 및 신호 흐름 정량화 문제를 다루기 위한 기반을 마련한다.

저자들은 현재 프레임워크가 사전에 제공된 그라운딩 법칙에 의존하고, 이번 구현에서는 선형 법칙을 다루며, 복잡한 스펙트로그램을 단일 중심 주파수로 축소하여 더 미세한 구조적 특징을 놓칠 수 있다는 점을 언급하며 한계에 대해 겸허한 태도를 유지한다.