기술적 요약: 개념 활성화 벡터를 통한 비디오 월드 모델의 인과적 물리 조향

문제 제기

모델 기반 강화 학습 및 자율 주행과 같은 작업을 위해 물리적 역학의 표현을 학습하는 비디오 월드 모델은 현재 추론 시 물리적 기대를 제어할 수 있는 메커니즘이 부족합니다. 최근의 해석 가능성 연구는 VideoMAE의 중간 트랜스포머 레이어 내에 물리적 타당성이 다른 시각적 특징과 분리되어 표현되는 **물리 출현 영역 (Physics Emergence Zone, PEZ)**이 있음을 확인했으나, 이 구조를 직접 조작하여 모델의 추론을 변경할 수 있는지 여부는 불분명했습니다. 기존 제어 가능한 생성 방법 (예: ControlNet) 은 학습 시 조건부 입력이나 그라디언트 기반 최적화와 쌍을 이루는 감독이 필요한 사후 어댑터에 의존하며, 물리 지식이 내부적으로 어디에, 어떻게 표현되는지, 그리고 재학습 없이 직접 개입할 수 있는지에 대한 근본적인 질문에 답하지 못했습니다.

방법론

저자들은 **물리 조향 (physics steering)**을 제안합니다. 이는 학습이 필요 없으며 추론 시 수행되는 개입 방법으로, **개념 활성화 벡터 (Concept Activation Vectors, CAVs)**를 활용하여 물리적 추론을 조작합니다.

1. 물리 출현 영역 (PEZ) 식별:
   이전 연구를 따르어, 저자들은 사전 학습된 VideoMAE의 각 레이어에서 물리적 타당성 (가능 vs. 불가능) 을 예측하기 위해 선형 로지스틱 회귀 프로브를 학습합니다. 프로브 정확도가 정점에 근접하는 레이어 군집 (특히 레이어 0–5, 피크는 레이어 5) 을 PEZ 로 식별합니다.

2. CAV 추출:
   PEZ 내의 각 레이어에 대해, 학습된 선형 프로브의 가중치 벡터 ($w_l$) 를 추출하여 정규화함으로써 물리 CAV ($v_l$) 를 형성합니다. 이 벡터는 "물리적으로 불가능한" 시나리오와 관련된 표현 공간 내의 방향을 정의합니다. 훈련 샘플 수가 특징 차원보다 작은 경우를 처리하기 위해, 저자들은 PCA 와 방향 반전 확인을 적용하여 벡터가 개념과 올바르게 정렬되도록 합니다.

3. 추론 시 개입:
   추론 중 이 방법은 목표 레이어 $l^*$의 패치 토큰에 대한 숨겨진 상태에 CAV 의 스케일된 버전을 추가하여 수정합니다:
   $$\tilde{H}_{l^*}(x)_i = H_{l^*}(x)_i + \alpha \cdot v_{l^*}$$
   여기서 $\alpha$는 조향 강도 매개변수입니다.

   • $\alpha > 0$: 표현을 "물리적으로 불가능한" 방향으로 이동시킵니다.
   • $\alpha < 0$: 표현을 "물리적으로 가능한" 방향으로 이동시킵니다.
   • $\alpha = 0$: 기준선 (변화 없음).

   이 개입은 인코더의 숨겨진 상태에 적용됩니다. VideoMAE 가 인코더이므로, 이 방법은 직접 픽셀 공간의 비디오 프레임을 생성하는 대신 하류의 물리 민감 예측을 변경합니다.

4. 평가 지표:
   조향의 효과는 다음을 사용하여 측정됩니다:

   • 플립율 (Flip Rate, FR): 기준선 대비 분류가 변경된 테스트 비디오의 비율.
   • 점수 차이 ($\Delta P$): "불가능"일 확률의 평균 변화량.
   • 방향 순도 (Directional Purity, DP): 관찰된 표현 이동과 의도된 CAV 방향 사이의 코사인 유사도.
   • 표현 드리프트 (Representation Drift, RD): 표현 공간 내 이동의 크기.

주요 기여

1. CAV 를 활용한 물리 조향: 저자들은 PEZ 레이어의 선형 프로브 가중치가 해석 가능한 조향 방향을 제공함을 입증했습니다. 이러한 벡터를 주입하면 모델 가중치를 업데이트하지 않고도 모델의 물리적 판단을 양방향으로 제어할 수 있습니다 ($P(\text{impossible})$를 1.0 또는 0.0 으로 유도).
2. 레이어별 개입 분석: 동일한 벡터를 서로 다른 레이어에 주입함으로써, 저자들은 조향 효과가 엄격하게 PEZ 와 이전 레이어에 국한됨을 보여주었습니다. 레이어 6–11 에서의 개입은 0.00 의 플립율을 초래하여, 관련 물리 표현이 PEZ 내에서 확립되고 접근 가능함을 확인시켰습니다.
3. 부분 공간 직교성: 연구는 물리 CAV 와 운동 방향 부분 공간 사이의 각도를 측정하여 **90.0°**의 직교성을 발견했습니다. 이는 물리와 운동이 서로 간섭하지 않는 별도의 부분 공간에 인코딩된다는 가설을 지지합니다.
4. 내재적 차원성 추정: 반복적 직교 프로브 학습을 통해 저자들은 PEZ 의 물리 부분 공간이 약 2–3 개의 방향에 의해 지배됨을 발견했습니다. 이러한 낮은 차원성은 단일 벡터 조향 접근법이 매우 효과적인 이유를 설명합니다.
5. 원리별 조향: 직관적 물리 원리 (사물 영속성, 연속성, 고체성) 별에 대해 별도로 훈련된 CAV 들은 거의 직교하는 것으로 나타났습니다 (예: 연속성과 고체성 사이 86.1°). 이는 특정 물리 원리를 독립적으로 조향할 수 있음을 시사합니다.

결과

실험은 고정된 VideoMAE-base 모델을 사용하여 IntPhys 벤치마크에서 수행되었습니다.

• 조향 효과: 주요 PEZ 레이어 (레이어 5) 에서 $|\alpha| \ge 5$로 조향하면 모델의 판단이 신뢰성 있게 포화됩니다. 양의 조향은 $P(\text{impossible})$을 1.0 으로, 음의 조향은 0.0 으로 유도합니다. 방향 순도는 주입 레이어에서 1.00에 도달하여 매우 구조화된 개입을 나타냅니다.
• 국소화: 효과는 엄격하게 레이어에 의존합니다. PEZ 에서 훈련된 CAV 를 레이어 6–11 에 주입하면 레이어 5 에서 측정된 물리 판단에 변화가 없으며, 이는 물리 표현이 PEZ 와 이전 레이어에 국한됨을 확인시켜 줍니다.
• 기하학: 물리 CAV 는 운동 방향과 직교합니다 (90.0°). 이는 이전에 보고된 것 (69–83°) 보다 더 높은 분리 정도입니다. 이는 물리를 조향하는 것이 본질적으로 운동 표현을 방해하지 않음을 시사합니다.
• 분리: 서로 다른 물리 원리 (O1, O2, O3) 는 PEZ 공간 내의 서로 다른 방향을 차지하며, O2 와 O3 는 거의 직교하여 원리별 제어가 가능하게 합니다.

중요성과 주장

이 논문은 VideoMAE 의 물리적 추론이 선형 프로브를 통해 가독성이 있을 뿐만 아니라 추론 시 직접 조향 가능하다고 주장합니다. 국소화된 물리 출현 영역을 식별하고 CAV 를 활용함으로써, 저자들은 재학습, 미세 조정, 또는 아키텍처 변경 없이 모델의 물리적 기대를 제어할 수 있는 방법을 제공합니다.

그 중요성은 다음과 같습니다:

• 인과적 제어: 상관관계를 넘어 특정 표현 레이어에 개입함으로써 모델의 물리적 타당성 판단을 인과적으로 변경함을 입증합니다.
• 해석 가능성에서 행동으로: 지식이 어디에 있는지 찾는 기계적 해석 가능성과 그 지식을 사용하여 행동을 제어하는 표현 공학 사이의 간극을 연결합니다.
• 안전 및 평가: 이 방법은 새로운 데이터셋 수집 없이 물리적으로 불가능한 시나리오를 생성하여 월드 모델을 체계적으로 스트레스 테스트할 수 있는 방법을 제공하며, 이는 AI 안전 평가에 유용합니다.

저자들은 이 방법이 인코더의 내부 표현을 제어하지만, 조향된 픽셀 공간의 비디오 프레임을 생성하려면 디코더와 결합해야 하며 이는 향후 과제로 남긴다고 하여 겸손한 범위를 유지합니다. 또한 DINOv2, Stable Video Diffusion 등 다른 아키텍처에서 PEZ 의 존재 여부는 여전히 열린 실증적 질문임을 강조합니다.