기술 요약: 기계적 해석 가능성과 최적 제어를 통한 월드 액션 모델(World Action Model)의 강건성 유도

문제 정의

월드 액션 모델(WAM)은 비디오 생성 백본을 통해 미래 상태 모델링과 액션 예측을 결합함으로써 로봇 학습 분야의 중요한 진전을 나타냅니다. 시각-언어-행동(VLA) 모델이 관측값에서 행동으로 직접 매핑하는 것과 달리, WAM은 동적으로 일관된 정책을 생성하는 것을 목표로 합니다. 그러나 WAM은 카메라 방향 변화, 초기 로봇 상태(예: 그리퍼 위치), 시각적 손상(예: 가우시안 노이즈)과 같은 분포 외(OOD) 변화에 취약한 모습을 보입니다.

현재의 강건성 전략은 대개 방대한 데이터 수집, 다양한 훈련 세트 또는 비용이 많이 드는 재학습에 의존합니다. 본 논문은 파인튜닝 없이 추론 시점에 개입하여 강건성을 개선할 수 있는 필요성을 다룹니다. 핵심 연구 질문은 다음과 같습니다:

1. WAM의 내부 활성화(activation)가 특정 섭동(perturbation) 하에서 왜 실패하는지를 밝혀낼 수 있는가?
2. 이러한 표현(representation)들을 기계적 해석 가능성(mechanistic interpretability, MI)을 통해 식별하고, 재학습 없이 모델을 강건한 행동으로 유도(steering)할 수 있는가?

방법론

제안된 접근 방식은 **기계적 분석(Mechanistic Analysis)**을 통한 유도 가능성 식별과 **활성화 유도(Activation Steering)**를 통한 강건성 개입의 두 단계로 구성됩니다.

1. WAM 활성화의 기계적 분석

저자들은 강건성에 결정적인 특징들(예: 카메라 노이즈나 그리퍼 위치에 대한 민감도)이 WAM의 활성화 공간 내에서 저차원의 선형 분리 가능성(linear separability)을 보이는지 조사합니다.

• 대조 데이터셋(Contrastive Datasets): 저자들은 여러 태스크(LIBERO-10)에 걸쳐 명목상(nominal, 깨끗한) 입력과 섭동된 입력(예: 이동된 카메라, 추가된 노이즈)을 비교하는 데이터셋을 구축합니다.
• 선형 분리성 지표(Linear Separability Metric): 활성화 값을 풀링(pooling)한 후 상위 3개의 주성분(PC)으로 투영합니다. 명목상 활성화와 섭동된 활성화를 구분하기 위해 선형 서포트 벡터 머신(SVM)을 적합시킵니다. 성능은 평균 힌지 손실(hinge loss)로 측정되며, 손실이 0에 가까울수록 강한 선형 분리성을 나타내고, 1에 가까울수록 무작위 분리성을 나타냅니다.
• 아키텍처 의존성: 분석 결과, 선형 분리성은 아키텍처에 따라 크게 달라짐이 드러났습니다. Cosmos-Policy 및 DiT4DiT와 같은 모델은 강건성 특징에 대해 명확한 저차원 선형 구조를 보이는 반면, LingBot-VA는 약하거나 존재하지 않는 분리성을 보였습니다.

2. 활성화 유도 전략

기계적 분석 결과를 바탕으로, 본 논문은 두 가지 유도 방법을 제안합니다:

• 오픈 루프 활성화 가산(Open-Loop Activation Addition, ActAdd):

  • 명목상 입력에서 섭동된 입력을 빼서 대조 방향($d$)을 계산합니다.
  • 추론 시, 고정된 벡터($\gamma \cdot d$)를 모델의 은닉 상태(hidden states)에 더합니다.
  • 한계: 이는 현재의 활성화 상태를 고려하지 않는 정적이고 오픈 루프 방식이므로, 과도한 유도(over-steering)나 행동 저하를 초래할 수 있습니다.

• 월드-액션 선형 이차 조절기(World-Action Linear Quadratic Regulator, WA-LQR):

  • WAM을 위해 설계된 폐쇄 루프(closed-loop) 기반 모델링 최적 제어 방법입니다.
  • 차원 축소: 대조 방향에 대한 특이값 분해(SVD)를 사용하여 고차원 활성화를 저차원 잠재 부공간(latent subspace)으로 투영합니다.
  • 국소 선형성(Local Linearity): 디퓨전 트랜스포머(diffusion transformer)의 역학이 이 부공간 내에서 국소적으로 선형적이라고 가정합니다. 자코비안-벡터 곱(JVP)을 사용하여 상태 전이 행렬($A$)과 제어 행렬($B$)을 정의함으로써 역학을 근사합니다.
  • 제어 합성: LQR 문제를 선형 이차 조절기(LQR) 작업으로 공식화합니다. 이는 목표 "특징 설정값(feature setpoint, 원하는 강건성 강도)"으로부터의 편차와 제어 노력(control effort)에 벌점을 주는 비용 함수를 최소화합니다.
  • 적응형 개입: ActAdd와 달리, WA-LQR은 각 레이어와 타임스텝마다 피드백 이득($K$)을 계산합니다. 활성화가 목표 특징 강도에서 벗어날 때만 유도를 적용하여, WAM의 역학적 실현에 맞게 온라인으로 적응합니다.

주요 기여

1. WAM 강건성의 기계적 분석: 저자들은 WAM의 활성화에 대한 최초의 기계적 연구를 제공합니다. 이들은 강건성과 관련된 특징들이 저차원의 선형 분리 가능한 부공간에 존재한다는 점을 확인하였으며, 이것이 효과적인 활성화 유도의 전제 조건임을 밝히고, 이러한 특성이 모델 아키텍처에 크게 의존함을 입증했습니다.
2. 진단 도구로서의 유도 가능성: SVM 힌지 손실(선형 분리성 지로)이 유도 성공 여부와 강력하게 상관되어 있음을 보여줍니다. 이를 통해 실무자는 유도 개입을 시도하기 전에 특정 WAM이 학습 없이 유도 가능한지를 예측할 수 있습니다.
3. WA-LQR 프레임워크: WAM을 위한 최초의 폐쇄 루프 활성화 유도 방법인 WA-LQR을 도입합니다. 이는 디퓨전 트랜스포머 역학의 국소 선형성을 활용하여, 재학습 없이 강건한 설정값으로 활성화를 유도하는 축소 차수 LQR 컨트롤러를 합성합니다.
4. 실증적 검증: 저자들은 다음을 검증했습니다:
   • 높은 선형 분리성을 가진 모델(Cosmos-Policy, DiT4DiT)은 상당한 강건성 향상을 보입니다.
   • 선형 분리성이 낮은 모델(LingBot-VA)은 개선 효과가 거의 없으며, 오픈 루프 방식은 오히려 성능을 저하시킬 수 있습니다.
   • WA-LQR은 오픈 루프 방식인 ActAdd 및 프롬프트 기반 유도 베이스라인보다 우수한 성능을 보이며, 특히 과도한 유도를 방지하는 데 탁-월합니다.

결과

실험은 Cosmos-Policy, DiT4DiT, LingBot-VA를 대상으로 세 가지 섭동 유형(카메라 방향 변화, 초기 그리퍼 위치 변화, 가우시안 이미지 노이즈)에 대해 LIBERO-10 벤치마크에서 수행되었습니다.

• Cosmos-Policy: WA-LQR은 유도되지 않은 베이스라인 대비 성공률을 최대 **41%**까지 향상시켰습니다. 예를 들어, 카메라 방향 섭동 하에서 성공률이 약 46%(유도 없음)에서 ~59%(WA-LQR)로 상승했습니다. 이 방법은 서로 다른 태스크 간에도 대조 방향을 성공적으로 일반화했습니다.
• DiT4DiT: 유사한 개선이 관찰되었으며, 특히 가우시안 노이즈와 그리퍼 위치 변화를 처리할 때 WA-LQR이 유도되지 않은 모델 및 ActAdd 베이스라인보다 우수한 성능을 보였습니다.
• LingBot-VA: 기계적 분석 결과와 일치하게, 유도는 미미한 강건성 이득만을 가져왔습니다. 일부 경우 오픈 루프 ActAdd가 과도한 유도로 인해 성능을 저하시켰으나, WA-LQR은 이를 완화했음에도 불구하고 유의미한 개선을 달-성하지 못했습니다. 이는 방법론이 작동하기 위해 선형 분리성이 필수적임을 확인시켜 줍니다.
• 상관관계: SVM 힌지 손실(분리성 지표)과 성공률 향상 사이에 강한 음의 상관관계가 발견되었으며, 이는 기계적 분석을 개입 효능의 예측 도구로 사용하는 것을 검증합니다.

의의 및 주장

본 논문은 기계적 해석 가능성이 로봇 파운데이션 모델을 위한 추론 시점의 강건성 개입 가능성을 판단하는 진단 도구로 쓰일 수 있다고 주장합니다. 특정 WAM(Cosmos-Policy, DiT4DiT 등)의 강건성 핵심 특징들이 저차원의 선형 분리 가능한 부공간에 존재함을 밝힘으로써, 저자들은 **학습이 필요 없는 유도(training-free steering)**가 배포 강건성을 개선하기 위한 실행 가능한 전략임을 입증했습니다.

WA-LQR의 도입은 정적인 오픈 루프 활성화 수정에서 동적인 폐쇄 루프 제어로의 전환을 의미합니다. 이 접근 방식은 WAM 추론을 축소 차수 역학 시스템으로 취급하여, 모델의 내부 상태를 존중하면서 적응형 개입을 가능하게 합니다. 저자들은 모든 아키텍처에 유도가 보편적으로 적용되는 것은 아니지만, 필요한 선형 구조를 갖춘 아키텍처의 경우, 은닉 표현의 기계적 제어가 광범적인 재학습이나 새로운 데이터 수집 없이도 유망한 경로가 될 수 있다고 결론짓습니다.

저자들이 언급한 한계점:

• 본 방법의 적용 가능성은 현재 강한 선형 분리성을 보이는 모델에 국한되어 있으며, 별도의 기계적 분석 없이 임의의 태스크나 환경 간의 표현 전이성을 예측하는 일반적인 방법은 아직 없습니다.
• 이 접근 방식은 모델 아키텍처에 대한 의존성이 높으며, 이는 기본 모델의 표현을 보존하면서도 본질적으로 유도가 가능하도록 설계된 차세대 WAM 설계의 필요성을 강조합니다.