기술 요약: MaskLAM – 방해 요소가 존재하는 환경에서 잠재 행동 모델 안내

문제 제기

잠재 행동 모델 (LAM) 은 연속된 관측치 사이의 잠재 행동을 추론함으로써 대규모 행동 없는 비디오를 기반으로 신체화된 에이전트를 사전 학습할 수 있는 경로를 제공합니다. 이러한 잠재 행동은 이후 소량의 레이블이 지정된 예시를 사용하여 실제 제어 신호로 디코딩됩니다. 그러나 LAPO 와 같은 표준 LAM 은 다음 프레임을 예측하기 위해 전체 장면을 인코딩하도록 강제하는 글로벌 재구성 목적 함수에 의존합니다.

시각적 방해 요소 (예: 동적 배경, 카메라 흔들림, 또는 이동하는 물체) 가 포함된 현실적인 환경에서 이 접근법은 실패합니다. 표준 재구성 손실 함수는 잠재 행동이 에이전트가 제어하는 (내생적) 역학이 아닌 외부 요인에 의한 운동 (방해 요소) 을 인코딩하도록 유도합니다. Exogenous Block MDP(Ex-BMDP) 프레임워크로 형식화된 이 현상은 실제 행동을 복원하지 못하는 잠재 공간을 초래하여, 미세 조정 시 하위 정책의 성능이 현저히 저하됩니다. 이를 해결하려는 이전 시도들은 사전 학습 중 추가 손실 함수나 특권적 행동 감독을 요구하거나 아키텍처 변경을 필요로 하여 복잡성과 데이터 요구 사항을 증가시켰습니다.

방법론: MaskLAM

저자들은 사전 학습 중 행동 레이블이 필요하거나 모델 아키텍처를 변경하지 않고도 외부 오염 문제를 해결하는 LAPO 훈련 목적 함수의 경량 수정안인 MaskLAM을 제안합니다.

핵심 통찰

이 방법은 내생적 (에이전트) 과 외생적 (방해 요소) 요인이 잠재 공간에서 얽혀 있지만, 일반적으로 픽셀 공간에서 공간적으로 분리 가능하다는 관찰에 기반합니다. 에이전트가 제어하는 변화는 에이전트 픽셀에 집중되는 반면, 방해 요소의 운동은 다른 곳에서 발생합니다.

기술적 구현

1. Zero-Shot 분할: MaskLAM 은 SAM 2.1 과 같은 오프더셸 분할 기반 모델을 활용하여 에이전트 픽셀을 식별하는 이진 마스크 ($M_t$) 를 생성합니다. 이러한 마스크는 첫 번째 프레임에서 단일 프롬프트 (예: 바운딩 박스) 를 통해 Zero-shot 으로 획득된 후 비디오 시퀀스 전체로 전파됩니다.
2. 마스크 적용 순방향 역학 손실: 전체 관측치를 재구성하는 대신, 순방향 역학 모델 (FDM) 손실을 에이전트 픽셀로 제한합니다. 손실 함수는 다음과 같이 정의됩니다:
   $$L_{MaskLAM}^{FDM} = \frac{1}{\|M_{t+1}\|_1} \| M_{t+1} \odot (\hat{o}_{t+1} - o_{t+1}) \|_2^2$$
   여기서 $\odot$는 Hadamard 곱을 나타냅니다. 이는 에이전트 마스크 외부의 픽셀 (방해 요소) 이 잠재 행동 $z_t$에 대한 기울기 기여도를 0 으로 보장합니다.
3. 마스크 조건부 입력: 분할 마스크는 역방향 역학 모델 (IDM) 과 FDM 모두에 추가 입력 채널로 연결됩니다. 이를 통해 모델은 (엄격한 에이전트 마스크 바깥에 있을 수 있는 에이전트가 상호작용하는 물체를 포함한) 전체 장면 컨텍스트를 활용할 수 있으면서도 $z_t$에 대한 학습 신호가 에이전트가 제어하는 역학에서만 유래되도록 보장합니다.
4. 아키텍처 변경 없음: 이 개입은 손실 계산과 입력 채널만 수정하며, 기존 LAPO 아키텍처 (IDM/FDM 쌍) 와 3 단계 훈련 파이프라인 (사전 학습, 재레이블링, 디코더 미세 조정) 은 그대로 유지됩니다.

주요 기여

1. 개입으로서의 공간 분리 가능성: 이 논문은 에이전트와 방해 요소 픽셀의 공간적 분리 가능성을, 추상적인 Ex-BMDP 분해가 구체적인 훈련 시간 개입으로 구현될 수 있게 하는 핵심 속성으로 규명합니다.
2. MaskLAM 제안: 사전 학습 중 추가 손실 함수, 아키텍처 변경, 행동 레이블 없이도 재구성 손실을 에이전트 픽셀로 제한함으로써 잠재 행동에 대한 외생적 기울기를 제거하는 방법입니다.
3. 실증적 검증: Distracting Control Suite 와 Distracting Meta-World 라는 두 가지 벤치마크에 대한 광범위한 평가 결과, MaskLAM 은 레이블 없는 베이스라인을 크게 능가하며 특권적 행동 감독에 의존하는 방법 (LAOM-Labels) 과의 성능 격차를 좁혔습니다.

결과

저자들은 LAPO, LAOM-Labels(행동 감독을 사용하는 상한선), LAOF(흐름 기반), LAPO-Slots(객체 중심) 와 비교하여 두 가지 벤치마크의 14 개 작업에서 MaskLAM 을 평가했습니다.

• 잠재 행동 품질: MaskLAM 은 LAPO 대비 정규화된 선형 프로브 평균 제곱 오차 (NMSE) 를 최대 3.51 배 감소시켰습니다. 시각화 (UMAP 투영) 에서 MaskLAM 은 실제 행동과 정렬된 매끄럽고 단조로운 매니폴드를 생성한 반면, LAPO 는 얽힌 클러스터로 붕괴되었습니다.
• 하위 작업 성능: MaskLAM 은 방해 요소 환경에서 LAPO 대비 정규화된 리턴을 최대 4.97 배 향상시켰습니다. 이는 모든 레이블 없는 베이스라인과 맞먹거나 능가하며, 특권적 행동 감독을 사용하는 LAOM-Labels 의 성능에 근접했습니다.
• 샘플 효율성: MaskLAM 은 디코더 미세 조정 단계에서 우수한 샘플 효율성을 보여주었습니다. Distracting Meta-World 에서 2,000 개의 행동 레이블만으로 거의 최대 성능에 도달한 반면, LAPO 와 LAPO-Slots 는 격차를 해소하기 위해 거의 두 자릿수 더 많은 레이블이 필요했습니다.
• 강건성:
  • 가림 현상: MaskLAM 은 최대 **75%**의 에이전트 가림 현상에서도 낮은 오류율을 유지한 반면, 마스크가 적용되지 않은 모델은 크게 저하되었습니다.
  • 불완전한 마스크: 분할 마스크가 교란되었을 때 (mIoU 가 0.4–0.6 로 하락) 도 이 방법은 효과적이었으며, 픽셀 단위의 완벽한 분할이 필요하지 않음을 시사합니다.
  • 컴팩트한 잠재 공간: 잠재 공간이 외생적 분산을 인코딩하는 부담이 없으므로, MaskLAM 은 더 큰 마스크가 적용되지 않은 잠재 (256 차원) 와 동일한 정렬을 달성하기 위해 더 작은 잠재 차원 (예: 64 차원) 을 허용했습니다.

중요성과 주장

이 논문은 방해 요소가 풍부한 환경에서 표준 LAM 의 실패는 아키텍처가 아닌 예측 대상(글로벌 재구성) 에 의해 주도된다고 주장합니다. 희소한 행동 레이블에서 저렴하고 Zero-shot 으로 이용 가능한 분할 마스크로 감독 부담을 재배분함으로써 MaskLAM 은 노이즈가 있는 실제 세계 비디오에서의 잠재 행동 사전 학습을 실현 가능하게 만듭니다.

저자들은 이 접근법이 다음과 같음을 강조합니다:

• 행동 레이블에 대한 필요성을 분리된 역학을 학습하는 능력으로부터 분리합니다.
• 중요한 강건성 문제를 해결하면서도 LAPO 프레임워크의 단순성을 유지합니다.
• 명시적 제어 주석이 없을 때 표현 학습을 효과적으로 안내할 수 있는 기반 모델에서 파생된 공간적 사전 지식을 시연합니다.

이 연구는 복잡한 시각 환경에서 작동하는 신체화된 에이전트에게 에이전트 역학을 방해 요소와 분리하기 위해 필요한 감독은 행동 레이블이 아닌 분할 마스크에서 얻을 수 있음을 시사하며, 이는 인터넷 규모의 비디오 데이터에 대한 대규모 사전 학습을 가능하게 할 수 있습니다.