기술 요약: 에이전트 모호성 하에서의 분해된 전이 효과를 통한 잠재 행동(Latent Actions)

1. 문제 정의

잠재 행동 모델(Latent Action Models, LAMs)은 명시적인 행동 라벨 없이 관측 전이(예: 비디오 프레임 $x_t$에서 $x_{t+1}$로의 변화)로부터 행동과 유사한 대리물(proxies)을 직접 학습하는 것을 목표로 한다. 제어된 환경에서는 에이전트가 변화의 주된 원천이기에 효과적이지만, LAM은 복잡한 장면에서의 에이전트 모호성(agent ambiguity) 문제에 직면한다. 방해 요소(distractors), 움직이는 배경, 카메라 역학 또는 관절이 있는 객체가 존재하는 환경에서, 시각적 전이 $\Delta x_t$는 에이전트가 제어하는 움직임과 제어되지 않는 외생적 요인의 혼합체이다.

표준적인 LAM은 이 전체 전이를 하나의 단일한 잠재 벡터로 압축한다. 감독(supervision)이 없는 상태에서, 모델은 관측된 변화 중 어떤 것이 에이전트에 의한 것인지, 혹은 방해 요소에 의한 것인지를 구분할 근거를 갖지 못한다. 이러한 모호성은 잠재 공간이 제어 가능한 움직임과 환경 특유의 노이즈를 뒤섞이게 만들어, 전이 가능성(transferability)과 다운스트림 정책 학습을 저해한다. 기존 방식들은 객체 중심의 사전 지식(object-centric priors)이나 세그멘테이션에 의존하는 경우가 많으나, 이는 경직된 가정을 강요하며 확장성을 제한한다.

2. 방법론

저자들은 **관측 전이 분해(Observed Transition Factorization, OTF)**를 제안한다. 이는 시각적 전이를 단일하게 압축해야 할 하나의 사건이 아니라, 재사용 가능한 **관측 전이 프리미티브(observed-transition primitives)**들의 희소한 구성체로 취급하는 바텀업(bottom-up) 접근 방식이다. 이 프레임워크는 두 가지 주요 단계로 구성된다.

2.1. 관측 전이 분해 (OTF)

첫 번째 단계는 공유된 국소적 움직임 효과의 어휘집(vocabulary)을 학습한다.

• 입력 구성: 연속된 프레임에 그래디언트 변환(또는 Sobel)을 적용하고 차이를 계산하여 움직임 관측값 $o_t$를 구축한다. 이는 정적인 외형이나 객체의 정체성에 대한 의존도를 줄이면서 관측 가능한 변화를 강조한다.
• 패치 단위 벡터 양자화(Patchwise Vector Quantization): 움직임 입력을 공간적 패치로 분할한다. 각 패치는 VQ-VAE 스타일의 목적 함수를 사용하여 크기 $K$인 이산 코드북으로 인코딩 및 양자화된다.
• 프리미티브(Primitives): 코드북은 재사용 가능한 관측 전이 프리미티브(예: 국소적 변위, 엣지 이동, 회전 유사 잔차, 접촉 변형 등)를 학습한다. 결정적으로, 이 프리미티브들은 순수한 물리적 움직임이나 객체의 정체성이 아닌 시각적 효과를 나타낸다.
• 요인 표현(Factor Representation): 각 전이에 대해 모델은 코드북 엔트리, 점유 맵(occupancy map, 공간적 지지 영역), 그리고 활성화 강도로 구성된 구조화된 요인 집합 $E_t = \{e_{t,k}\}_{k=1}^K$를 출력한다.
• 학습 목적 함수: 분해기(factorizer)는 선택된 프리미티브와 현재 프레임 $x_t$를 참조 외형으로 사용하여 $o_t$를 재구성하도록 학습되며, 이때 재구성 손실과 함께 표준 VQ 손실 및 코드북 다양성을 보장하기 위한 직교성 정규화(orthogonality regularizer)를 최소화한다.

2.2. OTF-LAM: 행동 추상화

OTF 모듈이 사전 학습되어 고정(frozen)되면, 그 상위에 잠재 행동 모델을 학습시킨다.

• 상태 인식 추상화(State-Aware Abstraction): 모델은 요인 $E_t$와 현재 상태 $x_t$를 입력받아 압축된 잠재 행동 $z_t^{act}$를 형성한다.
• 게이팅 메커니즘(Gating Mechanism): "행동 추상화 모듈"은 각 요인을 상태 인식 토큰으로 변환한다. 게이팅 네트워크는 현재 문맥에 따라 각 요인의 관련성 가중치 $\alpha_{t,k}$를 할당하여, 관측된 전이 프리미티브 중 에이전트의 행동과 관련된 것이 무엇인지 효과적으로 선택한다.
• 예측: 집계된 잠재 변수 $z_t^{act}$는 표준 역-순방향 역학(inverse-forward dynamics) 프레임워크에서 다음 관측(또는 잔차 업데이트)을 예측하는 데 사용된다.

2.3. OTF-LAM-Dino

재사용 가능한 구성 요소와 환경 특유의 세부 사항을 더욱 분리하기 위해 디코더가 없는 변형 모델이 도입된다.

• 고정된 표현(Frozen Representation): 모델은 픽셀 공간을 예측하는 대신, 고정된 DINOv2 표현 공간 내에서 미래 상태를 예측한다.
• 아키텍처: 시각적 인코더(DINOv2)와 OTF 움직임 프리미티브 추출기가 모두 고정된다. 학습 가능한 구성 요소는 DINO 특징 공간 내에서의 행동 집계기와 순방향 역학 예측기로 제한된다. 이는 모델이 픽셀 수준의 텍스처 재구성에 집중하기보다 제어에 유효한 전이 구조를 추상화하도록 강제한다.

2.4. 정책 학습

학습된 잠재 공간을 실제 제어와 연결하기 위해, 소량의 행동 감독(action supervision)이 사용된다. 행동 복제(behavioral cloning) 정책은 잠재 행동 $z_t^{act}$를 실제 행동으로 매핑하며, 행동 디코더는 현재 관측을 활용하여 해당 움직임이 어떤 객체에 적용되는지에 대한 모호성을 해결함으로써 예측된 잠재 행동을 실제 행동으로 매핑하도록 학습된다.

3. 주요 기여

1. 관측 전이 분해 (OTF): 복잡한 시각적 전이를 잠재 행동을 추론하기 전에 희소하고 재사용 가능한 국소적 프리미티브 세트로 분해하는 새로운 방법론이다. 이는 학습 대상을 "진정한 행동을 복구하는 것"에서 "관측된 전이 효과를 구조화하는 것"으로 전환한다.
2. OTF-LAM 및 OTF-LAM-Dino: 분해된 전이 인터페이스를 활용하는 두 가지 아키텍처를 제시한다. 특히 OTF-LAM-Dino는 재사용 가능한 전이 어휘집과 고정된 시각적 상태 표현(DINOv2)을 결적으로 결합하는 것이 픽셀 수준의 불필요한 요인(nuisance factors)에 대한 규제제로 작용하여 다운스트림 성능을 향상시킬 수 있음을 입증한다.
3. 제로샷 전이 가능성 (Zero-Shot Transferability): 학습된 움직임 프리미티브가 서로 다른 시각적 캐리어(예: Moving MNIST의 서로 다른 숫자 클래스) 및 서로 다른 체형(예: Walker에서 Cheetah로) 사이에서 제로샷으로 전이된다는 실험적 증거를 제시하며, 이는 코드북이 환경 특유의 템플릿이 아닌 일반적인 전이 구조를 포착함을 나타낸다.
4. 모호성에 대한 강건성: 전이를 분해하는 방식이 단일한(monolithic) LAM 베이스라인보다 복잡한 설정에서 더 견고한 잠재 행동 학습을 가능하게 함을 보여준다.

4. 실험 결과

본 논문은 Distracting Control Suite (DCS) (Cheetah-Run 및 Walker-Run)와 Moving MNIST를 통해 방법을 평가한다.

• 재사용성: 교차 체형 및 교차 캐리어 전이 실험에서, OTF 어휘집은 단일(monolithic) VQ-VAE 베이스라인에 비해 현저히 낮은 성능 저하를 보였다. 예를 들어, DCS에서 Walker-Run에서 학습된 OTF 어휘집은 Cheetah-Run에 제로샷 적용 시 높은 재구성 품질을 유지한 반면, 단일 베이스라인은 큰 오차 증가(단일 베이스라인은 최대 71% 저하 vs OTF는 약 20% 저하)를 겪었다.
• 다운스트림 정책 학습:
  • DCS에서 OTF-LAM 및 OTF-LAM-Dino는 LAPO, FLAM, HiLAM과 같은 베이스라인과 대등하거나 더 우수한 성과를 달sat했다.
  • OTF-LAM-Dino는 디코더 기반의 OTF-LAM보다 일관되게 우수한 성능을 보였으며, 이는 고정된 표현 공간에서 예측하는 것이 제어 작업에 있어 픽셀 재구성보다 더 효과적임을 시사한다.
  • 이 방법은 시각적 전이에 상당한 방해 노이즈가 포함된 경우에도 잠재 행동을 정책으로 성공적으로 증류(distill)하였다.
• 절제 연구 (Ablation): 코드북 크기($K$)에 대한 연구는 더 큰 어휘집이 일반적으로 복잡한 환경(Cheetah-Run)에서 도움이 되지만, 성능이 엄격하게 단조 증가하는 것은 아니라는 점을 보여주었으며, 이는 환경과 아키텍처에 따른 최적 용량이 존재함을 시사한다.

5. 의의 및 주장

본 논문은 **분해된 관측 효과(factorized observed effects)**가 에이전트 모호성 하에서 관측 전용 잠재 행동 학습을 위한 우월한 중간 표현 역할을 한다고 주장한다.

• 관점의 전환: 저자들은 관측 전용 학습 하에서는 진정한 행동 자체가 아니라, 관측된 전이 효과의 구조가 가장 신뢰할 수 있는 타겟이라고 주장한다. 전이를 재사용 가능한 프리미티브의 구성으로 취급함으로써, 모델은 경직된 객체 중심의 사전 지식 없이도 제어 가능한 움직임과 방해 요소를 분리할 수 있다.
• 일반화: 연구 결과는 전이 효과의 "어휘집"을 학습하는 것이 단일한 전이당 하나의 단일 잠재 행동을 학습하는 것보다 다양한 에이전트 및 시각적 도메인 간의 일반화에 더 유리함을 시사한다.
• 범위의 한 제약: 저자들은 본 연구가 통제된 환경과 DCS 방해 환경에서 수행되었음을 명시한다. 또한, 이를 더 풍부하고 다양한 비디오 게임 도메인(예: 스크롤링 카메라, 다양한 비에이전트 역학)으로 확장하는 것은 향로 과제로 남겨두었다. 이들은 아무런 감독 없이 행동 복구라는 일반적인 역 문제를 해결한다고 주장하는 것이 아니라, 분해된 중간 표현이 학습된 잠재 행동 인터페이스의 강건성과 전이 가능성을 유의미하게 개선함을 입증하는 데 목적을 두고 있다.