기술 요약: 잠재 행동이 실패하는 이유와 그 방지 방법

문제 제기

잠재 행동 모델 (LAMs) 은 레이블이 지정되지 않은 비디오에서 프레임 간 변화를 압축하여 행동 관련 표현을 학습함으로써, 실제 로봇 공학 분야에서 행동 레이블이 지정된 데이터셋의 부족 문제를 해결하고자 합니다. 그러나 "야외 (in-the-wild)" 비디오에서 관측치는 에이전트의 내재적 상태뿐만 아니라 배경 잡음, 카메라 움직임, 조명 변화와 같은 외재적 상태도 포함합니다. 이러한 외재적 요인은 에이전트의 행동과 무관한 프레임 전환을 유발합니다.

이전 연구들은 표준 재구성 목적 함수로 훈련된 LAM 들이 이러한 환경에서 실제 행동과 정렬되지 않는 경우가 종종 있음을 관찰했습니다. 행동 역학을 학습하는 대신 잠재 행동은 외재적 노이즈를 부당하게 인코딩합니다. 경험적 해결책 (예: 보조 감독, 다중 뷰 데이터) 이 존재하지만, 외재적 노이즈가 존재할 때 표준 목적 함수가 왜 실패하는지, 또는 왜 특정 보조 목적 함수가 이러한 실패를 완화하는지에 대한 통합된 이론적 분석은 아직 이루어지지 않았습니다.

방법론

저자들은 잠재 행동 학습을 분석하기 위해 **외재적 블록 마코프 결정 과정 (Ex-BMDP)**에 기반한 통합 이론적 프레임워크를 제안합니다.

1. 이론적 프레임워크: Ex-BMDP

저자들은 표준 블록 MDP(BMDP) 를 확장하여 외재적 노이즈를 명시적으로 모델링합니다. 이 공식에서:

• 잠재 상태 $x$는 에이전트가 제어할 수 있는 내재적 상태 $s$와 에이전트의 행동과 무관한 외재적 상태 $\xi$로 분해됩니다.
• 전이 함수와 초기 분리는 분리됩니다: $T(x'|x, a) = T_s(s'|s, a)T_\xi(\xi'|\xi)$.
• 관측치는 결정론적 방출 맵 $o = h(s, \xi)$를 통해 생성되며, 여기에는 비전 인코더 $f$가 포함됩니다.

2. 선형 LAM 분석

이론적 처리 가능성을 보장하기 위해, 저자들은 먼저 선형 LAM 설정을 분석합니다:

• 관측 전이는 가법적입니다: $o' = o + \phi_\xi(a) + \epsilon$. 여기서 $\phi_\xi(a)$는 행동 효과이고 $\epsilon$은 상태 변화 ($\xi \to \xi'$) 로 인한 외재적 노이즈입니다.
• 역동역학 모델 ($\psi_{IDM}$) 과 정동역학 모델 ($\psi_{FDM}$) 은 선형 맵입니다.
• 표준 목적 함수는 재구성 오차 $L_{LAM} = \mathbb{E}[\|o' - \hat{o}'\|_2^2]$를 최소화하는 것입니다.

3. 보조 목적 함수

저자들은 Ex-BMDP 프레임워크 내에서 기존 보조 목적 함수의 두 가지 계열을 재구성합니다:

• 교차 외재적 재구성 ($L_{X-exo}$): 동일한 내재적 상태를 공유하지만 서로 다른 외재적 상태 ($\xi, \tilde{\xi}$) 에서의 쌍을 이루는 관측치를 사용하여 일관성을 강제합니다.
• 외재적 강건한 목표 예측 ($L_{\xi-robust}$): 외재적 변화에 강건한 목표 $y$(예: 실제 행동 또는 광학 흐름) 로 잠재 행동을 감독합니다. 즉, $y$는 $\xi$와 관계없이 유사하게 유지됩니다.

주요 기여

1. "미래 누출 (Future Leakage)"의 식별

저자들은 외재적 노이즈가 존재할 때 표준 재구성 목적 함수 $L_{LAM}$을 최소화하는 것이 미래 누출을 초래함을 증명합니다.

• 메커니즘: 정동역학 모델 $\psi_{FDM}$은 미래 외재적 상태 $\xi'$를 포함하는 미래 관측치 $o'$를 재구성해야 하지만, $\xi'$는 입력으로 제공되지 않으므로 잠재 행동 $z$는 $\xi'$에 대한 정보를 인코딩하도록 강요받습니다.
• 결과: Proposition 4.2 는 $L_{LAM}$의 전역 최소해가 $\xi'$와 무관한 잠재 행동을 허용하지 않음을 보여줍니다. 결과적으로 $z$는 미래 프레임에서 외재적 정보를 흡수하여 실제 행동 역학을 인코딩할 수 있는 용량을 감소시킵니다.

2. 비전 인코더 민감도의 역할

분석은 잠재 공간에서 외재적 노이즈의 에너지가 외재적 변화에 대한 비전 인코더의 민감도에 의해 지배됨을 드러냅니다.

• 노이즈 에너지는 외재적 상태 전환의 빈도와 방출 함수 $h$의 $\xi$에 대한 민감도에 비례합니다.
• 실험 결과에 따르면, 객체 중심이며 배경 변화에 강건한 DINOv2 와 같은 인코더는 원시 픽셀 입력에 비해 이러한 민감도를 현저히 줄여 더 나은 행동 정렬을 이끕니다.

3. 보조 목적 함수의 이론적 정당화

이 논문은 보조 목적 함수가 외재적 상태 간의 일관성을 강제함으로써 외재적 간섭을 어떻게 완화하는지에 대한 증명을 제공합니다:

• 교차 외재적 재구성: 선형 가정 하에서 $L_{X-exo}$를 최소화하는 것은 정규 상관 분석 (CCA) 과 동일합니다. 이는 특정 외재적 상태에 따라 변하는 전이 성분을 억제하고, 이를 통해 지속되는 성분 (즉, 행동에 의한 변화) 을 보존합니다.
• 외재적 강건한 예측: Proposition 4.8 은 외재적 상태에 대해 $\eta$-강건한 목표 $y$를 예측하는 것이 서로 다른 외재적 상태 간 잠재 행동 불일치에 대한 명시적 상한을 제공함을 보여줍니다. 이 손실을 최소화하면 잠재 행동이 배경과 관계없이 일관되도록 강제됩니다.

실험 결과

선형 LAM 실험

제어된 외재적 전환 확률 ($p_{switch}$) 을 가진 합성 데이터를 사용하여:

• 미래 누출 검증: 실험은 잠재 행동이 미래 외재적 상태를 인코딩함을 확인했습니다. 추론 중 다음 프레임의 외재적 상태가 교체될 때, 재구성 출력은 교체된 프레임과 일치하도록 이동하여 "단축 (shortcut)" 행동을 확인했습니다.
• 노이즈 민감도: 관측치가 외재적 변화에 대한 민감도 ($\alpha$) 가 증가함에 따라 행동 예측의 정규화된 평균 제곱 오차 (NMSE) 가 악화되어, 인코더 민감도와 실패 간의 이론적 연결을 검증했습니다.
• 보조 효과: 표준 손실에 $L_{X-exo}$ 또는 $L_{\xi-robust}$를 추가하면 일관적으로 행동 정렬이 개선되고 외재적 상태 간 잠재 행동의 분산이 감소했습니다.

비선형 (실제) LAM 실험

일반성을 테스트하기 위해 저자들은 선형 가정을 위반하는 곱셈적 외재적 노이즈가 있는 그리드 월드 데이터셋에서 비선형 LAM(CNN/UNet 을 사용한 VQ-VAE) 을 훈련했습니다:

• 바닐라 LAM: 노이즈 강도가 증가함에 따라 모델은 외재적 영역을 인코딩하여 높은 일관성 손실과 낮은 외재적 영역 MSE(노이즈를 예측함) 를 보였습니다.
• 증강 LAM: $L_{X-exo}$ 또는 $L_{\xi-robust}$로 훈련된 모델은 모든 노이즈 수준에서 높은 외재적 영역 MSE(노이즈 무시) 와 낮은 일관성 손실을 유지했습니다.
• 결론: 선형성과 가법성 가정이 위반되더라도 미래 누출에 대한 이론적 통찰과 일관성 강제 목적 함수의 이점이 유효함을 확인했습니다.

중요성과 주장

이 논문은 외재적 노이즈가 존재할 때 잠재 행동 학습 실패에 대한 통합된 이론적 분석을 제공한다고 주장합니다. 그 주요 중요성은 다음과 같습니다:

1. 실패 모드 설명: 단순히 현상을 경험적으로 관찰하는 것을 넘어, 표준 재구성 목적 함수가 행동 학습을 저하시키는 메커니즘으로 "미래 누출"을 공식적으로 식별합니다.
2. 구제책 통합: 다양한 보조 목적 함수 (다중 뷰, 행동 감독, 광학 흐름) 가 공통된 이론적 메커니즘, 즉 외재적 상태 간 잠재 행동의 일관성을 강제한다는 것을 보여줍니다.
3. 설계 지침: 비전 인코더의 외재적 요인에 대한 민감도의 중요성을 강조하여, 효과적인 LAM 을 위한 전제 조건으로 강건한 특징 추출기를 제시합니다.

저자들은 이론적 증명들이 선형 가정에 의존하지만, 비선형 모델에 대한 경험적 검증이 이러한 원칙들이 실제 세계의 잠재 행동 학습 시나리오로 확장됨을 시사한다고 결론지었습니다.