기술 요약: 세계 모델 정책 학습과 모방된 세계-행동 모델 간의 능력 분리에 대하여

문제 정의

본 논문은 체화된 의사결정(embodied decision-making)에서의 근본적인 모호함, 즉 세계-행동 모델(미래 결과 $Y$를 예측한 후 행동 $A$를 추론하는 모델)이 직접 행동 복제 정책(이력 $H$를 행동 $A$로 직접 매핑하는 모델)에 비해 내재적인 제어 능력의 우위를 갖는지에 대한 문제를 다룹니다. 두 모델 모두 동일한 관측 데몬스트레이션(demonstrations)만을 기반으로 학습되었을 때를 가정합니다.

세계-행동 모델은 비디오 사전 학습, 시간적 감독(temporal supervision), 미래 조건부 표현으로부터의 이점을 얻는 것으로 자주 평가받지만, 이러한 이점이 더 강력한 제어 능력(특정 폐루프 궤적 분포를 유도하는 능력)으로 전이되는지, 아니면 단지 동일한 행동 정책을 학습하기 위한 다른 인수분해(factorization) 방식을 제공할 뿐인지 명확하지 않습니다. 본 논문은 아키텍처의 표현력, 모집단 학습 목표(population learning targets), 그리고 정보 요구 사항을 유한 샘플 추정 오차 및 최적화의 어려움으로부터 분리하고자 합니다.

방법론

분석은 유한 샘플 추정 오차, 최적화 오차, 모델 미스스펙(model misspecification)을 추상화하여 제어기 클래스와 모집단 학습 목표 수준에서 수행됩니다.

1. 정의 및 프레임워크:

   • 제어 능력 클래스(Control-Capability Class): 정책 클래스가 유도할 수 있는 폐루프 궤적 분포의 집합으로 정의됩니다.
   • 모집단 목적 함수(Population Objective): 유한 데이터셋에 대한 경험적 평균이 아닌, 실제 데몬스트레이션 분포 $p_\mu$ 하에서의 기댓값입니다.
   • 세 가지 패러다임:
     • 직접 행동 복제 ($\pi_A$): $H \to A$. $-\log \pi(A|H)$를 최소화합니다.
     • 모방된 세계-행동 ($\pi_{WA}$): $H \to Y \to A$. $p(Y|H)$와 $p(A|H, Y)$를 모델링합니다.
     • 세계 모델 정책 학습 ($\pi_{WM}$): 유틸리티 함수를 통해 후보 행동들을 비교하기 위해 행동 조건부 모델 $P(Y | H, \text{do}(A=a))$를 사용합니다.

2. 가정:

   • 실현 가능성(Realizability): 정책 및 조건부 분포 클래스는 실제 모집단 목표를 포함합니다.
   • 정확한 모집단 최적화: 목적 함수는 전역적으로 최소화됩니다.
   • 분포 보존 배포(Distribution-Preserving Deployment): 세계-행동 제어기는 마진을 변화시키는 점 추정(예: MAP 디코딩)을 사용하는 대신 학습된 미래 분포를 주변화(marginalize)합니다.
   • 행동 충분성(Behavior Sufficiency): 데몬스트레이터의 행동 선택은 관찰된 이력 $H$에만 의존합니다.

3. 분석 접근 방식:

   • 본 논문은 외부 표현력(아키텍처가 동일한 정책을 표현할 수 있는가?)과 모집단 목표(학습 목표가 동일한 정책으로 수렴하는가?)를 비교합니다.
   • 관측 조건부 $p(Y|H, A)$와 개입적 분포 $P(Y|H, \text{do}(A))$를 구분하기 위해 인과 식별 이론(일관성, 조건부 교환 가능성, 양의 성질)을 채택합니다.
   • 관측 학습자와 개입적 데이터를 가진 학습자 간의 후회(regret) 차이를 입증하기 위해 특정 환경 패밀리를 구축합니다.

주요 기여 및 결과

1. 아키텍처 수준의 등가성

본 논문은 모든 분포적 세계-행동 제어기가 정확히 동일한 폐루프 궤적 분포를 갖는 직접 확률적 정책으로 "평탄화(flattening)"될 수 있음을 입증합니다.

• 결과: 제한 없는 확률 커널 클래스 하에서, 직접 정책($\pi_A$)과 세계-행동 제어기($\pi_{WA}$)의 외부 제어 능력 클래스는 동일합니다.
• 시사점: 내부 미래 변수 $Y$는 표현 가능한 행동의 집합을 확장하지 않으며, 단지 다른 내부 인수분해를 제공할 뿐입니다.

2. 관측적 모방 하에서의 모집단 등가성

동일한 관측 데이터로 학습하고 정확한 모집단 최적화를 수행할 때:

• 결과: 최적 정책은 동일합니다: $\pi^*_{WA}(a|h) = \pi^*_{A}(a|h) = \pi_\mu(a|h)$, 여기서 $\pi_\mu$는 관측적 행동-행동 조건부입니다.
• 궤적 등가성: 행동 충분성 하에서, 이 정책들은 데몬스트레이터와 동일한 완전한 폐루프 궤적 분포를 유도합니다.
• 근사적 등가성: 본 논문은 미래 예측, 역행동 예측, 직접 행동 예측의 오차 합에 의해 궤적 수준의 불일치가 제한됨을 보여주는 연속성 경계(continuity bounds)를 제공합니다.

3. 행동 특이적 예측 격차

본 논문은 후보 행동에 조건화되지 않는 미래 예측기의 불가피한 격차를 식별합니다.

• 결과: 후보 행동 $a$를 무시하는 예측기 $g(y|h)$는 행동 브랜치들을 평균화해야 합니다. 불가피한 개입적 예측 오차는 $I^{int}_{\nu, \rho}(A; Y | H)$로 정량화되며, 이는 대안적인 행동이 서로 다른 결과 분포를 유도할 때 양의 값을 가집니다.
• 시사점: 표준 세계-행동 모델(행동 분포 하에서의 $Y$를 예측하도록 학습된 모델)은 추가적인 인과적 가정이나 개입 없이는 특정 후보 행동에 대한 "만약 ~한다면(what-if)" 질문에 본질적으로 답할 수 없습니다.

4. 표현, 식별 및 배포의 엄격한 분리

• 관측적 vs. 개입적: 정확한 세계-행동 결합 분포는 관측적 조건부 $p_\mu(Y|H, A)$를 결정합니다. 이는 인과 식별 조건(일관성, 교환 가능성, 양의 성질)이 충족될 때만 개입적 분포 $P(Y|H, \text{do}(A))$와 일치합니다.
• 배포 규칙: 동일한 학습된 결합 분포는 두 가지 서로 다른 배포 규칙을 지원할 수 있습니다:
  1. 행동 재현: $\pi_\mu(a|h)$를 회복하기 위해 $Y$에 대해 주변화합니다.
  2. 행동 비교: 특정 $a$에 대해 $P(Y|H, \text{do}(A=a))$를 평가하여 유틸리티를 최적화하기 위해 결합 분포를 사용합니다.
• 결정적 차이: 표준 "미래-후-역행동(future-then-inverse)" 배포는 행동 정책을 회복합니다. 세계 모델 제어는 유틸리티를 최적화하기 위해 행동을 명시적으로 클램핑(clamping)하고 결과를 비교하는 데 필요합니다.

5. 관측적 학습자와 개입적 학습자의 엄격한 분리

본 논문은 다음과 같은 두 가지 행동 환경 패밀리를 구성합니다:

• 관측적 학습자: 모든 관측적 모집단 학습자( $\pi_A$ 및 $\pi_{WA}$ 포함)는 관측 분포가 패밀리 내의 모든 환경에 대해 최적의 행동을 식별하지 못하므로 양의 최악-경우 후회(at least $1/4$)를 가집니다.
• 개입적 학습자: 단 하나의 정보가 있는 행동 개입을 통해, 개입적 학습자는 환경을 식별하고 제로 후회를 달성할 수 있습니다.
• 결론: 분리는 정책 클래스의 표현력이 아니라, 학습자가 이용 가능한 정보에 있습니다. 관측 데이터만으로는 지원되지 않는 행동 효과나 숨겨진 혼란 변수(confounding)가 존재하는 상황에서의 효과를 식별할 수 없습니다.

의의 및 주장

본 논문은 이러한 패러다임의 구분이 제어기가 미래를 예측하느냐의 여부가 아니라, 그 예측이 어떻게 사용되느냐에 달려 있다고 주장합니다:

1. 모방 vs. 제어: 직접 행동 복제와 표준 세계-행동 모방은 내부 인수분해는 다르지만, 제한 없는 외부 정책 클래스와 모집단 행동 목표에서는 동일합니다. 이들은 행동 디코딩을 위한 방법입니다.
2. 개입적 추론: 세계 모델 정책 학습은 의사결정 규칙과 정책 선택에 필요한 정보 측면에서 근본적으로 다릅니다. 이는 개입적 행동 비교를 위한 방법입니다.
3. 실질적 시사점: 세계-행동 모델링의 실질적 이점(예: 더 나은 시간적 표현, 비디오 사전 학습)은 모집단 수준의 등가성과 양립 가능합니다. 그러나 이러한 이점들이 자동으로 개입적 추론 능력을 부여하는 것은 아닙. 데몬스트레이터를 넘어서는 제어를 달 Achieve 하기 위해서는 시스템이 다음 중 하나를 충족해야 합니다:
   • 개입적 데이터에 접근할 수 있어야 함.
   • 유효한 인과 식별 가정을 만족해야 함.
   • 단순히 관찰된 행동과 관련된 미래를 예측하는 것이 아니라, 행동 조건부 모델을 사용하여 후보 행동들을 명시적으로 비교해야 함.

본 논문은 "세계 모델"에 관한 경험적 주장이 모방 품질(관찰된 행동의 재현)과 행동-효과 예측(관찰되지 않은 행동의 결과 예측)을 반드시 구분해야 한다고 결론짓습니다. 개입적 제어에 대한 증거는 여러 지정된 행동 하에서의 예측을 테스트하고, 명시적인 행동 비교가 표준적인 "미래-후-역행동" 배포 이상의 가치를 개선함을 보여줌으로써 입증되어야 합니다.