기술 요약: 모델 기반 계획을 위한 언어 기반 잠재 목표 예측 (Latent Goal Prediction from Language for Model-Based Planning)

문제 정의

월드 모델(World Models, WMs)을 활용하는 모델 기반 강화 학습(RL)은 압축된 잠재 공간(latent space)에서 미래 궤적을 시뮬레이션함으로써 샘플 효율적인 제어를 제공하는 유망한 패러다임을 제시한다. 그러나 이러한 시스템은 두 가지 근본적인 병목 현상에 직면해 있다:

1. 목표 명세(Goal Specification): 최적화 가능한 목표를 정의하는 것은 어렵다. 시각적 타겟(이미지)은 정밀한 국소 그래디언트(local gradients)를 제공하지만 먼 거리의 목표에 대해서는 가이드 능력이 부족하며, 복잡한 태스크를 위해 획득하기에도 비실용적이다. 언어는 유연성을 제공하지만, 대조 학습 모델(contrastive models)에서의 노이즈 섞인 교차 모달 정렬 문제나, 모델 기반 계획에 필요한 고빈도 샘플링에 부적합한 대규모 생성 모델의 계산 비효율성 문제를 겪는다.
2. 장기 계획(Long-Horizon Planning): 장기적인 관점에서의 계획은 예측 오차의 누적으로 인해 방해를 받는다. 잠재 역학(latent dynamics)에서의 작은 부정확함이 롤아웃(rollout) 과정 중 누적되어, 상상된 궤적의 신뢰성을 저하시킨다. 기존 방법들은 시간적 추상화(프레임 스킵)를 높이거나 평가 범위를 짧은 호라이즌으로 제한함으로써 이를 회피하곤 하는데, 이는 시간적으로 확장된 복잡한 태스크에 대한 적용 가능성을 제한한다.

현재의 접근 방식들은 이미지 기반 목적 함수의 정밀함과 언어 기반 명세의 유연함을 결합하면서도, 장기 호라이즌에 대한 예측 오류에 대한 강건성을 유지하는 데 어려움을 겪고 있다.

방법론: LAGO

저자들은 동일한 잠재 공간 내에서 언어 지시문과 행동 조건부 롤아웃으로부터 중간 잠재 목표 상태의 시퀀스를 예측하도록 설계된 프레임워크인 **LAGO (Latent Goal Prediction from Language)**를 소개한다.

아키텍처

LAGO는 공유된 잠재 공간에서 작동하는 **결합 임베딩 예측 아키텍처(Joint Embedding Predictive Architecture, JEPA)**를 기반으로 구축되었다. 이 모델은 단일 예측기 $\pi(\cdot)$를 통해 두 가지 운영 모드를 지원한다:

1. 다음 단계 전이 예측(Next-Step Transition Prediction): 저수준 행동(low-level actions)에 조건화되어 즉각적인 다음 잠재 상태를 예측한다.
2. 서브골 예측(Subgoal Prediction): 언어 지시문과 완료 스칼라 $\rho$(태스크 진행도를 추정)에 조건화되어 중간 잠재 서브골을 예측한다.

주요 구성 요소:

• 비전 인코더(Vision Encoder): RGB 관측치를 패치 토큰으로 인코딩하기 위해 동결된 DINOv2 ViT를 사용한다.
• 멀티모달 조건화(Multi-Modal Conditioning): 언어 지시문은 임베딩되어 공유 조건 공간으로 투영된다. 완료 스칼라 $\rho \in [0, 1]$ 또한 투영된다. 모드별 임베딩은 행동 조건화와 서브골 조건딩을 구분한다.
• 통합 학습(Unified Training): 모델은 평균 제곱 오차(MSE) 목적 함수를 사용하여 공동으로 학습된다. 이는 행동 조건화를 사용하는 실제 다음 상태와 예측된 상태 사이의 오차, 그리고 언어 및 $\rho$ 조건화를 사용하는 예측된 서브골 상태와 실제 상태 사이의 오차를 최소화한다.

계획 전략

LAGO는 장기 계획을 일련의 국소적으로 다루기 쉬운 목적들로 변환한다:

1. 서브골 생성(Subgoal Generation): 현재 상태와 언어 지시문이 주어지면, LAGO는 균등하게 간격이 배치된 완료 스칼라($\rho_k = k/K$)에 대해 $K$개의 잠재 서브골을 생성한다. 결정적으로, 이 서브골들은 예측 오차의 누적을 피하기 위해 현재 상태로부터 독립적으로(비자기회적/non-autoregressively) 예측된다.
2. 온라인 재예측(Online Re-prediction): 서브골은 매 모델 예측 제어(MPC) 단계마다 재예측되어, 에이전트가 변화하는 상태에 적응할 수 있도록 한다.
3. 소프트 미니멈 궤적 비용(Soft Minimum Trajectory Cost, JLAGO): 후보 행동 시퀀스를 평가하기 위해, LAGO는 소프트 미니멈 비용 함수를 채택한다. 궤적이 특정 시점에 특정 서브골에 도달해야 한다고 요구하는 대신, 롤아웃 상의 어떠한 타임스텝과도 달성된 최선의 정렬 정도를 측정한다. 이는 온도 파라미터 $\tau$에 의해 제어되며, 브리틀(brittle)한 이산적 완료 기준보다는 서브골로의 부드러운 수렴을 가능하게 한다.

주요 기여

1. LAGO 프레임워크: 언어 지시를 자신의 잠재 공간 내 타겟 상태로 직접 매핑하도록 훈련된 월드 모델로서, 시각적 정밀도와 언어적 유연성 사이의 간극을 메운다.
2. 동적 서브골 분해(Dynamic Subgoal Decomposition): 중간 잠재 서브골 시퀀스를 생성하기 위해 목표 예측을 확장한 방식이다. 이 접근법은 명시적인 서브골 완료 감지 없이도 견고한 장기 계획을 가능하게 하기 위해 지속적인 온라인 재예측과 소프트 미니멈 궤적 비용을 활용한다.
3. 거리 기반 평가 프로토콜(Distance-Based Evaluation Protocol): 목표까지의 거리에 따라 태스크 난이도를 변화시키는 체계적인 평가 방법을 제시한다. 이를 통해 기존 방법들이 유효한 계획 호라이즌을 넘어설 때 성능이 급격히 저하되는 반면, LAGO는 강건함을 유지함을 보여준다.

실험 결과

저자들은 네 가지 환경인 TwoRoom(2D 내비게이션), Kingdom(동적 레이아웃 및 가역적 위험이 있는 2D 내비게이션), OGBench Cube(조작), OGBenc Scene(복잡한 조작)에서 LAGO를 평가했다.

• 장기 호라이즌 강건성: TwoRoom, Kingdom, OGBench Cube 환경에서 이미지 목표 베이스라인(DINO-WM, Temporal Straightening, LeWM)은 태스크 난이도(거리)가 증가함에 따라 완전히 실패했다(예: 높은 난이도에서 성공률이 0%로 하락). 반면, LAGO는 높은 성공률을 유지했다(예: Two-Room의 난이도 115에서 90%).
• 언어 vs 시각적 목표: LAGO는 텍스트 목표를 조건으로 했을 때 언어 목표 베이스라인(LIV, PE-Core, Robo-Dopamine)보다 크게 우수한 성능을 보였다. 예를 들어, Kingdom에서 LAGO는 파인튜닝된 LIV 베이스라인의 52.6%에 비해 96.9%의 성공률을 달랐다.
• 효율성: LAGO는 대규모 생성형 보상 모델인 Robo-Dopamine(약 451ms)에 비해 높은 추론 효율성(관측당 약 11ms)을 입증하여, 실시간 MPC에 적합함을 보여주었다.
• 절제 연구(Ablation Studies): 성능은 $K \ge 4$개의 서브골에 대해 안정적으로 유지되었다. 소프트-미니 $\tau$ 온도는 합리적인 범위 내에서 강건한 것으로 나타났다.

의의 및 주장

본 논문은 LAGO가 이미지 기반 목표의 정밀함과 텍스트 가이드 제어의 유연성 사이의 간극을 성공적으로 메웠다고 주장한다. 언어를 월드 모델의 잠재 공간에 접지(grounding)하고 태스크를 중간 서브골로 분해함으로써, 이 프레임워크는 누적되는 예측 오차를 완화한다.

저자들은 L-AGO가 언어만으로 견고하고 정밀한 장기 계획을 가능하게 하며, 계획 호라이즌이 즉각적인 도달 범위를 벗어날 때 발생하는 기존 방법들의 급격한 성능 저하를 피한다고 명시한다. 이는 계획 단계에서 행동이나 보상 감독을 요구하지 않고, 예측된 잠재 서브골의 구조화된 가이드에 의존함으로써 달성된다. 본 연구는 시각적 및 언어적 양식의 강점을 단일한 효율적 계획 프레임워크 내에서 결합함으로써 점점 더 복잡해지는 계획 과제를 해결하기 위한 단계로 제시된다.