기술 요약: Uni-Plan – 통합 멀티모달 모델을 이용한 계획 수립

문제 정의

최근 대규모 언어 모델(LLM)과 시각-언어 모델(VLM)의 발전은 의사결정 및 계획 수립에 이들을 활용하는 것에 대한 관심을 불러일으켰습니다. 그러나 기존의 접근 방식은 주로 텍str-기반 추론에 의존하며, 여기서 시각적 입력은 대개 초기 단계에서만 처리됩니다. 이러한 단일 모드(unimodal)의 한계는 모델이 계획 과정 전반에 걸쳐 현재 상태를 정확하게 표현하고 공간적 또는 시각적 역학을 추론하는 능력을 제한합니다. 일부 연구에서는 외부 도구(예: 플로팅을 위한 코드 실행 또는 세그멘테이션을 위한 별도의 비전 모델)를 호출하여 이미지를 통합하려고 시도하지만, 이러한 방법들은 적응성과 일반화 능력이 부족합니다. 또한, 멀티모달 입력과 출력을 모두 네이티브하게 지원하는 통합 멀티모달 모델(UMM)은 유망한 가능성을 보여주었으나 "지평선의 저주(curse of the horizon)" 문제를 겪고 있습니다. 구체적으로, 이들은 충실한 역학 모델(dynamics models)로서 역할을 수행하는 데 어려움을 겪으며, 특히 확률적 환경이나 정밀한 인과 관계 효과가 필요한 상황에서 정확한 다음 상태 관측치를 예측하는 데 실패하곤 합니다.

방법론

저자들은 단일 통합 멀티모달 모델(UMM)을 사용하여 (i) 정책(policy), (ii) 역학 모델(dynamics model), (iii) 자기 판별기(self-discriminator), (iv) 가치 함수(value function)라는 네 가지 서로 다른 역할을 동시에 수행하는 계획 프레임워크인 Uni-Plan을 제안합니다. 이 프레임워크는 최첨단 오픈 소스 UMM인 BAGEL 모델을 기반으로 구축되었습니다.

핵심 구성 요소

1. 역학 모델로서의 UMM: 시스템은 모델이 현재 관측값($o_h$)과 텍스트 행동($a_h$)이 주어졌을 때 다음 시각적 관측값($o_{h+1}$)을 예측할 것을 요구합니다. 표준 UMM은 기본적인 이미지 편집을 수행할 수 있지만, 복잡하거나 확률적인 시나리오(예: 여러 가지 유효한 결과가 존재하는 객체 재배치)에서 인과적 일관성을 유지하는 데 종종 실패합니다.
2. 자기 판별 필터링(Self-Discriminated Filtering): 역학 예측의 부정확성을 해결하기 위해, 저자들은 새로운 필터링 메커니즘을 도입합니다. UMM은 역방향 역학 추론($P^{-1}_{UMM}(o_h, o_{h+1}) \to a_h$)을 위해 공동 학습됩니다. 계획 과정 중에 모델은 여러 개의 후보 다음 관측값을 생성합니다. 그 후 모델은 역방향 역학 모드로 작동하여 현재 상태에서 각 후보로 이어지는 행동을 추론합니다. 추론된 행동이 실제 실행된 행동과 일치하는 경우에만 후보가 유지됩니다. 이 과정은 객체 개수 일관성 검사와 결합되어, 환각(hallucination)이 발생하거나 유효하지 않은 전이를 효과적으로 필터링합니다.
3. 계획 알고리즘:
   • 오픈 루프 계획(Open-Loop Planning): 완전 관측 가능한 환경에 사용됩니다. 정책(프롬프트가 적용된 UMM)이 후보 행동을 제안하면 역학 모델이 이를 실행(rollout)합니다. 상상된 상태 공간 내에서 빔 서치(beam search)가 수행되며, 이때 후속 상태들은 자기 판별 필터링을 통해 필터링되고 가치 함수(목표까지 남은 단계를 예측하도록 파인튜닝된 UMM)에 의해 점수가 매겨집니다.
   • 클로즈드 루프 계획(Closed-Loop Planning): 부분 관측 가능한 환경에 사용됩니다. "제안, 시뮬레이션 및 수정" 패러다임에서 영감을 받아, 정책은 여러 후보 행동 시퀀스를 생성합니다. 역학 모델은 이 시퀀스들을 지평선까지 시뮬레이션하며, 가치 함수는 가장 유망한 시퀀스를 선택합니다. 에이전트는 처음 $L$개의 행동만을 실행하고, 새로운 상태를 관측한 뒤 다시 계획을 수립(replanning)함으로써 지속적인 피드백 수정을 가능하게 합니다.

학습 전략

전문가 시연(expert demonstrations)을 통한 파인튜닝이 필요한 많은 VLM 기반 플래너와 달리, Uni-Plan은 비전문가 궤적(non-expert trajectories)을 통해 학습됩니다. 순방향 및 역방향 역학 모델은 전이 데이터(transition data)를 통해 파인튜닝되는 반면, 정책 구성 요소는 파인튜닝을 필요로 하지 않습니다. 가치 함수는 목표까지의 단계를 추정하기 위해 레이블이 지정된 데이터를 통해 학습됩니다.

주요 기여

1. 자기 판별 필터링(Self-Discriminated Filtering): 생성 모델이 스스로를 판별기로 사용하여 유효하지 않은 역학 예측을 필터링하는 새로운 기술로, 외부 검증 도구 없이도 역학 모델의 신뢰성을 크게 향상시킵니다.
2. 통합 계획 프레임워크 (Uni-Plan): 단일 UMM이 정책, 역학 모델, 자기 판별기 및 가치 함수의 역할을 통합하여, 생성된 시각적 콘텐츠를 통한 통합된 계획을 가능하게 하는 시스템입니다.
3. 우수한 성능 및 확장성: 이 프레임워크는 체화된 의사결정(embodied decision-making) 작업에서 VLM 기반 방법들보다 상당한 개선을 보여줍니다. 전문가 시연 없이도 높은 성공률을 달eric하며, 동일한 양의 비전문가 데이터로 학습되었을 때 VLM을 능가하는 강력한 데이터 확장성을 보여줍니다.

실험 결과

저자들은 2D 내비게이션, 조작(manipulation), 3D 내비게이션(FrozenLake, Mini-BEHAVIOR, Language Table, Real World, Active Recognition, Image-Goal Navigation 포함)을 아우르는 6가지 체화된 의사결정 작업에 대해 Uni-Plan을 평가했습니다.

• 성능: Uni-Plan은 모든 작업에서 오픈 소스 VLM 기반 계획 방법(CoT 변형 포함)에 비해 거의 30% 더 높은 성공률을 달성했습니다. 또한 강력한 폐쇄형 모델인 GPT-5-Thinking의 성능과도 대등한 수준을 보였습니다.
• 절제 연구(Ablation Studies):
  • 역학 모델: 파인튜닝된 BAGEL은 고도로 일반화된 역학 모델 역할을 수행했으며, 분포 외(Out-of-Distribution, OOD) 레이아웃에서 처음부터 학습된 모델보다 훨씬 뛰어난 성능을 보였습니다.
  • 필터링: 자기 판별 필터링이 매우 중요하다는 것이 입증되었습니다. 이를 제거하면 계획 성공률이 크게 떨어졌으며, 이는 더 나은 탐색 알고리즘이 열악한 전이 모델링을 보완할 수 없음을 확인시켜 줍니다.
  • 데이터 효율성: Uni-Plan은 단 500개의 궤적으로 강력한 성능에 도달한 반면, VLM 베이스라인은 그 4배의 데이터를 사용했음에도 경쟁력 있는 결과를 얻지 못했습니다.
• 효율성: 비디오 기반 계획(Video Language Planning)처럼 비디오를 생성하는 대신 단일 이미지를 생성함으로써, Uni-Plan은 비디오 기반 계획 베이스라인에 비해 추론 시간을 약 10배 단축했습니다.

의의 및 주장

본 논문은 Uni-Plan이 생성된 이미지를 단순히 추론 과정의 시각화를 위한 도구에서 사용하는 것을 넘어, 역사실적 추론(counterfactual reasoning)을 위한 중간 매개체로 사용하는 것으로의 전환을 나타낸다고 주장합니다. 여러 가능한 미래를 시뮬레이션함으로써, 모델은 단순히 사고 과정을 노출하는 것이 아니라 대안적인 궤적을 능동적으로 평가합니다.

저자들은 이 연구가 UMM을 이용한 추론 및 의사결정 연구의 토대를 마련한다고 강조합니다. 정책, 역학, 가치 함수를 단일 모델 내에 통합하고 자기 판별 필터링으로 강화하는 능력은, 현재의 텍스트 중심 또는 도구 의존적 패러다임보다 체화된 AI에 있어 더 견고하고 데이터 효율적인 접근 방식을 제공한다고 밝히고 있습니다. 이 작업은 UMM의 내재된 멀티모달 생성 능력을 적절히 활용할 때 시각적 추론 및 계획 성능을 크게 강화할 수 있음을 시사합니다.