기술 요약: PRISM – 순차적 의사결정을 위한 지각-추론 인터리빙(Perception Reasoning Interleaved for Sequential Decision Making)

1. 문제 정의

대규모 언어 모델(LLM)과 시각-언어 모델(VLM)을 체화된 에이전트(embodied agents)의 순차적 의사결정에 통합하는 과정에서, "지각-추론-의사결정" 간의 결정적인 격차가 발생합니다. LLM은 논리적 추론에 뛰어나고 VLM은 시각적 입력을 처리할 수 있지만, 현재의 접근 방식들은 이러한 모듈들을 서로 분리해 놓는 경우가 많습니다. 표준적인 파이프라인에서는 VLM이 일반적인 장면 묘사를 수동적으로 생성하면, 이를 LLM에 전달하여 의사결정을 내립니다. 이러한 느슨한 결합은 두 가지 주요 문제를 야기합니다:

1. 정보 손실: VLM은 에이전트의 현재 목표와 관련된 구체적인 맥락이 부족하기 때문에, 작업에 필수적인 미세한 시각적 세부 사항을 간과하는 경우가 많습니다.
2. 환각 및 노이즈: 단순히 목표를 VLM의 조건(conditioning)으로 제공하는 것은 환각(존재하지 않는 객체를 묘사하는 현상)을 유발할 수 있으며, 질문-답변(QA) 쌍을 장면 묘사와 단순히 결합하는 것은 하위 추론을 방해하는 길고 노이즈가 많은 프롬프트를 생성합니다.

나아가, 기존의 상호작용 방식들은 사전에 정의된 질문이나 오라클(oracle) 주석에 의존하는 경우가 많아, 이러한 사전 지식(prior)이 없는 실제 환경에서의 자율성과 적용 가능성을 제한합니다.

2. 방법론: PRISM 프레임워크

PRISM(Perception Reasoning Interleaved for Sequential Decision Making)은 동적 질문-답변(Dynamic Question-Answering, DQA) 파이프라인을 통해 지각과 의사결정 사이의 긴밀하고 역동적인 결합을 구축함으로써 이러한 과제들을 해결합니다. 이 프레임워크는 목표 지향적 부분 관측 가능한 마르코프 결정 과정(goal-conditioned POMDP) 내에서 두 가지 인터리브(interleaved) 단계로 작동합니다.

A. 상호작용형 목표 지향적 지각

단일 패스 방식의 묘사 대신, PRISM은 VLM(지각 모듈, $V_p$)과 LLM(추론 모듈, $R$) 사이의 반복적인 통신 루프를 채택합니다:

1. 초기 묘사: VLM은 시각적 관찰($o_t$)에 대해 초기 상태의 목표 불가지론적(goal-agnostic) 묘사($d^t_i$)를 생성합니다.
2. 격차 식별 및 질문 생성: LLM은 $d^t_i$를 작업 목표($g$)와 대조 분석하여 누락된 정보를 식별합니다. 그 후 VLM에 질의할 구체적이고 목표 관련성이 높은 질문 세트($Q_t$)를 생성합니다.
3. 표적 질의: VLM은 현재의 시각적 관찰을 바탕으로 $Q_t$의 각 질문에 답하며, 일련의 답변 세트($\Lambda_t$)를 생성합니다.
4. 의미론적 합성(Semantic Synthesis): 결정적으로, LLM은 단순히 원시 QA 쌍을 결합하는 것이 아니라, 초기 묘사, 질문, 답변을 압축되고 정제된 최종 묘사($d^t_f$)로 합성합니다. 이 단계는 불필요한 세부 사항과 환각을 필터링하는 동시에 작업에 핵심적인 요소들을 강조합니다.

B. 순차적 의사결정

정제된 묘사($d^t_f$)는 목표 및 상호작용 이력과 함께 LLM 정책($\pi_\theta$)으로 전달되어 다음 행동($a_t$)을 생성합니다. 이 정책은 행동 생성을 위해 특별히 훈련된 LoRA(Low-Rank Adaptation) 어댑터로 보강되는 한편, 기본 LLM은 사전 훈련된 추론 능력을 유지합니다.

C. 훈련 전략

PRISM은 특권 텍스트 감독(privileged textual supervision)에 의존하지 않고 오직 시각적 환경 내에서만 수행되는 2단계 훈련 파이프라인을 활용합니다:

1. 행동 복제(Behavioral Cloning, BC): 정책이 전문가의 시연(PRISM 지각 파이프라인을 통해 텍스트로 변환됨)을 모방하도록 사전 훈련됩니다.
2. 온라인 강화 학습(Online Reinforcement Learning, RL): 정책은 근사 정책 최적화(PPO)를 사용하여 추가로 미세 조정됩니다. 주목할 점은 DQA 지각 루프가 RL 과정 중에도 활성화되어 있어, 에이전트가 온라인 상호작용으로부터 학습할 수 있다는 것입니다.

3. 주요 기여

• 동적 질문-답변(DQA): 지각과 의사결정을 긴밀하게 결합하는 완전 자동화 메커니즘입니다. 기존 연구와 달리, LLM이 동적으로 목표 지향적 쿼리를 생성하므로 수작업으로 만든 질문이나 오라클 주석이 필요하지 않습니다.
• 의미론적 합성: LLM이 QA 상호작용을 간결하고 작업 중심적인 묘사로 합성하는 새로운 병합 전략으로, 단순 결합 시 발생하는 노이즈와 장황함을 방지합니다.
• 효율적인 구조: 지각(VLM)과 의사결정(LoRA를 사용한 LLM)을 분리하여, 시각 환경에 의사결정을 접지(grounding)하면서도 기존의 텍스트 기반 RL 레시피를 사용할 수 있게 합니다.
• 자동화된 파이프라인: 시스템은 인간의 개입(human-in-the-loop)을 통한 명료화나 사전 정의된 질문 세트의 필요성을 제거하여 자율성을 높입니다.

4. 실험 결과

저자들은 두 가지 벤치마크인 ALFWorld(가정 내 작업)와 Room-to-Room (R2R)(내비게이션)에서 PRISM을 평가했습니다.

ALFWorld 결과

• 성능: PRISM은 상태가 좋은 이미지 기반 모델들을 유의미하게 능가합니다. PRISM BC+RL 변형은 평균 성공률(SR) **80%**를 달기하여, Idefics2 8B 베이스라인보다 12포인트, VIPERBC+RL 베이스라인보다 5포인트 높은 성능을 보였습니다.
• 오라클과의 비교: PRISM은 객체 ID나 가려진 상태에 대한 접근 권한이 없음에도 불구하고, 특권 텍스트 감독을 사용하는 방식(예: EMMA, EMAC+)과의 성능 격차를 무시할 수 있는 수준으로 줄여 대등한 성능을 달성했습니다.
• 절제 연구(Ablation Studies):
  • 구조: PRISM은 단일 구조의 VLM 및 정적 모듈형 VLM-LLM 구조("Raw perception")보다 평균 6~8% 더 높은 성능을 보였습니다.
  • 병합 전략: LLM 합성 방식은 "QA-Only" 및 "CONCAT"(단순 결합) 전략보다 우수한 성능을 보여, 전역적 맥락과 작업별 세부 사항을 합성하는 것이 단순한 집계보다 우월함을 확인했습니다.
  • 질문 품질: PRISM의 동적 생성 질문은 인간이 주석을 단 오라클 질문의 성능 내 2% 이내에 도달하여, LLM이 사전 지식 없이도 정보 요구 사항을 효과적으로 식별할 수 있음을 입증했습니다.
  • 지각 정확도: 상호작용형 목표 지향적 지각은 원시 지각(raw perception) 및 목표 인식 지각(goal-aware perception, 환각 발생)과 비교했을 때 장면 묘사의 정확도(RougeL, METEOR, BERTScore, LLM-as-a-judge로 측정)를 유의미하게 향상시켰습니다.

R2R 결과

• PRISM은 테스트된 모든 방법(DiscussNav 및 LangNav 재구현 포함) 중 가장 높은 성공률(46.08%)과 경로 길이 대비 성공률(SPL 43.14)을 기록했습니다.
• 이 프레임워크는 내비게이션 오차(NE)를 재구현된 베이스라인 대비 1.4포인트 이상 줄이며 우수한 내비게이션 효율성을 입증하였으며, 이는 노이즈를 필터링하고 공간 추론을 위해 작업 관련 단서를 활용하는 능력을 보여줍니다.

5. 의의 및 주장

본 논문은 PRISM이 지각과 추론 사이의 간극을 효과적으로 메움으로써 자율적인 체화된 에이전트를 향한 중요한 진전임을 주장합니다. 저자들은 다음과 같이 논거를 제시합니다:

• 인터리브드 추론의 필수성: DQA를 통한 지각과 의사결정의 긴밀한 결합은 단독 VLM의 지각적 한계를 보완합니다.
• 사전 지식에 대한 자율성: 높은 성능의 체화된 에이전트가 비현실적인 수작업 질문이나 특권 텍스트 환경 없이도 구축될 수 있음을 증명합니다.
• 강건성: 본 방법론은 다양한 VLM 백본(Idefics2, Qwen3-VL)과 작업 도메인(조작 및 내비게이션)에서 강건함을 보입니다.

저자들은 자신들의 접근 방식이 해석 가능성과 자율성을 개선하지만, 대규모 사전 훈련 모델의 편향을 물려받는다는 점을 인정합니다. 향후 과제로 이러한 인터리브드 능력을 로보틱스와 같은 하위 수준 제어 시스템과 통합하여, 의사결정과 물리적 행동 사이의 간극을 메우는 것을 꼽았습니다.