Seeing Isn't Believing: Mitigating Belief Inertia via Active Intervention in Embodied Agents

1. 문제 정의: 관측 소홀 (Observational Neglect) 과 신념 관성 (Belief Inertia)

이 논문은 대규모 언어 모델 (LLM) 기반의 신체화된 에이전트 (Embodied Agents) 가 복잡한 작업을 수행할 때 발생하는 근본적인 인지적 결함을 지적합니다.

• 관측 소홀 (Observational Neglect): 에이전트가 환경에서 중요한 피드백 (예: 목표 물체가 이미 발견됨) 을 관측했음에도 불구하고, 내부 추론 과정에서 이를 무시하고 이전의 잘못된 가정을 고수하여 불필요한 행동을 반복하는 현상입니다. (예: 칼이 테이블 위에 있는 것을 보았음에도 "칼을 찾아야 한다"고 생각하며 서랍을 계속 뒤지는 경우)
• 신념 관성 (Belief Inertia): 저자들은 이를 신념 관성이라고 명명했습니다. 이는 에이전트가 명시적인 관측 증거가 제시되더라도, 자신의 이전 기대나 신념 (Prior Beliefs) 에 집착하여 내부 상태 업데이트를 거부하는 인지적 편향입니다.
• 기존 방법의 한계: 기존 ReAct(Reasoning and Acting) 스타일의 에이전트나 강화학습 (RL) 기반 모델은 과거의 상호작용 기록 (History) 을 암시적으로 (Implicitly) 처리합니다. 이 과정에서 관측 정보가 내부 신념에 통합되지 못하고, 에이전트가 "시각적 현실"과 "내부 신념" 사이의 불일치를 인지하지 못해 실패로 이어집니다.

2. 방법론: 능동적 신념 개입 (Active Belief Intervention) 및 EVU 메커니즘

이 문제를 해결하기 위해 저자는 수동적인 업데이트에서 능동적인 신념 관리 (Active Belief Management) 로의 패러다임 전환을 제안하며, Estimate-Verify-Update (EVU) 라는 새로운 메커니즘을 도입했습니다.

핵심 메커니즘: EVU (Estimate-Verify-Update)

기존의 암시적 신념 추론을 대신하여, 에이전트가 텍스트 형태로 명시적인 신념 상태 (Explicit Belief State) 를 생성하고 관리하는 구조화된 루프를 도입합니다.

1. 추정 (Estimate): 에이전트는 새로운 관측을 받기 전에, 이전 행동의 결과로 무엇을 관측할 것으로 기대 (Expectation) 하는지 텍스트로 명시적으로 예측합니다. ($E_t$)
2. 검증 (Verify): 실제 환경 관측 ($O_t$) 을 받으면, 예측된 기대치와 실제 관측을 비교하여 검증 증거 (Verification Evidence, $V_t$) 를 생성합니다. 이는 "예상과 실제가 일치하는가, 아니면 모순되는가 (Surprise Signal)"를 명확히 식별하는 과정입니다.
3. 업데이트 (Update): 검증 결과를 바탕으로 이전 신념 ($B_{t-1}$) 을 수정하여 현재 환경 상태를 정확히 반영한 최신 신념 ($B_t$) 을 생성합니다.

이 과정은 에이전트가 단순히 과거 기록을 나열하는 것이 아니라, "예상 - 확인 - 수정"의 인지적 사이클을 거치며 신념을 능동적으로 갱신하도록 유도합니다.

통합적 적용 (Unified Perspective)

EVU 는 에이전트 학습 방식에 구애받지 않는 통합 메커니즘입니다.

• 프롬프트 기반 (Prompting-based): 추론 시 EVU 단계를 포함하도록 프롬프트를 설계하여, 에이전트가 행동 생성 전에 신념을 명시적으로 업데이트하도록 유도합니다.
• 학습 기반 (Training-based): SFT(지도 미세조정) 나 RL(강화학습) 과정에서 신념 업데이트 과정 ($E_t, V_t, B_t$) 을 행동 생성과 함께 자동회귀 (Autoregressive) 방식으로 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 신념 관성의 규명 및 공식화: 신체화된 에이전트에서 관측 소홀이 발생하는 근본 원인을 '신념 관성'으로 정의하고, 프로빙 (Probing) 실험을 통해 이를 정량적으로 분석했습니다.
2. 능동적 개입 메커니즘 제안: EVU 를 통해 신념 상태를 텍스트로 명시화하고, 예측 - 검증 - 업데이트 루프를 도입하여 에이전트의 인지적 편향을 해결했습니다.
3. 범용성 및 성능 입증: 프롬프트 기반 및 학습 기반 (SFT, PPO, GRPO) 등 다양한 에이전트 학습 방법과 결합하여 적용 가능하며, 여러 벤치마크에서 일관된 성능 향상을 보였습니다.

4. 실험 결과 (Results)

세 가지 주요 신체화된 에이전트 벤치마크 (ALFWorld, VirtualHome, ScienceWorld) 에서 광범위한 실험을 수행했습니다.

• 성능 향상: EVU 를 적용한 모든 모델 (DeepSeek, Qwen 등) 은 베이스라인 대비 일관된 성공률 (Success Rate) 상승을 보였습니다.
  • 특히 Unseen(학습 데이터와 다른) 시나리오에서 일반화 능력이 크게 향상되었습니다 (평균 +9.21% 상승).
  • 학습 기반 방법 (Training-based) 에 적용했을 때 프롬프트 기반보다 더 큰 성능 개선 (+10.37% vs +3.28%) 을 보였으며, 이는 모델이 능동적 신념 업데이트 과정을 내부화했을 때 효과가 극대화됨을 의미합니다.
• 신념 관성 완화 분석: 프로빙 실험을 통해 EVU 를 적용한 에이전트는 관측 소홀 사례에서도 정확한 환경 상태와 일치하는 신념 (True Belief Value) 을 유지함을 확인했습니다. 특히 '업데이트 (Update)' 단계가 신념을 ground truth 에 동기화시키는 결정적 역할을 함을 규명했습니다.
• 계산 효율성: EVU 는 매 턴마다 추가 토큰을 생성하지만, 긴 상호작용 기록을 간결한 신념 상태로 압축하여 전체 입력 토큰 수와 추론 시간을 감소시켰습니다. 또한 불필요한 탐색을 줄여 작업 완료 턴 수를 줄였습니다.
• 난이도별 효과: 작업 난이도가 높을수록 (복잡한 서브목표가 많은 경우) EVU 의 상대적 성능 개선 폭이 커져, 장기적 상호작용에서 신념 유지의 중요성을 입증했습니다.

5. 의의 및 결론

이 연구는 LLM 기반 에이전트의 실패 원인이 단순히 '추론 능력 부족'이 아니라, 관측 정보를 내부 신념에 통합하지 못하는 '신념 관성' 에 있음을 지적했습니다.

• 인지적 통찰: 에이전트가 환경과 상호작용할 때, 단순히 과거를 기억하는 것을 넘어 예상과 실제의 차이를 능동적으로 식별하고 신념을 수정하는 메커니즘이 필수적임을 증명했습니다.
• 실용적 가치: 제안된 EVU 메커니즘은 복잡한 물리적 환경에서의 에이전트 개발에 있어 신뢰할 수 있는 내부 세계 모델 (Internal World Model) 을 구축하는 표준적인 접근법으로 제시될 수 있습니다.
• 미래 방향: 노이즈가 많거나 모호한 관측 환경에서의 신념 안정성 향상 및 다양한 아키텍처로의 확장 가능성이 향후 연구 과제로 남았습니다.

요약하자면, 이 논문은 "보는 것이 믿는 것이 아니다 (Seeing Isn't Believing)" 라는 통찰을 바탕으로, 에이전트가 관측을 무시하지 않고 능동적으로 신념을 갱신하도록 돕는 EVU 프레임워크를 제안하여 신체화된 AI 의 신뢰성과 성능을 획기적으로 개선했습니다.