기술 요약: 사회적 및 체화된 추론을 통한 지시 이행 (FISER)

문제 정의

본 논문은 협업적인 체화된 인간-로봇 작업에서 AI 에이전트가 자연어 지시를 따를 수 있도록 하는 과제를 다룹니다. 표준적인 접지된 언어 학습(grounded language learning)은 지시를 행동으로 매핑하지만, 인간의 지시가 본질적으로 모호한 실제 환경에서는 실패하는 경우가 많습니다. 인간은 청자가 자신의 숨겨진 목표와 의도에 대한 사전 지식을 가지고 있다고 가정하며, 이로 인해 효율성을 위해 중요한 정보를 생략하기도 합니다 (Grice 1975; Sperber and Wilson 1986).

저자들은 이를 인간-로봇 마르코프 결정 과정(MDP)으로 정형화합니다. 이 설정에서 인간은 자연어 지시 $u$를 내리기 전에 공유된 환경에서 일련의 행동 궤적 $\tau_{t'}$를 수행합니다. 로봇은 올바른 로봇 작업 $G_r$을 결정하기 위해 인간의 숨겨진 내부 보상 함수 $R_h$와 구체적인 하위 목표 $p^*$를 추론해야 합니다. 핵심적인 어려움은 지시 $u$만으로는 불충분하다는 점이며, 로봇은 부분적으로 관찰 가능한 인간의 궤적과 환경의 맥락을 활용하여 요청을 명확히 해야 합니다.

방법론: FISER 프레워크

저자들은 사회적 및 체화된 추론을 통한 지시 이행(Follow Instructions with Social and Embodied Reasoning, FISER) 프레임워크를 제안하며, 이는 지시 이행 문제를 **사회적 추론(Social Reasoning)**과 **체화된 추론(Embodied Reasoning)**이라는 두 가지 별개의 단계로 명시적으로 분해합니다.

1. 인간 의도 모델링

프레임워크는 인간의 숨겨진 목표 $G_h$를 논리적 술어(logical predicates)의 집합으로 모델링합니다. 인간은 도움이 필요한 특정 부분인 하위 목표 $p^*$를 선택하고, 로봇 작업 $G_r$을 지정하기 위해 지시 $u$를 생성합니다. 로봇은 $G_h$, $p^*$, 또는 $G_r$을 직접 관찰할 수 없으며, 관찰된 궤적 $\tau_{t'}$, 최종 상태 $s_{t'}$, 그리고 지시 $u$로부터 이를 추론해야 합니다.

2. 2단계 추론

• 1단계: 사회적 추론 (작업 인식): 로봇은 자연어 지시를 구체적이고 실행 가능한 로봇 작업 $G_r$로 명확히 합니다. 이 단계에는 다음이 포함됩니다:
  • 로봇의 작업 인식: $s_{t'}$, $\tau_{t'}$, $u$가 주어졌을 때 $G_r$을 추정합니다.
  • 인간의 계획 인식 (선택 사항): 모델이 $G_r$을 결정하기 전에 인간의 하위 목표 $p^*$ (예: "책을 상자에 넣기")를 명시적으로 예측하는 강화된 단계입니다. 이는 논리적 술어의 튜플(양화사, 주체, 동사, 목적어)을 예측하는 것으로 모델링됩니다.
• 2단계: 체화된 추론 (접지된 계획): $G_r$이 확립되면, 문제는 표준적인 목표 조건부 계획(goal-conditioned planning) 작업으로 축소됩니다. 로봇은 환경 내에서 $G_r$을 달성하기 위한 일련의 행동 $\{a_t\}$를 생성합니다.

3. 모델 구현

저자들은 (입력 데이터의 토큰 길이가 기존 소규모 사전 학습 모델의 컨텍스트 제한을 초과하기 때문에) 처음부터 학습된 트랜스포머 기반 모델을 구현했습니다.

• 아키텍처: 모델은 $3N$개의 인코더 레이어를 활용합니다. 첫 $2N$개 레이어는 사회적 추론 단계를 구성하고, 마지막 $N$개 레이어는 체화된 추론 단계를 구성합니다.
• 모달리티 상호작용: 특수 모듈이 네 가지 입력 스트림(세계 상태 설명, 인간 궤적, 언어 지시, 모델의 과거 출력)을 융합합니다.
• 학습 전략:
  • 종단간(End-to-End, E2E): 모델이 행동을 직접 출력하도록 학습하며, 중간 예측에 보조 손실(auxiliary loss)을 적용합니다.
  • 다단계(Multi-Staged, MS): 사회적 추론과 체화된 추론 모듈을 별도로 학습합니다. 사회적 모듈은 $G_r$(및 선택적으로 $p^*$)을 예측하며, 이는 평가 시 체화된 모듈에 정답 입력으로 전달됩니다.

실험 설정

프레임워크는 네 가지 난이도 수준에 걸쳐 모호한 지시 이행 작업을 포함하는 텍스트 기반 가사 환경인 HandMeThat (HMT) 벤치마크에서 평가됩니다:

• 레벨 1: 순수 계획 (모호성 없음).
• 레벨 2: 인간의 궤적으로부터 목표를 추론해야 함.
• 레벨 3: 언어적 모호성을 해결하기 위해 화용론적 추론이 필요함.
• 레벨 4: 정보가 불충분한 고유한 모호성을 해결하기 위해 강력한 사전 지식이 필요함.

저자들은 다음과 비교합니다:

1. 베이스라인: 인간의 성능, 수동 코딩된 휴리스틱, 그리고 Seq2Seq 신경망.
2. 최신 기술(SOTA): 반복적 목표 추론을 사용하는 이전 최고 방법 (Cao et al. 2024).
3. 대규모 언어 모델(LLM): CoT(Chain-of-Thought)가 프롬프트된 GPT-4 Turbo로, 표준 프롬프팅, 프롬프트 엔지니어링(PE), 그리고 FISER 구조(중간 단계를 예측)를 모방한 CoT 프롬프팅을 포함합니다.

주요 결과

실험은 세 가지 주요 결과를 도출합니다:

1. 추론의 분리가 성능을 향상시킴: 사회적 추론과 체화된 추론을 명시적으로 분리하는 모델(FISER)이 종단간 접근 방식보다 성능이 월등히 높습니다. Multi-Staged + FISER 모델은 HMT 테스트 세트에서 **64.5%**의 평균 성공률을 달이트며 새로운 SOTA를 기록했습니다.
2. 소규모 모델이 프롬프트된 LLM보다 우수함: GPT-4 Turbo가 방대한 상식 지식에 접근할 수 있음에도 불구하고, 처음부터 학습된 소규모 트랜스포머 모델의 성능을 따라잡지 못합니다. 도메인 지식과 CoT 프롬프팅을 사용하더라도, GPT-4는 모호한 레벨(2–4)에서 FISER 모델의 절반 미만인 성공률을 보였습니다.
3. 실패 모드 분석:
   • GPT-4는 주로 계획 실패(물체 위치 환각)와 잘못된 의도(특정 인간의 목표와 상식이 어긋남)에서 어려움을 겪습니다.
   • FISER 모델은 계획 실패와 불필요한 행동은 효과적으로 피하지만, 매우 모호한 시나리오에서 대상 물체를 정확히 식별하는 데 여전히 어려움을 겪습니다.
   • 무관한 물체를 필터링하는 것이 GPT-4의 성능을 약간 개선하지만 격차를 줄이지는 못하며, 이는 한계가 단순히 물체 선택의 문제가 아니라 요구되는 사회적 및 체화된 추론의 근본적인 능력에 있음을 나타냅니다.

의의 및 주장

본 논문은 모호한 지시 이행 과제를 해결하기 위한 핵심 통찰이 인간의 의도를 중간 추론 단계로 명시적으로 모델링하는 것이라고 주장합니다. 인간을 단순히 탈체화된 지시 발행자가 아니라, 숨겨진 목표를 가진 부분적으로 관찰 가능한 에이전트로 취급함으로써 시스템은 맥락을 더 잘 활용하여 모호성을 해결할 수 있습니다.

저자들은 다음과 같이 주장합니다:

• 사전 학습만으로는 불충분함: 일반적인 사전 학습된 LLM은 CoT 프롬프팅을 사용하더라도, 공유된 환경에서의 복잡한 사회적 및 체화된 작업을 수행하는 데 필요한 특정 도메인 지식과 추론 구조가 부족합니다.
• 구조화된 추론이 우월함: 문제를 사회적(의도 추론) 및 체화된(행동 계획) 추론 단계로 분해하는 것이 단일한 종단간 학습이나 직접적인 프롬프팅보다 더 나은 결과를 낳습니다.
• 효율성: 작은 규모의 도메인 특화 모델을 처음부터 학습시키는 것이 이러한 특정 협업 작업을 위해 거대한 범용 LLM을 프롬프트하는 것보다 더 효과적이고 신뢰할 수 있습니다.

이 연구는 AI 에이전트가 인간 환경에서 진정으로 도움이 되기 위해서는 단순한 언어 접지를 넘어, "어떻게"를 실행하기 전에 인간 행동의 "왜"를 추론하는 사회적 추론을 통합해야 함을 입증합니다.