REI-Bench: Can Embodied Agents Understand Vague Human Instructions in Task Planning?

이 논문은 비전문가 (노인 및 어린이) 가 자주 사용하는 모호한 지시어 (REs) 가 로봇 작업 계획 성능을 크게 저하시킨다는 문제를 제기하고, 이를 해결하기 위해 실용적 이론에 기반한 벤치마크 'REI-Bench'와 작업 지향적 맥락 인지 기법을 제안합니다.

핵심

🤖 로봇이 "그거"라고만 하면 당황하는 이유: REI-BENCH 논문 설명

이 논문은 **"로봇이 인간의 막연한 지시를 얼마나 잘 이해할 수 있을까?"**라는 아주 실용적인 질문에서 시작합니다.

우리가 로봇에게 "그것을 치워줘"라고 말하면, 로봇은 "어떤 '그것'을 말하는 거지? 책상 위의 컵일까, 바닥에 떨어진 장난감일까?"라고 혼란에 빠집니다. 이 논문은 바로 그 **'막연함 (Vagueness)'**이 로봇의 계획 수립 능력을 얼마나 크게 망가뜨리는지 분석하고, 이를 해결하는 새로운 방법을 제안합니다.

---

🍳 1. 문제 상황: "무거운 거"를 치워줘!

상상해 보세요. 부엌에서 요리 중입니다.

• 명확한 지시: "냄비 (Pot) 를 싱크대로 옮겨줘." → 로봇은 정확히 냄비를 집어갑니다.
• 막연한 지시: "그 무거운 거 (The heavy stuff) 를 밖으로 옮겨줘." → 로봇은 당황합니다. 냄비일 수도 있지만, 무거운 식재료일 수도 있고, 심지어 식기세척기일 수도 있습니다.

이런 **'지시어 (Referring Expressions)'**가 명확하지 않을 때, 로봇은 무엇을 해야 할지 헷갈려서 엉뚱한 것을 가져오거나 아예 작업을 멈춥니다. 특히 노인이나 아이처럼 말을 간결하게 하거나 문맥에 의존하는 사람들과 로봇이 대화할 때 이 문제는 더 심각해집니다.

📉 로봇의 실수율

연구팀은 로봇에게 이런 막연한 지시를 주며 실험했습니다. 결과는 충격적이었습니다.

• 로봇이 명확한 지시를 받았을 때: 성공률 높음
• 로봇이 막연한 지시 ("그것", "저것", "무거운 거") 를 받았을 때: 성공률이 최대 37% 까지 폭락했습니다.

즉, 로봇이 "그것"이 무엇을 가리키는지 문맥을 파악하지 못하면, 계획 자체를 잘못 세우게 됩니다.

---

🧪 2. 실험실: REI-BENCH (로봇의 언어 이해도 시험)

저자들은 이 문제를 체계적으로 연구하기 위해 REI-Bench라는 새로운 시험지를 만들었습니다. 이 시험지는 로봇의 언어 이해력을 3 가지 난이도로 테스트합니다.

1. 명확한 지시 (Explicit): "냄비를 가져와." (로봇이 가장 잘함)
2. 혼합 지시 (Mixed): "냄비를 가져와. 그리고 그것을 식탁에 올려." (앞서 언급한 냄비를 '그것'으로 지칭)
3. 막연한 지시 (Implicit): "그것을 가져와." (무엇이 '그것'인지 문맥에서만 유추해야 함)

또한, 대화의 맥락 (Context) 을 다음과 같이 변형해서 로봇을 더 어렵게 만들었습니다.

• 정규 맥락: 필요한 정보가 모두 있음.
• 소음 맥락 (Noised): "로즈 (Rose)"라는 이름의 사람과 "장미 (Rose)"라는 꽃이 동시에 등장해 로봇을 혼란스럽게 함.
• 짧은 맥락 (Short): 중요한 정보가 빠져있어 로봇이 추론해야 함.

결론: 로봇은 명확한 지시에는 강하지만, 막연한 지시와 혼란스러운 맥락이 섞이면 완전히 무너졌습니다.

---

💡 3. 해결책: TOCC (로봇의 '의미 파악' 훈련)

기존 방법들 (로봇에게 "주의 깊게 읽어봐"라고 하거나, "단계별로 생각해보자"라고 하는 등) 은 효과가 미미했습니다. 로봇은 지시를 이해하는 과정과 행동을 계획하는 과정을 동시에 하느라, 막연한 단어를 해석할 에너지를 쓰지 못했기 때문입니다.

저자들은 새로운 방법을 제안했습니다. **TOCC (Task-Oriented Context Cognition, 작업 지향적 문맥 인지)**입니다.

🧠 TOCC 의 비유: "비서"와 "작업자"

이 방법은 로봇의 뇌를 두 단계로 나누는 것입니다.

1. 비서 (해석 단계): 로봇이 "그 무거운 거"라는 말을 들으면, 바로 행동하지 않습니다. 대신 **"아, 주인님이 방금 말한 '냄비'를 의미하는구나"**라고 먼저 해석해서 명확한 문장으로 바꿉니다.
   • 원문: "그 무거운 거를 치워줘."
   • 비서의 해석: "냄비를 치워줘."
2. 작업자 (계획 단계): 이제 로봇은 해석된 명확한 문장 ("냄비를 치워줘") 만 보고 행동을 계획합니다.

이처럼 **'무엇을 할지 (해석)'**와 **'어떻게 할지 (계획)'**를 분리해 주니, 로봇의 실수가 크게 줄어들었습니다. 기존 방법보다 성공률이 6.5% 이상 향상되었습니다.

---

🌟 4. 요약: 왜 이 연구가 중요한가?

• 현실적인 문제: 우리는 로봇에게 "그거", "저기", "무거운 것"처럼 막연하게 말합니다. 하지만 현재의 로봇은 이를 이해하지 못해 실패합니다.
• 핵심 발견: 로봇이 실패하는 주된 이유는 '행동 계획'을 잘못 세워서가 아니라, '무엇을 가리키는지'를 먼저 파악하지 못해서입니다.
• 해결책: 로봇에게 바로 행동하게 하지 말고, 먼저 **"이 말의 진짜 뜻은 무엇인가?"**를 명확히 해석하게 하는 단계 (TOCC) 를 거치면 훨씬 똑똑해집니다.

한 줄 요약:

"로봇에게 '그것'을 치우라고 하면 로봇은 당황합니다. 대신 로봇에게 '그것'이 정확히 '냄비'라는 뜻이야라고 먼저 알려주면, 로봇은 훌륭한 요리사가 됩니다!"

이 연구는 로봇이 노인이나 아이 같은 비전문가들과 자연스럽게 대화하며 일할 수 있는 미래를 위한 중요한 첫걸음입니다.

기술 요약

이 논문은 REI-Bench라는 새로운 벤치마크와 TOCC (Task-Oriented Context Cognition) 라는 해결책을 제안하며, embodied agent(로봇) 가 인간의 모호한 지시를 이해하고 작업 계획을 수립하는 데 발생하는 문제를 체계적으로 연구합니다. 주요 내용은 다음과 같습니다.

1. 연구 배경 및 문제 제기 (Problem)

• 현황: 최근 대규모 언어 모델 (LLM) 기반의 작업 계획기 (Task Planner) 는 복잡한 작업을 수행하는 데 뛰어난 성능을 보이지만, 이는 인간의 지시가 명확하고 모호함이 없다고 가정합니다.
• 문제: 실제 인간 - 로봇 상호작용 (HRI) 에서, 특히 노약자나 어린이와 같은 비전문가 사용자는 지시어에 지시 표현 (Referring Expressions, REs) 의 모호성을 자주 포함합니다.
  • 명시적 지시 (Explicit REs): "냄비 (pot)"와 같이 대상을 직접 명시.
  • 암시적 지시 (Implicit REs): "그것 (it)", "무거운 것 (heavy stuff)"과 같이 문맥과 환경에 의존하여 의미를 해석해야 하는 표현.
• 핵심 과제: 이러한 암시적 지시 표현은 로봇의 작업 계획 성능을 심각하게 저하시키며, 기존 LLM 기반 계획기들이 다중 턴 대화의 문맥을 올바르게 추론하지 못해 실패하는 원인이 됩니다.

2. 방법론 (Methodology)

A. REI-Bench 벤치마크 및 데이터셋 구축

저자들은 인간의 모호한 지시를 체계적으로 모델링하기 위해 REI-Bench를 제안했습니다.

• 데이터 생성: ALFRED 데이터셋을 기반으로 하여, AI2-THOR 시뮬레이터 환경에서 6 가지 작업 (Pick & Place, Stack & Place 등) 을 수행할 수 있는 시드 지시를 선별했습니다.
• 모호성 수준 정의 (9 가지 레벨): 지시 표현의 유형과 문맥 메모리의 유형을 조합하여 9 가지 난이도 수준을 정의했습니다.
  1. 지시 표현 (REs) 유형:
     • Explicit: 모든 지시어가 명확함.
     • Mixed: 지시어 중 일부는 암시적임 (문맥의 명시적 지시어 참조 필요).
     • Implicit: 지시어가 모두 암시적임 (시나리오 정보와 문맥 추론 필수).
  2. 문맥 메모리 (Context Memory) 유형:
     • Standard: 작업과 관련된 모든 정보 제공.
     • Noised: 대상과 이름이 유사한 오해의 소지가 있는 이름 (예: 사과 'Apple'과 브랜드 'Apple') 을 대화에 삽입하여 혼란 유발.
     • Short: 작업 관련 정보를 일부 생략하여 추론 난이도 증가.
• 규모: 총 2,700 개의 지시어 샘플로 구성됨.

B. 제안된 해결책: TOCC (Task-Oriented Context Cognition)

기존의 프롬프트 기법 (Aware Prompt, Chain-of-Thought, In-Context Learning) 의 한계를 극복하기 위해 TOCC를 제안했습니다.

• 핵심 아이디어: 작업 계획 (Planning) 과 지시 해석 (Interpretation) 을 분리합니다.
• 작동 방식:
  1. 인지 단계: LLM 이 먼저 문맥 메모리를 분석하여 암시적 지시어 (예: "그것") 를 명확한 대상 (예: "감자") 으로 해석하고, 모호함이 제거된 새로운 지시문으로 재작성합니다.
  2. 계획 단계: 재작성된 명확한 지시문을 기반으로 로봇이 실행 가능한 행동 시퀀스를 생성합니다.
• 장점: 단일 생성 단계에서 계획과 추론을 동시에 수행하려는 기존 방식의 과부하를 줄이고, LLM 의 언어 이해 능력을 계획 단계 이전에 명확히 발휘하게 합니다.

3. 주요 실험 결과 (Results)

• 기존 계획기의 성능 저하:
  • REI-Bench 에서 6 가지 LLM 과 4 가지 계획 프레임워크 (SayCan, DAG-Plan 등) 를 평가한 결과, 암시적 지시어가 등장할 때 성공률이 7.4% 에서 최대 36.9% 까지 급격히 하락했습니다.
  • 특히 'Mixed' 및 'Implicit' 조건에서 실패 원인의 대부분은 대상 물체 누락 (Object Omission) 이었습니다. 로봇이 '냄비' 대신 '접시' 같은 잘못된 물체를 선택하는 경우가 많았습니다.
  • 문맥의 노이즈 (Noised Context) 나 정보 생략 (Short Context) 보다는 암시적 지시어 자체의 존재가 성능 저하의 주된 원인이었습니다.
• 프롬프트 기법 비교:
  • Aware Prompt (AP): 모호성을 인지하게 하지만 깊은 추론을 유도하지 못해 효과가 제한적이었습니다.
  • Chain-of-Thought (CoT) & In-Context Learning (ICL): 프롬프트 길이가 길어져 작은 언어 모델 (Small LLM) 환경에서 오히려 성능이 저하되거나 지연이 발생했습니다.
  • TOCC: 모든 모델과 조건에서 최고의 성능을 보였습니다. 특히 'LLaMA3.1-8B + SayCan' 기준 평균 성공률을 6.5% 향상시켰으며, 대상 물체 누락 오류를 크게 감소시켰습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 체계적 벤치마크: 로봇 작업 계획 분야에서 지시 표현 (REs) 에 기반한 모호성을 체계적으로 모델링한 첫 번째 벤치마크인 REI-Bench를 제안했습니다.
2. 성능 저하 원인 규명: LLM 기반 로봇 계획기가 모호한 지시를 처리할 때 실패하는 주된 원인이 '계획 생성'에 집중하다가 '언어 이해 (대상 식별)' 능력을 발휘하지 못하기 때문임을 규명했습니다.
3. 효과적인 해결책 제안: 복잡한 모델 변경 없이도 TOCC라는 간단한 프롬프트 기법을 통해 모호성을 효과적으로 해결하고, 비전문가 사용자 (노약자, 어린이 등) 를 위한 로봇 접근성을 높이는 방법을 제시했습니다.

5. 의의 및 결론 (Significance)

이 연구는 로봇이 실제 인간과 상호작용할 때 발생하는 언어적 모호성이라는 핵심 과제를 조명했습니다. 기존의 연구가 명확한 지시를 전제로 한 반면, 본 논문은 실제 HRI 환경에서 필수적인 문맥 추론 능력을 평가하고 개선하는 방향을 제시했습니다.

특히 TOCC는 추가적인 모델 학습 없이도 기존 LLM 기반 계획기의 견고성을 크게 향상시킬 수 있음을 보여주어, 제한된 컴퓨팅 자원을 가진 엣지 디바이스 (로봇) 에 배포 가능한 실용적인 솔루션을 제공합니다. 이는 노약자나 어린이와 같은 취약 계층을 위한 보조 로봇의 실용화를 위한 중요한 진전으로 평가됩니다.