ADAPT: Benchmarking Commonsense Planning under Unspecified Affordance Constraints

1. 문제 정의 (Problem Statement)

기존의 embodied AI(신체화된 인공지능) 연구는 주로 주어진 지시를 그대로 따르는 데 초점을 맞추고 있습니다. 그러나 실제 가정 환경에서는 지시에 명시되지 않은 예외 상황이나 예상치 못한 조건이 빈번하게 발생합니다.

• 핵심 한계: 기존 방법론들은 대상 물체의 사용 가능성 (Affordance) 이 정적 (Static) 이라고 가정하거나, 지시에 모든 전제 조건이 명시되어 있다고 간주합니다.
• 실제 문제: 예를 들어, "옷을 서랍에 넣으세요"라는 지시를 받았을 때, 옷이 더러운 상태라면 이를 서랍에 넣는 것은 적절하지 않습니다. 인간은 이러한 암묵적인 전제 조건 (Implicit Preconditions) 을 상식 (Commonsense) 으로 추론하여 행동을 수정하지만, 기존 에이전트들은 물체의 상태 변화 (예: 더러움, 사용 중임, 점유됨) 를 인식하지 못해 실패하거나 비효율적인 행동을 반복합니다.
• 연구 목표: 지시에는 명시되지 않았지만, 물체의 상태에 따라 행동의 실행 가능성이 동적으로 변하는 환경에서 에이전트가 어떻게 상식 기반의 계획 (Commonsense Planning) 을 수행하고 적응할 수 있는지를 평가하고 해결하는 것입니다.

2. 제안 방법론 (Methodology)

이 논문은 문제를 해결하기 위해 새로운 벤치마크 (DynAfford) 와 이를 위한 새로운 모듈 (ADAPT) 을 제안합니다.

A. DynAfford 벤치마크

기존 벤치마크의 한계를 극복하기 위해 설계된 새로운 평가 환경입니다.

• 동적 affordance (Dynamic Affordance): 물체의 사용 가능성이 시간에 따라 변하거나 지시에 명시되지 않은 조건 (예: 더러운 옷, 점유된 전자레인지) 을 포함합니다.
• 데이터 구성: AI2-THOR 시뮬레이터 기반이며, 57 개의 장면, 2,628 개의 전문가 시연 (Expert Demonstrations), 10,106 개의 자연어 지시를 포함합니다.
• 평가 방식: 'Static' (물체 상태가 고정된 이상적 환경) 과 'Dynamic' (물체 상태가 변하거나 제약이 있는 환경) 으로 나누어 에이전트의 적응 능력을 평가합니다.
• 주요 제약 조건: Occupied (사용 중), Used (이미 사용됨), Dirty (더러움) 등 3 가지 주요 affordance 위반 유형을 다룹니다.

B. ADAPT 모듈 (Affordance-Aware Action Selection)

기존의 계획기 (Planner) 에 플러그 앤 플레이 (Plug-and-play) 방식으로 통합되는 추론 모듈입니다. 이는 에이전트가 행동을 실행하기 전에 행동의 실행 가능성 (Applicability) 을 판단합니다.

1. Stage 1: Affordance State Inference (Affordance 상태 추론)

   • 현재 관찰된 환경과 계획된 고수준 행동을 기반으로 대상 물체의 상태 (예: 깨끗한지, 점유되었는지) 를 추론합니다.
   • 기술적 구현: LoRA(Low-Rank Adaptation) 를 통해 미세 조정 (Fine-tuning) 된 Vision-Language Model (LLaVA-1.5-7B) 을 사용합니다.
   • Multimodal In-Context Grounding: 현재 관찰 이미지와 함께 '사용 가능 (Available)' 및 '사용 불가 (Unavailable)' 상태의 참조 이미지를 입력받아, 문맥을 통해 물체의 상태를 정확히 판별합니다.

2. Stage 2: Applicability Resolution (실행 가능성 해결)

   • 만약 추론 결과 현재 행동이 실행 불가능하다면 (예: 전자레인지가 사용 중), 에이전트는 무작정 재계획 (Replanning) 을 수행하는 대신, 기존 의도를 유지하면서 조건이 충족될 때까지 대기 (Wait) 하거나 보조 행동 (예: 청소하기) 을 수행하도록 지시합니다.
   • 이 과정은 LLM 을 활용하여 상식적으로 타당한 해결 전략 (Resolution Strategy) 을 도출합니다.

3. 주요 기여 (Key Contributions)

1. DynAfford 벤치마크 도입: 동적 affordance 와 상식 기반의 목표 조건을 평가할 수 있는 최초의 벤치마크를 제안하여, 기존 에이전트들이 암묵적 전제 조건을 처리하지 못한다는 한계를 드러냈습니다.
2. ADAPT 모듈 개발: 물체 사용 가능성을 명시적으로 추론하고, 실행 불가능한 행동을 적절히 지연 또는 수정하는 통합 추론 메커니즘을 제안했습니다.
3. 성능 입증 및 통찰:
   • ADAPT 를 FILM, CAPEAM 등 기존 최첨단 에이전트에 통합했을 때, 특히 동적 환경에서 성공률 (SR) 과 목표 조건 달성률 (GC) 이 획기적으로 향상됨을 입증했습니다.
   • 상용 LLM(GPT-4o) vs 도메인 특화 모델: 범용적인 GPT-4o 보다 작업에 맞춰 미세 조정된 (LoRA-finetuned) LLaVA 가 affordance 추론에서 더 높은 성능을 보였습니다. 이는 일반적인 추론 능력보다 작업과 밀접하게 연결된 시각적 그라운딩 (Visual Grounding) 이 중요함을 시사합니다.

4. 실험 결과 (Results)

• 성능 향상:
  • FILM + ADAPT: 테스트 'Unseen' (학습하지 않은 환경) 분할에서 성공률 (SR) 이 9.34% 에서 16.18% 로 약 73.2% 상대적 개선을 기록했습니다.
  • CAPEAM + ADAPT: 기존에 성능이 좋았던 CAPEAM 도 동적 환경에서 안정성과 적응력을 크게 향상시켰습니다.
  • GPT-4o 비교: ADAPT 의 백엔드로 GPT-4o 를 사용했을 때보다, LoRA 로 미세 조정된 LLaVA 를 사용했을 때 affordance 추론 정확도와 전체 작업 성공률이 더 높았습니다.
• 효율성: ADAPT 는 매 단계마다 추론을 수행하는 것이 아니라, affordance 모호성이 발생할 때만 이벤트 기반 (Event-driven) 으로 작동하므로 계산 오버헤드가 크지 않습니다. (초기화 오버헤드 제외, 추론 비용은 약 0.2 초/호출).
• 실패 사례 분석: 부분 가려짐 (Occlusion) 으로 인한 물체 식별 실패 등 시각적 한계가 여전히 존재하지만, ADAPT 는 이러한 환경에서도 기존 방법론 대비 훨씬 견고한 회복 (Recovery) 능력을 보여주었습니다.

5. 의의 및 결론 (Significance)

이 논문은 embodied AI 의 중요한 패러다임 전환을 제안합니다.

• 지시 따르기 (Instruction Following) 의 재정의: 에이전트는 단순히 지시를 실행하는 것을 넘어, "언제 행동을 수행하지 말아야 하는가 (When NOT to act)" 를 판단할 수 있어야 합니다.
• 상식 추론의 중요성: 실제 세계의 불확실성과 동적 변화를 처리하려면, 물체의 상태 변화를 감지하고 암묵적인 전제 조건을 추론하는 상식적 추론 능력이 필수적입니다.
• 미래 연구 방향: ADAPT 는 장기적인 작업 (Long-horizon tasks) 에서의 견고성을 확보하는 기반을 마련했으며, 향후 실제 로봇 시스템으로 확장하기 위해 안전성 (Safety) 과 불확실성 모델링을 결합할 필요성을 제기합니다.

요약하자면, 이 연구는 동적인 환경 변화와 명시되지 않은 제약 조건 하에서도 에이전트가 스스로 상황을 판단하고 적응할 수 있도록 하는 새로운 벤치마크와 해결책 을 제시함으로써, 보다 현실적이고 견고한 embodied AI 개발의 길을 열었습니다.