Environmental Understanding Vision-Language Model for Embodied Agent

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 과 비전 - 언어 모델 (VLM) 은 지시 수행형 (Instruction-following) embodied agent 분야에서 뛰어난 지각 및 추론 능력을 보여주었습니다. 그러나 실제 환경에서의 실행 시 다음과 같은 한계점이 존재합니다.

• 환경 이해 부족: 모델이 환경의 물리적 상태나 상호작용 결과를 제대로 이해하지 못해 실패를 반복하거나, 환경 메타데이터 (객체 ID, 마스크 등) 에 의존하는 경우가 많습니다.
• 모듈화 의존성: 기존 접근법들은 복잡한 모듈 파이프라인을 사용하거나, 별도의 객체 예측기를 필요로 하여 종단간 (End-to-End) 학습이 어렵습니다.
• 복구 메커니즘의 부재: 기존 복구 방법은 환경의 자동 검증이나 사전 정의된 실패 유형, 텍스트 피드백에 의존하여 시각적 그라운딩 (Visual Grounding) 이 부족합니다.

2. 방법론 (Methodology)

저자들은 **환경 이해 embodied 에이전트 (EUEA)**라는 새로운 프레임워크를 제안하여, 단일 VLM 내부에 네 가지 핵심 기술을 통합하고 이를 미세 조정 (Fine-tuning) 합니다.

A. 네 가지 핵심 기술 (Core Skills)

VLM 이 환경 이해를 위해 학습해야 할 4 가지 핵심 기술을 정의하고, 이를 하나의 아키텍처 내에서 통합합니다.

1. 객체 지각 (Object Perception):
   • 객체 인식 (OR): 이미지 내 존재하는 객체 식별.
   • 객체 탐지 (OD): 주어진 목표와 관련된 객체의 바운딩 박스 (Bounding Box) 위치 파악.
2. 작업 계획 (Task Planning):
   • 하위 목표 계획 (STP): 전체 목표를 달성하기 위한 하위 목표 (Subgoal) 생성.
   • 단계별 행동 계획 (SAP): 현재 하위 목표를 달성하기 위한 구체적인 행동 (Action) 생성.
3. 행동 이해 (Action Understanding):
   • 행동 성공 예측 (ASP): 현재 상황에서 행동이 성공할지 실패할지 예측.
   • 미래 상황 캡션 (FSC): 행동 수행 후 환경이 어떻게 변할지 설명 (실패 사례 데이터 확보를 위해 무작위 탐색 데이터 활용).
   • 행동 그라운딩 (AG): 두 이미지 간의 변화로 수행된 행동을 역추적.
4. 목표 인식 (Goal Recognition):
   • 주 목표 및 하위 목표 인식 (GR): 현재 상태가 목표 달성 여부를 판단 (Yes/No).

B. 복구 단계 (Recovery Step via Sampling)

행동 실패가 발생했을 때, 추가적인 학습 없이 샘플링을 기반으로 한 복구 메커니즘을 도입합니다.

• 실패한 행동 대신, 주어진 목표와 일치하는 대체 행동을 SAP 기술을 통해 샘플링합니다.
• 샘플링된 행동 - 객체 쌍의 확률 점수 (Negative Log-Likelihood) 를 기반으로 가장 유망한 대안을 선택하여 재시도합니다.

C. GRPO 정제 단계 (GRPO Refinement Stage)

지도 학습 (SFT) 후에도 발생할 수 있는 일관성 없는 예측을 보정하기 위해 **그룹 상대적 정책 최적화 (Group Relative Policy Optimization, GRPO)**를 적용합니다.

• 보상 함수: 객체 지각, 작업 계획, 행동 이해, 목표 인식의 4 가지 기술에 대해 각각 IoU, 정확도, 순서 일치도 등을 기반으로 규칙 기반 보상을 정의합니다.
• 전략: 불확실성이 높은 데이터 (표준 편차가 큰 경우) 를 선별하여 GRPO 를 수행함으로써 모델의 의사결정 안정성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 통합 프레임워크 EUEA: 별도의 모듈 없이 단일 VLM 에 4 가지 핵심 기술을 통합하여 환경 이해와 의사결정을 종단간 학습 가능하게 함.
2. 새로운 복구 및 정제 메커니즘: 외부 피드백 없이 샘플링 기반 복구 단계와 GRPO 를 도입하여 실패 시 자가 수정 및 일관성 향상을 달성.
3. 대규모 기술 데이터셋 및 벤치마크: ALFRED 와 LangR 벤치마크를 기반으로 124 만 개 (ALFRED) 와 370 만 개 (LangR) 의 기술별 데이터셋을 구축하고, 이를 활용한 평가 기준을 제시.
4. 기존 VLM 한계 규명: 오픈/클로즈드 소스 VLM 들의 환경 이해 능력 부족을 기술 수준에서 분석하고, 효과적인 에이전트 - 환경 상호작용에 필요한 능력을 규명.

4. 실험 결과 (Results)

ALFRED 태스크를 기반으로 한 평가 결과:

• 작업 성공률 향상: 기존 행동 복제 (Behavior Cloning, BC) 베이스라인 대비 평균 성공률이 8.86% 향상됨 (SFT 단계).
• 추가 개선: 복구 단계와 GRPO 단계를 추가하여 3.03% 추가 향상 (최종 평균 성공률 86.48% 달성).
• 기술별 평가: 제안된 모델은 객체 지각, 행동 예측, 목표 인식 등 모든 기술 분야에서 기존 오픈/클로즈드 소스 VLM 들 (GPT-4o, Gemini 등) 보다 우수한 성능을 보임. 특히 제로샷 (Zero-shot) 모델들은 행동 성공 예측 및 객체 지각에서 낮은 정확도를 보임.
• 복구 메커니즘 효과: 외부 환경 피드백을 사용하는 기존 복구 방법보다, 에이전트의 환경 이해에 기반한 샘플링 복구 방식이 더 높은 성공률을 기록.
• OOD 일반화: ALFRED 로 학습된 모델을 LangR 환경에 적용했을 때, 분포 차이 (Distribution Shift) 가 있음에도 제로샷 모델보다 우수한 성능을 보여 좋은 일반화 능력을 입증.

5. 의의 및 결론 (Significance)

• 환경 이해의 중요성 강조: embodied agent 가 성공적으로 작업을 수행하기 위해서는 단순한 명령 추적이 아닌, 환경의 물리적 상태 변화와 상호작용 결과를 이해하는 능력이 필수적임을 입증.
• 종단간 학습의 실현: 복잡한 모듈 조합 없이 단일 VLM 을 통해 지각, 계획, 실행, 평가의 전 과정을 통합하여 학습 가능하게 함.
• 자가 수정 능력: 외부 피드백에 의존하지 않고 모델이 학습한 환경 이해 능력을 바탕으로 실패를 스스로 복구할 수 있는 메커니즘을 제시하여, 더 신뢰할 수 있는 에이전트 개발의 토대를 마련.

이 연구는 embodied agent 가 실제 환경에서 더 견고하고 유연하게 작동할 수 있도록 하는 핵심적인 기술적 통찰과 방법론을 제공한다는 점에서 의의가 큽니다.