1. 문제 정의 (Problem Statement)

• 배경: 오픈 월드 (open-world) 환경에서 언어 기반 로봇 조작 (Language-conditioned robotic manipulation) 을 수행할 때, 정확한 작업 실행뿐만 아니라 실패 (Failure) 를 자동으로 감지하는 능력은 실제 배포에 필수적입니다.
• 핵심 과제: 최근 비전 - 언어 모델 (VLM) 은 공간 추론 및 작업 계획 능력이 크게 향상되었으나, 로봇이 자신의 실패를 인식하는 능력에는 한계가 있습니다. 특히 기존 연구들은 주로 제어 오류 (Control Errors) (예: 물체 잡기 실패, 낙하 등) 에 집중했으나, 의미 불일치 오류 (Semantic Misalignment Errors) 는 간과되어 왔습니다.
  • 의미 불일치 오류: 로봇이 물리적으로 의미 있는 행동을 수행하지만, 주어진 언어 지시와 일치하지 않는 경우 (예: "파란 블록을 들어라"는 지시를 받았는데 "빨간 블록"을 들어 올리는 경우).
  • 이러한 오류는 시각적 단서만으로는 식별하기 어렵고, 언어 지시와 로봇의 공간적/시간적 움직임 간의 정합성 (Grounding) 을 심층적으로 추론해야 합니다.

2. 제안 방법론 (Methodology)

저자들은 I-FailSense라는 오픈 소스 VLM 프레임워크를 제안하며, 이는 두 단계의 후속 학습 (Post-training) 파이프라인을 기반으로 합니다.

A. 데이터셋 구축 (Semantic Misalignment Failure Datasets)

• 기존 언어 기반 조작 데이터셋 (전문가 데모) 을 활용하여 의미 불일치 실패 데이터셋 ($D_{SMF}$) 을 구축했습니다.
• 양성 샘플: 전문가 트래젝토리와 원래 지시문 매칭.
• 음성 샘플: 동일한 작업 유형 내에서 지시문과 트래젝토리가 불일치하도록 매칭 (예: "빨간 블록" 대신 "파란 블록"을 조작하는 트래젝토리에 "빨간 블록" 지시문 부여). 이는 로봇이 의미 있는 행동을 하지만 지시와 다를 때의 미묘한 오류를 포착하도록 설계되었습니다.

B. I-FailSense 아키텍처 및 학습 단계

기저 모델로 PaliGemma2-mix-3B를 사용하며, 두 단계로 학습합니다.

1. 1 단계: 파라미터 효율적 미세 조정 (PEFT - LoRA)
   • 비전 인코더 (SigLIP) 와 언어 모델 (LLM) 사이의 프로젝션 MLP 와 언어 모델의 어텐션 레이어에 LoRA (Low-Rank Adaptation) 어댑터를 적용하여 미세 조정합니다.
   • 대부분의 가중치는 동결 (Freeze) 하고 소수의 파라미터만 학습하여 효율성을 높입니다.
2. 2 단계: Grounded Arbitration (FailSense Blocks)
   • FS Block (FailSense Block): 미세 조정된 VLM 의 내부 여러 레이어 (K 개) 에 연결된 경량 이진 분류 헤드입니다.
   • 각 FS Block 은 해당 레이어의 특징을 입력받아 성공/실패 확률을 예측합니다.
   • Hybrid Attention Pooling: MLP 와 Multi-Head Attention (MHA) 을 결합하여 특징을 집계합니다.
   • Voting Mechanism: 모든 FS Block 의 예측과 VLM 의 최종 출력을 가중 투표 (Weighted Voting) 방식으로 집계하여 최종 실패/성공 판정을 내립니다. 이는 다양한 추상화 수준의 추론을 통합하여 강건성을 확보합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 데이터셋 구축: 기존 벤치마크를 기반으로 의미 불일치 실패 (Semantic Misalignment Failures) 에 특화된 데이터셋 ($D_{SMF-CALVIN}$, $D_{SMF-DROID}$) 을 제안했습니다.
2. I-FailSense 프레임워크: VLM 의 내부 표현을 활용하고, 여러 레이어의 예측을 집계하는 FS Block과 투표 메커니즘을 도입하여 실패 감지 정확도를 극대화했습니다.
3. 강력한 일반화 능력: 의미 불일치 오류 감지만 학습했음에도 불구하고, 제어 오류 (Control Errors) 감지, 새로운 시뮬레이션 환경, 그리고 실제 세계 (Real-world) 로의 제로샷/최소 미세 조정 전이 (Transfer) 를 성공적으로 입증했습니다.

4. 실험 결과 (Results)

• 의미 불일치 오류 감지 (DSMF-CALVIN):
  • I-FailSense 는 **90.64%**의 정확도를 달성하여, 제로샷 SOTA VLM 들 (GPT-4o, Qwen2.5-VL 등) 보다 월등히 높은 성능을 보였습니다. (Qwen2.5-VL 은 약 69% 정확도).
  • 정밀도 (Precision) 와 재현율 (Recall) 의 균형이 우수하여 F1 점수가 0.91 로 높게 나왔습니다.
• 제어 오류 감지로의 일반화 (AHA Dataset):
  • 의미 불일치 오류 데이터셋으로만 학습된 I-FailSense 는 제어 오류가 주를 이루는 AHA 데이터셋에서도 **89%**의 정확도를 기록했습니다.
  • 이는 AHA 데이터셋에 직접 학습된 AHA 모델 (70% 정확도) 보다 19%p 높은 성능으로, 의미 불일치 학습이 제어 오류 감지에도 강력한 신호를 제공함을 보여줍니다.
• 실제 세계 전이 (DSMF-DROID):
  • 시뮬레이션 데이터로 학습된 모델을 실제 세계 데이터에 적용할 때, FS Block 을 실제 데이터로 추가 미세 조정 (Fine-tuning) 하면 정확도가 **74%**까지 향상되었습니다.
  • 실제 환경에서는 단일 시점보다 이중 시점 (Exocentric + Egocentric) 을 사용할 때 성능이 더 우수함을 확인했습니다.

5. 의의 및 결론 (Significance)

• 기초 모델의 한계 극복: 기존 VLM 이 언어 지시와 시각적/운동적 행동 간의 정합성을 이해하는 데 어려움을 겪는 문제를 해결했습니다.
• 자율적 피드백 루프: 로봇이 외부 감독 없이 스스로 실패를 감지하고, 이를 통해 보상 형성 (Reward Shaping) 이나 운동 계획 개선에 활용할 수 있는 기반을 마련했습니다.
• 효율성과 확장성: 대규모 모델 전체를 재학습하지 않고, 경량 헤드와 LoRA 를 활용한 효율적인 학습 전략을 제시하여, 다양한 시뮬레이션 및 실제 환경으로의 빠른 전이를 가능하게 했습니다.

이 연구는 로봇이 언어 기반 지시를 따르는 과정에서 발생하는 복잡한 오류 (특히 의미적 불일치) 를 감지하고, 이를 통해 더 견고한 자율 조작 시스템을 구축하는 중요한 발걸음입니다.