기술 요약: embodied 로봇 에이전트에서의 '예스맨 증후군'

문제 제기

비전-언어 모델 (VLM) 은 자연어 지시와 시각적 관찰을 물리적 행동 계획으로 변환하는 고수준 계획자로서 embodied 로봇에 점점 더 많이 배포되고 있습니다. 그러나 현재 평가 프레임워크에는 중요한 격차가 존재합니다. 텍스트 전용 대규모 언어 모델 (LLM) 에서는 거절 (query 를 신뢰할 수 있게 해결할 수 없을 때 인식하는 능력) 이 연구되어 왔지만, 기존 벤치마크는 로봇공학에 내재된 시각적 그라운딩과 물리적 제약을 포착하지 못합니다.

embodied 환경에서 '거절'은 관찰된 장면과 에이전트의 능력을 고려할 때 지시가 잘못 구성되었거나, 그라운딩이 없거나, 모호하거나, 물리적으로 실행 불가능할 때 실행을 유보하는 것으로 정의됩니다. 거절하지 못하면 잘못된 작업 수행, 다단계 작업에서의 오류 누적, 그리고 저하된 상호작용으로 이어집니다. 현재 시스템은 지시가 모호하거나 불가능할 때조차 종종 행동을 기본값으로 선택하는데, 저자들은 이를 '예스맨 증후군 (Yes-Man Syndrome)'이라고 명명합니다.

방법론: ROBOABSTENTION 프레임워크

이 격차를 해결하기 위해 저자들은 실제 세계 이미지를 기반으로 한 거절 지시를 생성하고 평가하기 위한 확장 가능하고 감사 가능한 프레임워크인 ROBOABSTENTION을 소개합니다. 이 프레임워크는 데이터셋 생성 과정에서의 환각을 줄이고 프로그래밍적 검증 가능성을 보장하도록 설계된 3 단계 파이프라인을 통해 작동합니다.

1. 구조화된 시각적 그라운딩: VLM(Anthropic 의 Claude Sonnet 4.6) 이 입력 이미지의 구조화된 JSON 표현을 추출합니다. 이 단계는 제어된 어휘를 사용하여 지각적 설명 (객체, 속성, 상태, 공간적 위치) 에만 제한됩니다. 중요한 점은, 모델이 이 단계에서 추론을 피하고 직접 관찰 가능한 것만 보고하며 부재하거나 비현실적인 객체를 식별하도록 프롬프트된다는 것입니다.
2. 결정론적 제약 도출: 구조화된 JSON 출력에 규칙 기반 논리를 적용하여 시스템이 특정 거절 범주에 대한 후보 인스턴스를 결정론적으로 도출합니다. 이 단계는 완전히 학습되지 않았으므로, 거절 조건이 장면 표현을 기반으로 수학적으로 검증 가능하도록 보장합니다.
3. 제어된 지시 생성: 범주별 템플릿을 사용하여 자연어 지시가 생성됩니다. 이러한 템플릿은 2 단계에서 도출된 후보들로만 인스턴스화되므로, 생성된 지시가 의도된 거절 조건과 엄격하게 일치하도록 보장합니다 (예: '물리적 실행 불가능성' 템플릿은 크기 제약을 위반하는 객체 - 위치 쌍으로만 채워짐).

거절 분류법

이 프레임워크는 거절을 세 가지 그룹으로 구성된 여덟 가지 유형으로 분류합니다.

• 참조 그라운딩:
  • 참조 대상 부재: 객체가 장면 내에 존재하지 않음.
  • 모호한 참조 대상: 구별되는 속성 없이 여러 객체가 설명을 만족함.
  • 미세분화된 의도: 지시적 참조 (예: "저것", "거기") 를 해석할 맥락 부족.
  • 주관적 의도: 로봇이 알지 못하는 사용자 선호도 필요 (예: "내가 가장 좋아하는 음료").
• 실행 가능성:
  • 물리적 실행 불가능성: 공간적 또는 물리적 제약을 위반함 (예: 키보드를 컵에 넣기).
  • 기능 부재: 로봇이 lacks 하는 센서나 구동기 필요 (예: 냄새 맡기).
  • 모순된 지시: 상호 양립 불가능한 요구사항 부과.
• 거짓 전제:
  • 거짓 전제: 지시가 장면과 모순되는 세계 상태를 가정함 (예: 이미 꺼진 모니터를 "끄기").

데이터셋 구성

이 벤치마크는 다섯 가지 다양한 embodied 로봇공학 데이터셋 (DROID, Robo2VLM, RoboVQA, BridgeV2, EgoThink) 에서 가져온 1,250 개의 이미지를 활용합니다. 파이프라인은 총 6,069 개의 지시를 생성하며, 각 이미지는 여러 범주에 걸쳐 거절을 유발해야 하는 지시와 짝을 이룹니다. 이 데이터셋은 감사 가능하도록 설계되어, 모든 지시가 그 생성을 정당화한 특정 시각적 그라운딩과 제약 도출로 거슬러 추적 가능합니다.

실험 결과

저자들은 GPT-5.4, Claude Sonnet 4.6, Gemini Robotics ER 1.6 Preview, Gemini 2.5 Flash 를 포함한 여러 최첨단 VLM 을 평가했습니다.

• 기선 성능: 모든 모델은 거절에서 심각한 약점을 보였습니다. 가장 잘 수행된 일반 모델인 Gemini 2.5 Flash는 지시의 **39.0%**에서만 거절했습니다. embodied 특화 계획자인 Gemini Robotics ER 1.6 Preview는 더 나빠서, **16.5%**에서만 거절했습니다.
• 범주 간 차이: 모델들은 '참조 대상 부재' 사례 (41.3% 거절) 에서는 상대적으로 잘 수행되었으나, '모호한 참조 대상' 작업 (2.6% 거절) 에서는 극적으로 실패하여, 명확화를 요청하기보다 추측하려는 경향을 시사합니다.
• 모델 규모와 추론: GPT-5.4 계열 내에서 모델 규모 (Nano 에서 Mini, Full 로) 를 늘리는 것은 전체 거절률에 거의 영향을 미치지 않았습니다. 놀랍게도, '추론' 등급을 높이는 것 (없음에서 높음으로) 은 거절 성능을 감소시켰으며, 이는 추가적인 숙고가 모델로 하여금 무효성을 인식하기보다 그럴듯한 행동 계획이나 우회책을 구성하도록 장려함을 나타냅니다.
• 실패 모드: 거절하지 않은 응답에 대한 분석은 모델들이 종종 구체적인 대상을 '환각'하거나, 감각 능력을 발명하거나, 불확실성을 우회하기 위해 검색 - 행동 전략을 제안함을 드러냈습니다. 가장 큰 실패 군집은 '임의의 대상 선택'으로, 모델들이 명확화 없이 대상을 선택함으로써 모호성을 해결한 경우였습니다.

완화 전략

이 연구는 프롬프팅이 성능을 개선할 수 있는지 테스트했습니다.

• 방어적 프롬프팅: 특정 조건 하에서 모델이 거절하도록 명시적으로 지시.
• 문맥 학습 (ICL): 올바른 거절 행동의 퓨샷 예시 제공.
• 복합 접근법: 두 전략 모두 사용.

복합 접근법이 가장 큰 개선을 이끌어냈으며, Gemini Robotics ER 1.6 Preview 의 거절률을 93.6% 로, GPT-5.4 Mini 를 88.6% 로 높였습니다. 그러나 저자들은 단일 접근법이 문제를 완전히 해결하지는 못했으며, 완화 조치에도 불구하고 중요한 실패 모드가 지속되었다고 지적합니다.

중요성과 주장

이 논문은 거절을 embodied AI 평가에서 작업 수행 성공과 별도로 명시적으로 측정해야 하는 고유한 능력으로 위치시킵니다. 저자들은 다음과 같이 주장합니다.

1. 현재 최첨단 VLM 들은 심층 추론 능력을 갖춘 모델조차도 모호하거나, 그라운딩이 없거나, 물리적으로 불가능한 지시를 확신 있게 실행하는 '예스맨 증후군'에 취약합니다.
2. 기존 벤치마크는 로봇공학에 필요한 시각적 그라운딩과 물리적 제약 검증을 결여하고 있어 불충분합니다.
3. ROBOABSTENTION 은 수동 주석을 넘어선 확장 가능하고 감사 가능하며 프로그래밍적으로 검증 가능한 벤치마크 생성 방법을 제공합니다.
4. 프롬프팅 전략이 성능을 크게 개선할 수 있지만, 불확실성 하에서 행동으로 기본값을 두는 모델의 근본적인 문제는 여전히 해결되지 않은 과제로 남아 있으며, 이는 현재 아키텍처가 물리적 환경에서의 자신의 한계를 인식하는 내재적 메커니즘이 부족함을 시사합니다.

저자들은 이 벤치마크가 실제 세계 배포 준비의 증거로 해석되어서는 안 된다고 결론지었습니다. 이는 benign 이고 실행 불가능한 지시에 초점을 맞추며, 적대적 오용이나 장기적 상호작용을 다루지 않기 때문입니다. 이 연구는 불확실성을 더 잘 인정하고 무효한 가정 하에서 행동하지 않는 모델 개발을 지원하기 위해 고안되었습니다.