Assessing VLM-Driven Semantic-Affordance Inference for Non-Humanoid Robot Morphologies

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 비전 - 언어 모델 (VLM, Vision-Language Models) 은 인간 - 객체 상호작용을 이해하는 데 탁월한 능력을 보여주었으나, 인간과 완전히 다른 형태 (Non-Humanoid Morphology) 를 가진 로봇 시스템에 적용되는 경우는 거의 연구되지 않았습니다.
• 핵심 문제: VLM 의 훈련 데이터가 인간 중심 (Human-centric) 이기 때문에, 인간의 손이나 신체 구조와 다른 다양한 로봇 (예: 퍼즐, 컷, 리프트 등 특수 기능 로봇) 에게 적합한 '아포던스 (Affordance, 환경이 에이전트에게 제공하는 행동 가능성)' 를 추론할 수 있는지가 불확실합니다.
• 목표: VLM 이 인간과 다른 신체적 능력을 가진 로봇에게 유효한 아포던스를 추론할 수 있는지, 그리고 어떤 편향 (Bias) 이 발생하는지 실증적으로 분석하는 것입니다.

2. 방법론 (Methodology)

가. 하이브리드 데이터셋 구축

• 구성: 실제 로봇 (DOTS 로봇) 에서 촬영한 비디오와 Google Veo3 모델을 생성한 합성 영상을 결합한 하이브리드 데이터셋을 구축했습니다.
• 범위: 100 가지 고유한 객체 (가정용품, 식품, 건설 자재 등) 와 774 개의 레이블이 지정된 객체 인스턴스를 포함합니다.
• 로봇 형태: 인간형 로봇 (Baseline) 과 6 가지 비인간형 로봇 (Scoop, Push, Lift, Cut, Pick, Collect) 의 능력을 시뮬레이션합니다.

나. 아포던스 추론 파이프라인

1. VLM 프롬프트 입력: 로봇의 물리적 특성 (크기, 이동 방식, 작동 메커니즘 등) 을 자연어 프롬프트로 VLM 에 입력합니다. (예: "나는 0.3m 직경의 원통형 로봇이며, 1kg 미만의 물체를 퍼 올릴 수 있다.")
2. 시각적 인식: 로봇의 카메라 프레임을 VLM 에 전달하여 객체와 해당 로봇의 능력에 맞는 아포던스를 식별하도록 합니다.
3. 로컬라이제이션 (GroundingDINO): VLM 이 식별한 객체에 대해 GroundingDINO 를 사용하여 2D 바운딩 박스를 생성하고, 로봇의 오도메트리 (Odometry) 와 결합하여 3D 공간 내 위치를 삼각측량합니다.
4. 시맨틱 연관성 (Semantic Association): 생성형 모델의 불일치를 해결하기 위해, 기존 장면 그래프 내의 객체와 새로운 검출 결과 간의 시맨틱 유사도 (Sentence Transformer 임베딩) 를 계산하여 중복을 통합하고 일관된 장면 표현을 구축합니다.

다. 평가 지표

• 모델: GPT-5, Gemini 2.5-pro, Claude Opus 4-1 등 최신 3 가지 VLM 사용.
• 메트릭: 정밀도 (Precision) 와 재현율 (Recall) 의 균형을 고려한 F1 점수를 주 평가 지표로 사용하며, True Positive, False Positive, True Negative, False Negative 를 분석합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 비인간형 로봇 아포던스 데이터셋: 인간형 로봇이 아닌 다양한 형태의 로봇을 위한 아포던스 추론을 위한 하이브리드 (실제 + 합성) 데이터셋을 공개했습니다.
2. VLM 의 일반화 능력 실증 분석: 인간 중심 훈련 데이터가 가진 한계와 비인간형 로봇 형태에 대한 VLM 의 추론 능력을 체계적으로 평가했습니다.
3. 보수적 편향 (Conservative Bias) 발견: VLM 이 잘못된 행동을 예측하는 것 (False Positive) 을 피하기 위해, 유효한 행동을 놓치는 (False Negative) 경향이 강하다는 패턴을 규명했습니다.

4. 실험 결과 및 논의 (Results & Discussion)

가. 인간형 로봇 (Baseline) 결과

• 성공: 'Pick (잡기)' 과 같은 일반적인 인간 행동은 잘 추론했습니다.
• 실패: 'Push (밀기)' 등 특정 작업에 대해 모델이 훈련 데이터에 기반한 일반적이고 작업과 무관한 인간 행동 (예: "공을 던지기", "인형 짜주기") 을 제안하는 경향이 있었습니다. 이로 인해 False Negative(유효한 아포던스 누락) 가 높게 나타났습니다.

나. 비인간형 로봇 결과

• 긍정적 효과: 로봇의 구체적인 물리적 설명 (예: "밀 수 있는 메커니즘이 있음") 을 프롬프트에 포함하면, 모델이 작업 범위 밖의 인간 행동을 제안하는 빈도가 줄어들고 정확도가 향상되었습니다.
• 보수적 편향: 비인간형 로봇의 경우, 잘못된 추론을 피하기 위해 아포던스를 전혀 예측하지 않는 (False Negative) 경향이 두드러졌습니다. 이는 안전성은 높일 수 있으나, 로봇의 실제 능력을 과소평가하여 협업 기회를 놓치게 만듭니다.
• 공간적 추론 및 재료 이해의 한계:
  • 공간: 로봇 차체 위만 들어 올릴 수 있음에도 바닥에 있는 물체를 '들 수 있음 (Lift)'으로 잘못 분류하는 등 공간적 제약 이해가 부족했습니다.
  • 재료: 'Cut (자르기)' 작업 시 종이/플라스틱/나무만 가능하도록 제한했음에도 골프공이나 나사처럼 자를 수 없는 물체를 대상으로 자를 수 있다고 예측하는 등 재료 특성에 대한 이해가 부족했습니다.
• 객체 카테고리 편향: 식품이나 스포츠 용품과 같이 인간 훈련 데이터에 풍부한 객체는 성능이 좋았으나, 건설 자재 등 덜 흔한 객체는 성능이 크게 저하되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 안전성과 활용성의 트레이드오프: VLM 은 인간 중심 데이터로 인해 비인간형 로봇에게 과감한 행동을 제안하기보다는 과도하게 보수적인 (Conservative) 태도를 보입니다. 이는 로봇의 안전성 (False Positive 감소) 에는 유리하지만, 로봇의 잠재적 능력을 최대한 활용하지 못하게 하는 (False Positive 증가) 요인이 됩니다.
• 향후 방향:
  • 작업 조건부 프롬프팅: 로봇의 물리적 설명에 구체적인 작업 목표 (예: "방 정리하기") 를 추가하여 추론 범위를 좁히는 연구가 필요합니다.
  • 검증 방법 개선: 단순한 정답 레이블 비교 대신, 생성된 아포던스의 적절성을 인간이 검증하는 방식의 평가 체계가 필요합니다.
  • 데이터셋 확장: 비인간형 로봇을 위한 대규모 공공 벤치마크 데이터셋 구축이 시급합니다.

결론적으로, 이 연구는 VLM 이 비인간형 로봇의 아포던스 추론에 유망한 도구임을 보여주지만, 인간 중심의 편향과 공간/재료 이해 부족을 해결하기 위한 보완적 접근 (보수적 행동 완화, 작업 조건부 프롬프팅 등) 이 필수적임을 강조합니다.