기술 요약: EPIC-Bench

문제 제기

대형 비전 - 언어 모델 (VLM) 이 점차 embodied agent(구현체 에이전트) 의 지각적 백본으로 채택되고 있지만, 기존 벤치마크는 종종 질문 - 답변 (QA) 또는 객관식 질문 (MCQ) 형식에 의존합니다. 저자들은 이러한 프로토콜이 모델들이 실제 시각적 그라운딩을 증명하기보다는 언어적 사전 지식과 상식 추론을 악용할 수 있게 한다고 주장합니다. furthermore, 전통적인 시각적 그라운딩 벤치마크는 단순한 설명을 동반한 범용 객체 탐지에 초점을 맞추어, 실제 세계의 구현체 상호작용 (항해 및 조작) 에 필요한 세밀하고 작업 지향적인 지각을 포착하지 못합니다. 구현체 상호작용 파이프라인 전반에 걸쳐 VLM 의 시각적 지각 능력을 체계적으로 평가하는 포괄적인 평가 프레임워크가 critically 부족합니다.

방법론

EPIC-Bench 설계

이러한 격차를 해소하기 위해 저자들은 EPIC-Bench(Embodied PerceptIon BenChmark) 를 소개합니다. 이는 (이미지, 텍스트, 마스크) 로 구성된 6,661 개의 정밀하게 주석된 튜플로 이루어진 세밀한 그라운딩 벤치마크입니다. 이 벤치마크는 구현체 상호작용 파이프라인의 세 가지 핵심 단계를 중심으로 구조화되어 있습니다:

1. 타겟 로컬라이제이션 (TL): 항해 및 조작의 기초로, 다차원 속성에 기반한 타겟 로컬라이제이션 능력을 평가합니다. 이 카테고리는 다음과 같이 세분화됩니다:
   • 기본 속성 (BA): 객체 카테고리, 색상, 기하학, 재질, 상대적 속성 (크기/높이), 그리고 투영의 인식.
   • 공간 관련 속성 (SRA): 방향 (인간 상대적 포함) 과 공간적 관계에 대한 이해.
   • 구현체 구성적 속성 (ECA): 부분 - 전체 관계, 인간 관련 부분 - 전체 영역, 객체 상태, 그리고 구어적 설명의 인식.
2. 항해 (NAV): 타겟으로 이동하기 위한 지각을 평가합니다. 하위 작업은 다음과 같습니다:
   • 지면 탐지 (GD): 통과 가능한 지면 영역 식별.
   • 가능 경로 (FP): 카메라 위치에서 타겟까지 또는 두 타겟 사이를 통과 가능한 영역으로 제한된 유효 경로에 대한 추론.
   • 시각 매칭 (VM): 동일한 환경에서 서로 다른 시점에서 동일한 타겟 객체를 로컬라이제이션.
3. 조작 (MAN): 직접적인 물리적 상호작용을 위한 지각을 평가합니다. 하위 작업은 다음과 같습니다:
   • 어포던스 영역 (AR): 특정 작동 영역 또는 도구 사용 영역 식별.
   • 접촉 관계 (CR): 단일 또는 다수의 참조 객체와의 접촉 상태에 기반한 객체 로컬라이제이션.
   • 배치 영역 (PR): 타겟 배치 영역 로컬라이제이션 및 배치의 물리적 타당성 결정.

데이터 구축 및 주석

데이터셋은 범용 장면, 실내 환경, 자기 중심 시점, 그리고 로봇 시점 이미지를 아우르는 25 개의 공개 데이터셋에서 선별되었습니다. 주석 파이프라인은 다음과 같은 과정을 포함했습니다:

• 필터링: 오픈소스 VLM 들의 앙상블을 사용한 후 수동 검토를 통해 다양성과 복잡성을 보장 (예: 단편 학습을 방지하기 위한 방해 요소 포함).
• 주석: 초기 마스크 제안 생성을 위해 SAM3(Segment Anything Model 3) 을 활용하고, 이를 20 명의 인간 주석자가 수동으로 정제하여 고충실도 정답 (ground truth) 을 달성.
• 품질 관리: 모호성 해결, 텍스트와 마스크 간의 불일치 수정, 그리고 타겟이 단순히 식별될 수 있는 샘플 제거를 위해 최소 두 번의 검수 단계를 거치는 엄격한 과정.

평가 전략

이 벤치마크는 Proprietary Models(독점 모델), Open-Source Models(오픈소스 모델), 그리고 Embodied Foundation Models(구현체 기초 모델) 로 분류된 89 개의 주요 VLM을 평가합니다.

• 프로토콜: QA/MCQ 와 달리, EPIC-Bench 는 모델이 마스크(점수를 매기기 위해 경계 상자로 근사화됨) 와 해당되는 경우 타겟 인스턴스의 개수를 출력하도록 요구합니다.
• 지표: 점수 체계는 네 가지 구성 요소로 이루어집니다:
  1. 로컬라이제이션 점수: 예측된 경계 상자와 정답 마스크 간의 교집합 대비 합집합 (IoU).
  2. 계수 점수: 타겟의 정확한 개수를 예측하는 정확도 (엄격한 개수에 대한 이진 정확도, 편차에 대한 소프트 패널티).
  3. 경로 점수: 시작/종료 정확도, 통과 가능성, 거리, 그리고 연속성을 평가하는 항해 경로를 위한 복합 지표.
  4. 타당성 점수: 조작 행동 (예: 배치 안정성) 의 물리적 생존 가능성에 대한 이진 판단.

주요 결과

89 개 모델에 대한 광범위한 평가는 몇 가지 중요한 발견을 드러냈습니다:

1. 복잡한 그라운딩에 대한 일반적인 어려움: 현재 VLM 들은 물리적 상호작용에 필요한 복잡한 시각 - 텍스트 정렬에 보편적으로 어려움을 겪습니다. 고급 "사고" 모델들이 가능성을 보이지만, 아직 핵심 병목 현상을 해결하지는 못했습니다.
2. 특정 병목 현상:
   • 다중 타겟 계수: 정확히 하나의 타겟이 존재할 때 모델은 인간 수준의 성능을 보이지만, 타겟이 없거나 다중 타겟 상황에서는 성능이 크게 저하됩니다.
   • 부분 - 전체 관계: 모델은 텍스트에 기반하여 객체의 특정 하위 영역을 그라운딩하지 못해 어포던스 영역 작업에서 낮은 성능을 보입니다.
   • 공간 방향: "사람의 왼쪽"과 같이 견고한 공간 추론 및 참조 프레임 이해가 필요한 작업에서 성능이 현저히 떨어집니다.
3. 모델 성능:
   • 독점 모델: Gemini-3-Pro와 Gemini-3.1-Pro가 가장 높은 전체 점수 (~54.8) 를 달성했으며, Gemini-3-Pro는 가능 경로 (Feasible Path) 작업에서 70.82 로 두각을 나타냈습니다.
   • 오픈소스 모델: Qwen3-VL-235B-A22B(사고 모드 포함) 가 최고의 오픈소스 결과 (50.93) 를 달성했습니다.
   • 구현체 기초 모델: 구현체 작업을 위해 특별히 설계된 모델들 (예: RoboBrain, RynnBrain) 은 일반적으로 범용 VLM 들보다 낮은 성능을 보였으며, 이는 주로 그들의 더 작은 파라미터 규모에 기인합니다.
4. 추론 및 프롬프트의 영향:
   • 고급 추론 모드 ("사고") 를 갖춘 모델은 일관되게 표준 대응 모델보다 우수한 성과를 보였습니다.
   • 시각 프롬프트: 마스크 오버레이를 시각적 프롬프트로 제공하는 것은 추론 능력이 있는 모델의 성능을 크게 향상시켰지만, 능력이 낮은 모델들은 때때로 밀집된 정보에 어려움을 겪으며 단순한 경계 상자 오버레이에서 더 큰 혜택을 받았습니다.
   • 토큰 제약: "사고" 모델들은 엄격한 토큰 예산 (4096 토큰) 하에서 응답이 잘려나가는 고통을 겪었으며, 추론 능력을 완전히 활용하려면 더 큰 예산 (8192 토큰) 이 필요했습니다.

중요성과 주장

이 논문은 EPIC-Bench가 차세대 비전 기반 구현체 모델을 발전시키기 위한 견고한 기반과 실행 가능한 통찰력을 제공한다고 주장합니다. 언어적 단축키를 넘어 마스크 수준 그라운딩에 초점을 맞춤으로써, 이 벤치마크는 다중 객체 추론, 부분 - 전체 이해, 그리고 물리적 어포던스 탐지에 관한 현재 시각 - 언어 정렬의 근본적인 한계를 드러냅니다. 저자들은 그들의 연구가 신뢰할 수 있는 구현체 배포를 지원하기 위해 개선이 필요한 특정 지각 능력을 식별함으로써 향후 연구에 대한 명확한 길을 제시한다고 주장합니다. 이 벤치마크는 대규모 평가와 재현성을 촉진하기 위해 공개적으로 제공됩니다.