기술 요약: BARISTA – 구성적 시각 이해를 위한 다중 작업 주관식 벤치마크

1. 문제 제기

시각 - 언어 모델 (VLM) 은 물리적 세계에서 작동하는 에이전트 및 구체화 시스템의 지각 백본으로 점점 더 많이 배포되고 있습니다. 그러나 물리적 과정을 이해하는 것은 작업 관련 객체를 국소화하고, 손 - 객체 상호작용을 해석하며, 맥락 내에서 활동을 인식하고, 시간적 진화에 대해 추론하는 조율된 능력 집합을 필요로 하므로 여전히 중요한 과제로 남아 있습니다.

현재 벤치마크들은 일반적으로 이러한 능력들을 별개의 가정과 평가 프로토콜 하에서 고립적으로 평가합니다 (예: 활동 인식 또는 장편 비디오 질문 응답). 이러한 분열은 프로시저 작업에서 모델이 실패하는 '이유'를 진단하기 어렵게 만듭니다. 고수준 과정 추론의 실패는 약한 객체 국소화, 불충분한 상호작용 이해, 또는 결함이 있는 시간 모델링에서 비롯될 수 있지만, 기존 데이터셋은 이러한 오류 원인을 분리해 내기에 필요한 밀집되고 공동 등록된 주석이 부족합니다. furthermore, 최근 증거는 VLM 이 기본적인 공간 인지에서도 여전히 취약함을 시사하지만, 고수준 추론 실패를 구체적인 지각적 격차로 거슬러 추적할 수 있는 통합된 프레임워크를 제공하는 벤치마크는 거의 없습니다.

2. 방법론

2.1 데이터셋 구축: BARISTA

저자들은 BARISTA를 소개했는데, 이는 185 개의 실제 커피 제조 영상 (총 4.4 시간) 으로 구성된 밀집 주석이 달린 주관식 데이터셋입니다. 이 데이터셋은 프로시저적 다양성을 보장하기 위해 세 가지 다른 제조 스타일을 다룹니다:

1. 완전 자동 머신: 짧은 인터페이스 기반 상호작용 (버튼 누르기, 우유 처리).
2. 캡슐 머신: 캡슐 삽입 및 레버 조작을 포함함.
3. 포트필터 기반 에스프레소: 계량, 다지기, 추출을 포함하는 수동 워크플로우.

주석 파이프라인:
품질 유지하면서 주석을 확장하기 위해 저자들은 프레임별 공동 등록된 장면 그래프를 중심으로 한 반자동 파이프라인을 개발했습니다.

• 1 단계 (키프레임 선택): CaRe-Ego 모델이 손 - 객체 상호작용을 감지하여 상호작용 세그먼트를 식별합니다. 키프레임은 이러한 세그먼트 내의 상태 변화 시점에 선택됩니다.
• 2 단계 (희소 주석): 인간 주석가들이 인터랙티브 마스크 제안 (SAM 2) 을 사용하여 키프레임의 객체에 레이블을 지정하고, 인스턴스 마스크, 카테고리, 속성을 할당합니다.
• 3 단계 (밀집 전파): SAM 2 와 SAM 3 를 사용하여 마스크가 세그먼트 내의 모든 프레임으로 전파되며, 가림과 모션 블러를 처리하기 위해 여러 키프레임을 조건으로 합니다.
• 4 단계 (검토 및 통합): 주석가들이 전파된 마스크를 검토하고 오류를 수정하며, 지속적 추적을 보장하기 위해 세그먼트 간 객체 정체성을 통합합니다.
• 5 단계 (그래프 풍부화): 장면 그래프는 방향성 유형 관계 (공간적 및 손 - 객체), 객체 속성, 활동 레이블 (세밀한 동사 + 명사 및 거시적 프로시저 단계) 로 완성됩니다.

규모: 이 데이터셋은 46 개 객체 카테고리 및 108 개 활동 클래스에 걸쳐 361 만 개의 인스턴스 마스크, 433 만 개의 속성 주석, 248 만 개의 유형 관계를 포함합니다.

2.2 벤치마크 설계

BARISTA 는 통합되고 분해 가능한 벤치마크 역할을 합니다. 모든 벤치마크 작업은 검증된 장면 그래프에서 결정론적으로 파생되므로, 모든 평가 예제가 동일한 기본 주석으로 추적 가능하도록 보장합니다. 이 벤치마크는 두 가지 주요 작업 계열에 걸쳐 제로샷 프로토콜 하에서 모델을 평가합니다:

1. 객체 중심 작업 (지각 및 그라운딩):

   • 구문 그라운딩: 자연어 구를 바운딩 박스에 연결합니다.
   • 손 - 객체 상호작용 (HOI) 인식: 상호작용을 감지하고 손 유형 (왼쪽, 오른쪽, 양쪽) 을 분류합니다.
   • 지시 표현 생성: 주어진 바운딩 박스를 맥락에서 설명합니다.
   • 관계 추출: 객체 간의 구조화된 튜플 (출처, 대상, 관계, 값) 을 예측합니다.

2. 의미론적 작업 (추론 및 시간적 이해):

   • 활동 인식: 짧은 프레임 시퀀스에서 세밀한 조작 활동을 분류합니다.
   • 시간적 시각 질문 응답 (VQA): 짧은 시간 창에서의 상태 변화, 행동 전환, 관계 변화에 대한 개방형 질문에 답변합니다.

2.3 평가 프로토콜

저자들은 다양한 크기의 네 가지 VLM 계열을 평가했습니다: Gemini 3 Flash, GPT-5.4 mini, Gemma 4-31B, 그리고 Qwen3.5(27B 및 9B). 평가 지표에는 IoU 기반 감지 점수, 구조화된 출력에 대한 F1, 분류 정확도, 그리고 개방형 텍스트에 대한 LLM-as-a-judge(G-Eval) 점수가 포함됩니다.

3. 주요 결과

실험은 작업 계열 간 강한 변동성과 일관되게 우세한 모델 계열의 부재를 드러냈습니다. 서로 다른 작업에 필요한 능력은 대체로 직교하는 것으로 보입니다.

• 공간적 그라운딩이 병목 현상입니다: 정밀한 영역 수준 정렬이 필요한 작업 (구문 그라운딩, HOI) 에서 성능 변동이 가장 큽니다. 강력한 모델조차 중간 크기 객체에서 현저히 저하됩니다. 그라운딩의 성능 분포 (mAP 범위 0.07–0.53) 는 활동 인식과 같은 의미론적 작업 (정확도 범위 0.63–0.78) 보다 훨씬 더 넓습니다.
• 작업 직교성:
  • Gemini 3 Flash는 객체 중심 작업 (그라운딩, HOI, 지시) 에서 뛰어나지만 의미론적 작업을 지배하지는 않습니다.
  • Qwen3.5-27B는 시간적 VQA 와 활동 인식에서 선두를 달립니다.
  • Gemma 4-31B는 최고의 관계 추출 F1 을 달성합니다.
  • GPT-5.4 mini는 공간적 그라운딩에서는 부진하지만 시간적 VQA 에서는 놀랍도록 잘 수행합니다.
• 교차 작업 분석: 순위 상관 분석 (Kendall $\tau$) 은 그라운딩, HOI, 관계, 지시가 일관된 클러스터를 형성함을 보여줍니다 ($\tau \ge 0.6$), 반면 시간적 VQA 는 이 클러스터와 분리되어 있습니다 ($\tau \in [-0.4, 0.0]$). 이는 국소화와 구조화된 공간 추론을 주도하는 능력이 시간적 추론을 주도하는 능력과 구별됨을 나타냅니다.
• 프로시저적 다양성: 성능 프로파일은 머신 유형에 따라 다릅니다. 포트필터 영상은 더 크고 뚜렷한 객체로 인해 더 높은 그라운딩 점수를 산출하는 반면, 완전 자동 머신은 더 단순한 상호작용 그래프로 인해 더 나은 관계 추출 및 HOI 점수를 산출합니다.

4. 중요성과 주장

이 논문은 프로시저 비디오 이해 실패의 '블랙박스' 성격을 해결하도록 설계된 진단용 벤치마크로서 BARISTA 를 위치시킵니다. 주요 기여점은 다음과 같습니다:

1. 분해 가능성: 모든 작업을 단일 검증된 장면 그래프에서 파생시킴으로써, BARISTA 는 연구자들이 고수준 과정 실패를 동일한 프레임의 특정 저수준 지각 격차 (국소화, 상호작용, 또는 관계 오류) 로 거슬러 추적할 수 있게 합니다.
2. 능력 격차 드러내기: 이 벤치마크는 현재 최첨단 VLM 이 불균형적인 능력 프로파일을 가지고 있음을 보여줍니다. 어떤 모델은 무엇이 일어나고 있는지 인식하는 데 (의미론적 인식) 뛰어나지만, 그것을 설명하는 객체와 상호작용을 일관되게 위치 파악하는 데는 실패할 수 있습니다. 이러한 비대칭성은 실행 가능한 피드백을 위한 전제 조건인 신뢰할 수 있는 객체 국소화가 필수적인 구체화 AI 에 직접적인 함의를 가집니다.
3. 분석을 위한 인프라: 벤치마크를 넘어, 이 데이터셋은 밀집되고 시간적으로 일관된 마스크, 트랙, 관계 구조를 제공하여 전문 지각 모델, 시간적 장면 그래프, 실패 분석 도구를 훈련하기 위한 인프라 역할을 합니다.

저자들은 VLM 이 발전했음에도 불구하고 구성적 시각 이해의 스펙트럼 전반에 걸쳐 여전히 "불균형적"이라고 결론지었습니다. BARISTA 는 시스템이 성공하는지 여부뿐만 아니라 어디서 그리고 왜 실패하는지를 측정할 수 있는 컴팩트하지만 확장 가능한 테스트베드를 제공하며, 집계 점수를 넘어 통제된 세밀한 분석으로 나아가는 계기를 마련합니다.