기술 요약: ProcObject-10K

문제 정의

현재 instructional 비디오의 절차적 이해 (procedural understanding) 에 대한 벤치마크는 주로 **행동 중심 (action-centric)**입니다. 이러한 벤치마크는 절차적 구조를 행동이나 사건의 시퀀스로 모델링하며, 종종 **객체 상태 전이 (object state transitions)**의 근본적인 역할을 간과합니다. 실제 세계의 절차적 작업 (예: 요리, 조립) 에서는 목표가 인간과의 상호작용 하에 객체 상태가 점진적으로 변환됨으로써 달성됩니다. 동일한 행동이라도 객체의 초기 상태에 따라 다른 결과를 낳을 수 있으며, 이는 다시 유효한 후속 행동을 결정합니다.

기존 데이터셋은 모델이 이러한 객체 수준의 역학을 추론할 수 있는지 평가하지 못합니다. 일부 데이터셋은 객체 추적을 중점적으로 다루지만 목표 지향적인 절차적 구조가 부족하고, 반대로 instructional 비디오 데이터셋은 행동 시퀀스에 초점을 맞추되 객체 상태 변화로 인한 인과적 의존성을 모델링하지 않습니다. 결과적으로 현재 벤치마크는 모델이 세밀한 추론을 수행하여 객체가 어떻게 진화하여 작업을 완료하는지 파악하는 대신, **언어적 사전 지식 (linguistic priors)**과 행동 패턴에 의존하여 높은 성능을 달성하도록 허용합니다.

방법론

1. PROCOBJECT-10K 벤치마크

저자들은 instructional 비디오에서 **객체 중심 추론 (object-centric reasoning)**과 **시간적 증거 기반 (temporal evidence grounding)**을 공동으로 평가하도록 설계된 최초의 벤치마크인 PROCOBJECT-10K를 소개합니다.

• 데이터셋 구성: 이 데이터셋은 9 개 도메인 (자세한 시점 및 외부 시점 포함) 의 137 개 작업에 걸친 1,799 개의 비디오 클립을 기반으로 한 10,522 개의 개방형 VideoQA 쌍으로 구성됩니다.
• 데이터 생성 파이프라인: 4 단계 반자동 파이프라인이 사용되었습니다:
  1. 수집: 복잡한 손 - 객체 상호작용으로 알려진 기존 데이터셋 (CaptainCook4D, EgoPER, HoloAssist, COIN) 에서 비디오를 선별했습니다.
  2. 샘플링: 인과적 일관성과 일관된 객체 외관을 보장하기 위해 시간적으로 연속된 행동 시퀀스를 샘플링했습니다.
  3. QA 생성: 비전 - 언어 모델 (VLM) 에게 밀집된 객체 중심 캡션과 희소 프레임으로 프롬프트를 주어 질문, 답변 및 지원 시간적 증거 범위를 생성했습니다.
  4. 검증: 엄격한 필터링 과정을 통해 상식만으로 해결 가능한 사례 (텍스트만) 를 제거하고, LLM 을 통해 답변 - 증거 정렬을 검증하며, 모호성을 개선하고 시간적 기반을 확보하기 위해 인간 검토를 포함했습니다.
• 질문 분류 체계: 벤치마크는 객체 역학을 중심으로 한 다섯 가지 추론 유형을 정의합니다:
  1. 전제 조건 기반 (Precondition Grounding): 행동 전에 필요한 객체 상태를 식별합니다.
  2. 객체 상태 진화 (Object State Evolution): 단계 간 객체가 어떻게 변화하는지 추적합니다.
  3. 반사실 추론 (Counterfactual Reasoning): 특정 객체 상태가 변경된다면 결과가 어떻게 될지 예측합니다.
  4. 실수 인식 (Mistake Recognition): 객체 처리 또는 상태의 오류를 식별합니다.
  5. 준비도 평가 (Readiness Assessment): 다음 단계에 필요한 올바른 상태에 객체가 있는지 판단합니다.

2. 객체 중심 지도 미세 조정 (SFT)

식별된 추론 격차를 해결하기 위해 저자들은 행동 관련 객체의 역동적 진화에 모델이 명시적으로 주의를 기울이도록 장려하는 SFT 프레임워크를 제안합니다.

• 가짜 레이블 구성: 수동 주석 대신 프레임워크는 VLM 을 사용하여 QA 쌍에서 핵심 객체 구를 추출한 후, 객체 감지 모델을 사용하여 비디오 프레임 내에서 이를 국소화합니다. 이를 통해 다음을 생성합니다:
  • 소프트 패치 수준 마스크 (Soft Patch-level Masks): 이미지 패치와 감지된 객체 간의 중첩을 나타내는 공간적 감독.
  • 객체 존재 지표 (Object Presence Indicators): 관련 객체가 포함된 프레임을 나타내는 시간적 감독.
• 학습 목표: 표준 생성 손실 ($L_{gen}$) 에 두 가지 보조 제약이 추가됩니다:
  • 공간 제약 ($L_{spl}$): 모델이 지원 객체와 중첩되는 이미지 패치에 집중하도록 장려합니다.
  • 시간 제약 ($L_{tmp}$): 모델이 주요 객체 역학이 발생하는 특정 프레임에 집중하도록 장려합니다.
• 추론: 효율성을 유지하기 위해 추론 시 보조 헤드를 제거하여 학습된 객체 중심 시각 표현을 가진 모델을 남깁니다.

주요 결과

1. 답변 - 기반 격차 (Answering-Grounding Gap)

13 개의 주요 다중 모달 대규모 언어 모델 (MLLM) 을 벤치마크한 결과 상당한 불일치가 드러났습니다:

• 합리적인 답변, 열악한 기반: 모델은 개방형 질문 답변에서 (언어적 사전 지식에 의존하여) 합리적인 점수를 얻었지만, 지원 시간적 증거를 국소화하는 데 실패했습니다.
• 낮은 기반 성능: 모든 모델에서 시간적 기반에 대한 평균 교차율 (mIoU) 은 대규모 독점 및 오픈 소스 모델을 포함하여 일관되게 45% 미만으로 유지되었습니다.
• 맹목적인 LLM 성능: 비디오 입력 없이 언어 전용 모델 (예: GPT-5.4-Mini) 이 경쟁력 있는 답변 점수 (LLM-as-Judge 점수 약 3.14) 를 달성하여 현재 모델이 종종 시각적 증거를 우회함을 확인시켰습니다.

2. 객체 중심 SFT 의 영향

제안된 객체 중심 SFT 프레임워크로 미세 조정된 모델 (Qwen3-VL-4B) 은 상당한 개선을 보여주었습니다:

• 벤치마크 성능: 대부분의 지표에서 가장 높은 성능을 달성하여 답변 및 기반 정확도 모두에서 훨씬 더 큰 베이스라인 (예: 38B 파라미터 모델) 을 능가했습니다.
• 일반화:
  • VideoQA: 미세 조정된 모델은 해당 데이터셋에 특별히 미세 조정된 모델보다 우수한 성능을 보이며 MultiHop-EgoQA벤치마크에 제로샷 (zero-shot) 설정으로 효과적으로 전이되었습니다.
  • 구현 계획 (Embodied Planning): ALFRED프레임워크에서 제로샷 플래너로 통합되었을 때, 미세 조정된 모델은 제로샷 베이스라인 대비 성공률 (SR) 및 목표 조건부 (GC) 점수를 향상시켜 객체 중심 추론이 구현 작업 수행을 돕는다는 것을 나타냈습니다.

중요성과 주장

이 논문은 PROCOBJECT-10K가 현재 MLLM 이 세밀한 객체 역학 대신 언어적 사전 지식에 의존한다는 점을 드러내는 중요한 진단 도구 역할을 한다고 주장합니다. 저자들은 다음과 같이 논합니다:

1. 절차적 이해는 객체 중심 추론을 필요로 합니다: 행동 시퀀스만으로는 부족하며, 객체 상태 전이의 인과적 의존성을 이해하는 것이 절차적 작업을 지원하는 지능형 시스템에 필수적입니다.
2. 명시적 감독이 필요합니다: 제안된 SFT 프레임워크는 (가짜 레이블 및 공간 - 시간적 제약을 통해) 객체 상태 역학에 대해 모델을 명시적으로 감독하는 것이 답변 - 기반 격차를 해소하는 효과적인 전략임을 보여줍니다.
3. 전이 가능성: 이 벤치마크에서 학습된 객체 중심 표현은 데이터셋 자체로 제한되지 않고 다른 기반 VideoQA 작업 및 구현 계획 시나리오로 일반화되어, AI 의 절차적 이해에 대한 더 넓은 가치를 시사합니다.

저자들은 PROCOBJECT-10K 가 객체 중심 절차적 추론, 구현 에이전트와의 긴밀한 통합, 그리고 물리적 상태 전이를 더 잘 이해하는 세계 모델 개발에 대한 향후 연구를 촉발하는 것을 목표로 한다고 결론지었습니다.