Perception Test 2025: Challenge Summary and a Unified VQA Extension

"Perception Test 2025: Challenge Summary and a Unified VQA Extension" 논문에 대한 상세한 기술적 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 대규모 멀티모달 모델 (LMM) 의 급속한 진화와 전문화된 단일 작업 모델을 넘어선 능력 평가의 필요성을 다룹니다. 이전 버전의 Perception Test 는 객체 추적, 포인트 추적, 액션 로컬라이제이션과 같은 별도의 트랙에서 모델들을 평가했으나, 현재 분야는 **통합 지각 (Unified Perception)**으로 전환되었습니다.

핵심 문제는 현재 최첨단 (SOTA) 모델들이 작업별 전용 모델이 포함된 엔지니어링 파이프라인에 의존하는 대신, 단일 통합 인터페이스(구체적으로는 언어 기반 인터페이스) 를 통해 추적, 로컬라이제이션, 추론과 같은 다양하고 복잡한 시공간 지각 작업을 처리할 수 있는지 여부입니다. 2025 년 챌린지는 작업별 미세 조정이나 아키텍처 변경 없이 모델들이 이러한 작업들 간에 일반화할 수 있는지 테스트하는 것을 목표로 했습니다.

2. 방법론 및 챌린지 구성

이 챌린지는 ICCV 2025 와 병행하여 워크숍 형태로 개최되었으며, eval.ai 플랫폼을 활용했습니다. 분리된 작업에서 통합된 접근 방식으로 전환하는 5 개의 통합 트랙을 특징으로 합니다:

A. 통합 작업 트랙 (언어 인터페이스 없음)

이 트랙들은 단일 모델이 두 가지 다른 작업을 동시에 해결하도록 요구했습니다:

1. 통합 객체 및 포인트 추적: 모델은 비디오 프레임 전반에 걸쳐 경계 상자 (객체) 와 특정 2D 점 (포인트) 을 모두 추적하며 가려짐을 처리해야 합니다.
   • 지표: 평균 자카드 (AJ). 포인트 AJ(TAP-Vid) 와 객체 AJ(IoU) 의 평균.
2. 통합 액션 및 사운드 시간적 로컬라이제이션: 모델은 비디오 내에서 시각적 액션과 청각적 이벤트를 모두 식별하고 로컬라이제이션해야 합니다.
   • 지표: 액션 및 사운드 클래스 전반의 평균 정밀도 (mAP).

B. 통합 VQA 트랙 (언어 인터페이스)

이 트랙들은 자연어 쿼리를 사용하여 지각을 테스트했으며, 새로운 확장을 포함했습니다:
3. 통합 다중 선택형 비디오 QA(mc-VQA): 올해의 핵심 혁신입니다.
* 참신성: 기존의 비언어적 작업 (포인트 추적, 시간적 액션 로컬라이제이션) 이 다중 선택형 질문으로 재구성되었습니다.
* 기술: 저자들은 시각적 인페인팅(예: 컬러 바, 점멸 표시기) 과 시간 마커를 사용하여 공간/시간 쿼리를 비디오 스트림에 직접 고정시켰습니다. 이를 통해 VLM 은 복잡한 디코더 없이도 작업 요구사항을 "볼" 수 있습니다.
* 새로운 질문 유형:
* 포인트 추적: "초록색 점멸" 후 방해 요소들 사이에서 특정 표면 포인트를 식별.
* 액션 순서: 올바른 액션 순서를 식별.
* 객체 - 액션 상호작용: 특정 시간 구간에서 관여된 객체를 식별.
* 가상 액션: 액션이 "가짜"이거나 잘못된 구간을 식별.
* 데이터셋: 단축 학습을 완화하기 위해 기존 11,528 개의 3 선택형 질문에서 1,842 개의 새로운 5 선택형 질문을 포함하도록 확장되었습니다.
4. Grounded Video QA: 모델은 비디오 전체에 걸쳐 답변을 나타내는 특정 객체 (들) 를 추적하여 질문에 답변합니다.
* 지표: HOTA(Higher Order Tracking Accuracy).
5. 1 시간 이상 비디오 QA: 모델은 장기 기억과 추론을 테스트하기 위해 1 시간 이상의 매우 긴 비디오에 대한 질문에 답변합니다.
* 지표: Top-1 정확도.

평가 프로토콜:

• 단계: 검증 (무제한 제출) 및 테스트 (30 회 제출로 제한).
• 제약 조건: 결합 트랙의 경우, 모델은 두 작업을 동시에 해결해야 했습니다. 순차적 미세 조정 (예: 객체 추적 훈련 후 포인트 추적 훈련) 은 허용되지 않았습니다.
• 모드: 참가자들은 미세 조정, 퓨샷 (few-shot), 또는 제로샷 (zero-shot) 평가를 사용했는지 명시했습니다.

3. 주요 기여

• 통합 벤치마킹: 추적, 로컬라이제이션과 같이 이전에 분리되었던 작업을 성공적으로 통합 트랙으로 병합하여, 커뮤니티가 앙상블 파이프라인이 아닌 범용 모델 개발을 하도록 강제했습니다.
• 통합 mc-VQA 확장: 시각적 인페인팅을 사용하여 추적, 로컬라이제이션과 같은 복잡한 시공간 작업을 다중 선택형 VQA 질문으로 재구성하는 새로운 프레임워크를 도입했습니다. 이는 시각적 지각과 언어 추론 간의 간극을 메웁니다.
• 종합적 평가: 100 개 이상의 팀으로부터 450 개의 제출물을 평가하여 Gemini, GPT-4V, Qwen, Llama 3-V 등 SOTA 모델들을 인간 기준선과 비교하는 견고한 비교를 제공했습니다.
• 장기 컨텍스트 분석: 1 시간 이상 비디오를 위한 전용 트랙을 포함하여 현재 컨텍스트 윈도우와 시간적 추론의 한계를 확장했습니다.

4. 결과

결과들은 언어 인터페이스의 유무에 따른 성능 차이를 강조합니다:

• 언어 인터페이스가 있는 트랙 (중대한 진전):

  • Grounded Video QA: 2024 년 대비 성능이 거의 2 배 증가했습니다. 최상위 모델 (SGVR@KAIST) 은 0.057 의 기준선에 비해 0.499 HOTA를 달성했습니다. 이는 모델들이 이제 시각적 스트림에 언어를 효과적으로 고정하고 있음을 나타냅니다.
  • 1 시간 이상 비디오 QA: 최상위 모델들은 0.780 정확도를 달성했습니다 (무작위 기준선 0.203 대비), 이는 긴 형식의 콘텐츠를 처리하는 강력한 능력을 보여줍니다.
  • 통합 mc-VQA: 최상위 제로샷 모델은 기존 세트에서 81.2% 정확도를, 새로운 더 어려운 5 선택형 세트에서는 **65.4%**를 달성했습니다.
  • 관찰: 모델들은 언어 기반 작업에서 인간 기준선에 빠르게 접근하고 있습니다.

• 언어 인터페이스가 없는 트랙 (정체/미미한 증가):

  • 통합 객체 및 포인트 추적: 최상위 통합 모델은 0.62 AJ를 달성했으나, 2024 년 최고의 전문 모델들의 평균 (포인트 0.47, 객체 0.81) 을 초과하지는 못했습니다.
  • 통합 액션 및 사운드 로컬라이제이션: 최상위 모델은 0.52 mAP를 달성하여 이전 전문 우승자와 유사했습니다.
  • 관찰: 멀티태스크 모델은 능력을 갖추고 있지만, 언어 인터페이스가 부재할 때 전문화된 단일 작업 파이프라인을 능가하는 데 어려움을 겪습니다.

• 모델 성능:

  • 제로샷 vs. 미세 조정: 최상위 결과는 미세 조정된 앙상블 (예: Qwen-2.5VL + GLM-4.5V) 과 정교한 제로샷 접근법 (예: Seed 1.6 Vision + Qwen-VL-Max) 모두에서 달성되었습니다.
  • 인간 기준선: 인간은 mc-VQA 작업에서 **91.4%**를 기록한 반면, 최상위 모델들은 약 82% 에 도달하여 추론 측면에서 여전히 격차가 있음을 나타냅니다.

5. 의의

Perception Test 2025 는 범용 지각 모델 개발에서 중요한 이정표 역할을 합니다:

1. 통합 인터페이스의 검증: 이 챌린지는 언어 인터페이스가 복잡한 지각 작업의 성능을 크게 향상시킨다는 것을 입증하여, 범용 지각을 위한 선호 아키텍처로서 VLM 이 부상하고 있음을 시사합니다.
2. 병목 현상 식별: 비언어 통합 트랙 (추적/로컬라이제이션) 의 정체는 현재 모델들이 자연어라는 발판 없이 다양한 시각 작업을 통합하는 데 여전히 어려움을 겪고 있음을 보여줍니다.
3. 미래 방향: 결과는 멀티모달 모델의 다음 전선이 단순히 확장 (scaling) 이 아니라, 명시적 언어 프롬프트에 의존하지 않는 작업에서 인간 수준의 성능을 달성하기 위한 시공간 추론과 장기 컨텍스트 이해의 개선에 있음을 시사합니다.
4. 벤치마크 진화: "통합 mc-VQA" 하위 집합을 도입함으로써 저자들은 표준 VQA 지표를 사용하여 추적 및 로컬라이제이션 능력을 평가하는 확장 가능한 방법을 제공하여 향후 연구를 위한 평가 파이프라인을 단순화했습니다.

결론적으로, LMM 은 언어 기반 지각 (Grounded QA 에서 성능 2 배 증가) 에서 인상적인 진전을 이루었지만, 이 챌린지는 통합적이고 비언어적인 방식으로 다양한 시각 작업을 처리할 수 있는 진정한 "범용 지각"은 여전히 열려 있고 어려운 문제임을 강조합니다.