PerceptionComp: A Video Benchmark for Complex Perception-Centric Reasoning

이 논문은 객체, 속성, 관계, 위치, 행동, 사건 등 다양한 지각 하위 작업과 시공간 추론을 요구하는 복잡한 장기 비디오 추론을 평가하기 위해 100% 수동으로 주석된 새로운 벤치마크 'PerceptionComp'를 소개하고, 현재 최첨단 멀티모달 모델들이 이 벤치마크에서 기존 벤치마크에 비해 현저히 낮은 성능을 보이며 여전히 지각 중심 추론의 병목 현상이 존재함을 입증합니다.

핵심

1. 기존 테스트 vs. 새로운 테스트: "단순한 퀴즈" vs. "미스터리 수사"

기존의 AI 테스트들은 어때요?
기존 테스트들은 마치 **"한 번만 보면 바로 답이 나오는 쉬운 퀴즈"**와 같습니다.

• 비유: 친구가 "저기 빨간 차 보이나요?"라고 물으면, AI 는 영상을 한 번 스쳐 지나가도 "네, 빨간 차가 있어요"라고 바로 답합니다.
• 문제점: AI 가 진짜로 영상을 깊이 이해하고 있는지, 아니면 그냥 표면적인 것만 보고 대충 맞추는 건지 구별하기 어렵습니다.

PerceptionComp 는 어떨까요?
이 새로운 테스트는 **"수사관이 사건을 해결하는 과정"**과 같습니다.

• 상황: "아파트 열쇠를 떨어뜨리기 직전에, 그 사람이 마지막에 몇 층에 있었나요? (단, 사무실 열쇠가 아닌 아파트 열쇠여야 합니다!)"
• 요구사항:
  1. 영상 전체를 훑어봐야 합니다.
  2. '사무실 열쇠'와 '아파트 열쇠'를 구분해야 합니다. (구분 능력)
  3. 열쇠를 떨어뜨린 순간을 찾아야 합니다. (시간적 추적)
  4. 그 순간 바로 전까지 그 사람이 어디에 있었는지 기억해야 합니다. (공간적 추론)
  5. 이 모든 정보를 연결해야만 정답을 낼 수 있습니다.
• 핵심: 한 번만 보면 절대 답을 못 냅니다. 영상을 여러 번 되감아 보고, 조각난 단서들을 맞춰야만 해결됩니다.

2. 왜 이 테스트를 만들었나요? (인간 vs. AI 의 차이)

연구진들은 이 테스트를 만들 때 인간을 기준으로 삼았습니다.

• 인간의 반응:

  • 영상을 한 번만 보고 답을 내게 하면, 인간도 거의 무작위 추측 수준 (약 19%) 으로 떨어집니다. 너무 복잡해서 기억해 낼 수 없기 때문입니다.
  • 하지만 시간을 주고, 필요하면 영상을 여러 번 되감아 볼 수 있게 하면, 인간은 100% 정답을 맞춥니다.
  • 교훈: 인간은 복잡한 영상을 볼 때, 단서를 모으기 위해 반복적으로 보고 생각합니다.

• AI 의 반응 (현재 상황):

  • 최신 AI 모델들 (Gemini, GPT-o3 등) 도 이 테스트에서 40~46% 정도만 맞췄습니다.
  • 인간이 100% 를 찍는 반면, AI 는 여전히 40% 대에 머물러 있습니다.
  • 결론: AI 는 영상을 '보는' 능력은 좋지만, 시간이 흐르는 동안 단서를 모으고 연결하는 '추리 능력'이 아직 부족합니다.

3. AI 가 왜 실패할까요? (고통받는 이유)

이 테스트에서 AI 들이 주로 겪는 실패 패턴은 다음과 같습니다.

1. 단서 놓치기: "노란색 음식 트럭"을 찾아야 하는데, "파란색 트럭"에 집중하다가 길을 잃습니다.
2. 공간 감각 실수: "오른쪽에 있는 SUV"라고 했는데, AI 는 "왼쪽"을 보거나, 트럭과 SUV 의 위치 관계를 헷갈려 합니다.
3. 연결 고리 끊어지기: 1 단계에서 대상을 찾았는데, 2 단계로 넘어가면서 "아, 이 대상이 아니었구나" 하고 헷갈려 하거나, 아예 처음부터 잘못된 가정을 하고 논리를 이어갑니다.

비유하자면:
AI 는 기억력이 좋은 학생이지만, 복잡한 미로에서 지도를 보며 길을 찾는 능력이 부족합니다. 한 번에 모든 길을 외우려다 보니, 중간에 길을 잃고 엉뚱한 곳으로 빠져나갑니다.

4. 해결책은 있을까요? (생각할 시간을 더 주면?)

연구진은 AI 에게 **더 많은 계산 시간 (생각할 시간)**과 **더 많은 프레임 (영상의 순간순간)**을 주면 어떨지 실험해 봤습니다.

• 결과: 생각할 시간을 더 주거나, 더 많은 장면을 보여주면 점수가 조금씩 올라갑니다.
• 하지만: 여전히 인간 수준 (100%) 에는 훨씬 못 미칩니다.
• 의미: 단순히 "더 많이 생각하게" 하는 것만으로는 부족하며, 영상의 복잡한 시각적 정보를 반복적으로 확인하고 연결하는 능력 자체가 AI 의 약점이라는 것을 보여줍니다.

5. 요약: 이 연구가 우리에게 주는 메시지

이 논문은 **"PerceptionComp"**라는 새로운 시험지를 통해 다음과 같은 사실을 알려줍니다.

"지금까지의 AI 는 영상을 '보는' 데는 능숙하지만, 긴 시간 동안 흩어진 단서들을 모아 복잡한 사건을 추리하는 능력에서는 아직 인간과 큰 차이가 납니다. 우리는 AI 가 단순히 영상을 재생하는 것을 넘어, 수사관처럼 반복적으로 보고, 연결하고, 추론하는 능력을 키울 수 있도록 이 테스트를 개발했습니다."

이 테스트는 앞으로 더 똑똑한 AI 가 개발될 때, **"진짜로 영상을 이해하는가?"**를 판단하는 중요한 기준이 될 것입니다.

기술 요약

1. 문제 정의 (Problem)

기존의 비디오 이해 (Video Understanding) 벤치마크는 다음과 같은 한계로 인해 복잡한 멀티모달 추론 능력을 제대로 평가하지 못합니다.

• 단일 시점 의존성: 많은 기존 벤치마크 (VideoMME, Perception Test 등) 는 시각적 정보가 단순하거나, 한 번의 시청으로 답을 유추할 수 있어 '테스트 타임 추론 (Test-time reasoning)' 능력을 측정하기 어렵습니다.
• 논리 vs 지각의 불균형: 추론이 필요한 벤치마크 (기하학, 미로 찾기 등) 는 시각적 입력이 단순하거나 합성된 경우가 많아, 실제 세계의 복잡한 지각 (Perception) 능력을 평가하지 못합니다.
• 장기적 기억의 한계: 긴 비디오 벤치마크는 주로 '기억 (Memory)'에 초점을 맞추지만, 분산된 시각적 증거를 반복적으로 수집하고 조합하는 '지각 중심 추론 (Perception-centric reasoning)' 능력을 평가하지는 못합니다.

따라서, 단일 순간의 정보로는 해결 불가능하며, 시간적으로 분리된 여러 구간의 시각적 증거를 반복적으로 수집하고 조합 (Composition) 하여 답을 도출해야 하는 복잡한 비디오 추론 벤치마크가 필요했습니다.

2. 방법론 (Methodology)

저자들은 PerceptionComp이라는 새로운 벤치마크를 제안하였으며, 이는 다음과 같은 설계 원칙과 프로세스를 따릅니다.

A. 데이터 구성 및 비디오 선정

• 비디오 소스: 도시 산책, 쇼핑몰, 스포츠 경기, 실내 투어, 예능, 영화 클립, 게임 라이브 스트리밍 등 7 가지 분야의 279 개의 고난이도 비디오를 선정했습니다.
• 복잡성 측정: SAM2(객체 인스턴스 수) 와 광학 흐름 (Optical Flow) 크기를 자동 지표로 사용하여 장면의 복잡성 (객체 밀도, 운동 강도, 장면 전환 빈도) 이 높은 비디오를 선별했습니다.
• 길이: 2 분에서 10 분 사이의 비디오를 사용하며, 단순히 길이가 긴 것뿐만 아니라 동적인 장면 복잡성을 강조합니다.

B. 질문 설계 (Question Design)

• 구성적 복잡성 (Compositional Complexity): 각 질문은 여러 개의 **서브 조건 (Sub-conditions)**을 결합하여 구성됩니다.
  • 연결 (Conjunctive): 모든 조건이 동일한 대상에 적용되어야 함 (AND 논리).
  • 순차적 (Sequential): 이전 단계에서 식별된 개체나 상태를 기반으로 후속 단계가 수행됨.
• 필요한 능력: 의미론적 인식 (Semantic recognition), 시각적 대응 (Visual correspondence), 시간적 추론 (Temporal reasoning), 공간적 추론 (Spatial reasoning) 등을 종합적으로 요구합니다.
• 형식: 5 지선다형 (MCQ) 으로 구성되며, 오답 (Distractor) 들은 정답과 유사한 범주에서 선정되어 언어적 편향 (Language prior) 을 배제합니다.

C. 어노테이션 프로세스

• 완전 수동 어노테이션: 각 질문은 10~20 분의 작업 시간이 소요되며, 1,114 개의 질문이 생성되었습니다.
• 검증: 각 질문은 최소 1 명의 추가 어노테이터가 검증하여, (1) 정답이 비디오에 의해 유일하게 결정되는지, (2) 모든 서브 조건이 필수적인지 확인합니다.
• 난이도 등급: 서브 조건의 수와 난이도에 따라 Level 1~3 으로 분류됩니다.

3. 주요 기여 (Key Contributions)

1. PerceptionComp 벤치마크 출시: 시간적으로 분산된 증거를 반복적으로 수집하고 조합해야만 해결 가능한, **지각 중심의 장기적 추론 (Long-horizon, perception-centric reasoning)**을 평가하는 최초의 벤치마크입니다.
2. 인간 성능 기준 설정:
   • 단일 시청 (Single-view): 인간도 한 번만 보고 답할 경우 무작위 추측 수준 (18.97%) 으로 떨어집니다.
   • 무제한 재시청 (Unrestricted rewatch): 충분한 시간과 재시청이 허용될 경우 인간은 100% 정확도를 달성합니다. 이는 벤치마크가 단순한 기억력이 아닌, 반복적인 지각과 추론을 요구함을 입증합니다.
3. 최신 모델 평가 및 한계 규명:
   • 최첨단 상용 모델 (Gemini-3-Flash 등) 의 최고 정확도는 **45.96%**에 그쳤으며, 오픈소스 모델은 40% 미만입니다.
   • 추론 모델 (Thinking models) 이 일반 모델보다 성능이 좋지만, 여전히 인간 수준에는 미치지 못합니다.
4. 성능 분석 (Budget Analysis):
   • 입력 프레임 수 증가: 더 많은 프레임을 입력하면 정확도가 선형적으로 향상되어, 이 벤치마크가 희소한 샘플링이 아닌 풍부한 시각적 증거 수집을 요구함을 보여줍니다.
   • 생각 토큰 (Thinking Token) 예산 증가: 추론 토큰을 늘리면 성능이 향상되지만, 여전히 지각적 오류가 추론 체인의 붕괴를 유발합니다.

4. 실험 결과 (Results)

• 모델 성능:
  • Best Model: Gemini-3-Flash (45.96%).
  • Open-source: Qwen3-VL, InternVL 등 주요 오픈소스 모델은 30~40% 대의 정확도를 보였습니다.
  • Human Baseline: 제한 없는 재시청 시 100%, 단일 시청 시 18.97%.
• 난이도별 경향: 난이도가 높을수록 (Level 3) 모델의 성능이 급격히 하락합니다. 이는 중간 단계의 지각 오류가 추론 체인에 전파되어 최종 실패로 이어지기 때문입니다.
• 오류 패턴 분석:
  • 공간적 이해 부족: 중간 단계 (Step 2~3) 에서 공간적 관계 (좌/우, 전/후) 를 잘못 이해하는 경우가 가장 많았습니다.
  • 논리적 할루시네이션: 모델은 중간에 지각 정보를 잘못 해석하면, 이후의 추론이 논리적으로 일관되더라도 정답과 멀어지는 '전파 오류'를 보입니다.
  • Gemini-3 Pro vs Flash: 흥미롭게도 더 무거운 Pro 모델보다 경량화된 Flash 모델이 더 좋은 성능을 보였는데, 이는 Pro 모델이 불필요한 세부 사항에 집중하거나 과도한 추론으로 인해 할루시네이션을 유발하는 반면, Flash 는 핵심 논리 클루에 더 집중하는 '스트림라이닝 효과 (Streamlining effect)' 때문으로 분석되었습니다.

5. 의의 및 결론 (Significance)

• 진단 도구: PerceptionComp 는 현재 멀티모달 LLM 이 가진 지각 중심의 장기적 추론 능력의 병목 현상을 명확히 진단하는 도구입니다.
• 연구 방향 제시: 단순히 추론 토큰을 늘리는 것만으로는 해결되지 않으며, 시간적으로 분산된 시각적 증거를 반복적으로 수집하고 정확하게 통합하는 능력이 핵심 과제임을 보여줍니다.
• 미래 전망: 이 벤치마크는 로봇, AI 안경 등 실제 세계와 상호작용해야 하는 에이전트들의 비디오 이해 능력을 향상시키기 위한 중요한 테스트베드로서 역할을 할 것입니다.

요약하자면, PerceptionComp 는 "한 번의 시청으로는 해결할 수 없고, 복잡한 장면에서 시간과 공간을 넘나드는 시각적 단서를 반복적으로 찾아 조합해야만 답할 수 있는" 새로운难度的의 비디오 추론 벤치마크를 제시하며, 현재 AI 모델들이 이러한 고난이도 지각 - 추론 과제에서 여전히 인간과 큰 격차를 보이고 있음을 증명했습니다.