LVOmniBench: Pioneering Long Audio-Video Understanding Evaluation for Omnimodal LLMs

이 논문은 기존 평가의 한계를 극복하기 위해 10 분에서 90 분 길이의 오디오 - 비디오 콘텐츠와 1,014 개의 질문 - 답변 쌍으로 구성된 새로운 벤치마크 'LVOmniBench'를 소개하고, 이를 통해 현재 옴니모달 LLM 들이 장기간의 오디오 - 비디오 입력 처리에서 심각한 어려움을 겪고 있음을 실증했습니다.

핵심

1. 왜 이 시험이 필요할까요? (기존의 문제점)

지금까지 AI 를 평가할 때는 주로 10 초~5 분짜리 짧은 영상을 사용했습니다. 마치 **"초콜릿 한 조각을 맛보고 요리사 실력을 평가한다"**는 것과 비슷하죠.

하지만 실제 우리 삶은 어떨까요?

• 여행 브이로그, 강의, 다큐멘터리, 영화 등 30 분에서 1 시간 이상 이어지는 영상이 대부분입니다.
• 이런 긴 영상에서는 소리와 화면이 복잡하게 얽혀 있고, 1 시간 전의 소리를 기억해야 1 시간 뒤의 상황을 이해할 수 있기도 합니다.

기존의 짧은 시험지로는 AI 가 긴 영상을 얼마나 잘 이해하는지 알 수 없었습니다. 그래서 연구팀은 **"긴 영상과 소리를 동시에 이해하는 능력"**을 제대로 측정할 새로운 시험지를 만들었습니다.

2. LVOmniBench 는 어떤 시험지인가요?

이 시험지는 다음과 같은 특징을 가집니다:

• 긴 호흡의 시험: 영상 길이가 10 분에서 90 분까지 다양합니다. (기존 시험지보다 평균 길이가 6 배 이상 깁니다!)
• 정성적인 문제: 단순히 "화면에 고양이가 있나요?" 같은 쉬운 문제가 아니라, **"30 분 전 남자가 언급한 '토비'라는 개가 마당에 몇 번 나타났나요?"**처럼 소리와 화면을 모두 기억하고 추론해야 하는 복잡한 문제들입니다.
• 수작업으로 만든 문제: AI 가 자동으로 문제를 내면 헛소리 (할루시네이션) 를 할 수 있으니, 인간 전문가들이 직접 영상을 보고 정성껏 문제를 만들었습니다. 총 275 개의 영상과 1,014 개의 질문이 있습니다.

3. 시험 결과는 어땠나요? (현실적인 충격)

이 시험지를 최신 AI 모델들에게 풀어보게 했더니 결과는 꽤 충격적이었습니다.

• 최고급 AI (구글 Gemini 3 Pro): 가장 잘한 모델이 **약 65%**를 맞았습니다. 이는 "꽤 잘한다"는 뜻이지만, 여전히 35% 는 틀린 것입니다. 긴 영상 속 숨겨진 단서를 찾는 데는 여전히 고전하고 있습니다.
• 오픈소스 AI (일반인도 쓸 수 있는 모델): 대부분의 모델이 35% 미만의 점수를 받았습니다. 이는 무작위로 찍는 것 (랜덤 추측) 과 큰 차이가 없는 수준입니다.
• 핵심 결론: 현재 AI 는 짧은 영상은 잘 보지만, 긴 영상과 소리를 동시에 이해하는 능력은 여전히 매우 부족합니다. 특히 음악 소리를 이해하거나, 시간 순서대로 사건을 기억하는 데서 큰 어려움을 겪었습니다.

4. AI 가 왜 힘들어할까요? (오류 분석)

연구팀은 AI 가 틀린 이유를 분석했는데, 다음과 같은 '실수'들이 많았습니다:

• 귀와 눈의 불일치: 소리는 들었는데 화면을 못 보거나, 화면은 봤는데 소리를 무시하는 경우가 많았습니다. (예: 소리가 "이건 빨간색이야"라고 하는데 화면엔 파란색이 보이면 AI 는 혼란을 겪습니다.)
• 기억력 부족: 10 분 전에 들은 소리를 30 분 뒤에 기억하지 못해 정답을 못 찾았습니다.
• 추론 실패: "남자가 웃고 있으니 기분이 좋겠지" 같은 단순한 감정은 알지만, "소리와 화면을 연결해서 복잡한 논리를 펼치는 것"은 아직 어렵습니다.

5. 이 연구의 의미는 무엇인가요?

이 논문은 **"지금까지의 AI 는 긴 영상 이해에 아직 초보 수준이다"**라고 정직하게 지적했습니다.

• 새로운 기준: 앞으로 AI 개발자들은 이 'LVOmniBench'라는 시험지를 기준으로 긴 영상 이해 능력을 향상시켜야 합니다.
• 미래의 AI: 이 시험지를 통과할 수 있는 AI 가 나오면, 우리는 AI 에게 "지난달에 내가 본 여행 영상에서 내가 먹었던 음식이 뭐였지?"라고 물어볼 수 있게 될 것입니다.

요약

이 논문은 **"AI 가 짧은 영상은 잘 보지만, 긴 영화나 강의처럼 길고 복잡한 영상은 아직 잘 못 본다"**는 사실을 새로운 시험지를 통해 증명했습니다. 이제 AI 개발자들은 이 '긴 호흡'의 능력을 키우는 데 집중해야 할 시기가 왔습니다.

기술 요약

1. 문제 제기 (Problem Statement)

최근 옴니모달 대규모 언어 모델 (OmniLLMs) 은 텍스트, 이미지, 오디오, 비디오를 통합적으로 이해하는 능력을 크게 향상시켰습니다. 그러나 기존 벤치마크와 평가 체계는 다음과 같은 한계를 가지고 있습니다.

• 짧은 콘텐츠 중심: 대부분의 기존 평가는 10 초에서 5 분 이내의 짧은 오디오/비디오 클립에 국한되어 있습니다.
• 실제 적용과의 괴리: 실제 세계의 응용 프로그램 (예: 다큐멘터리, 강의, 장편 영상) 은 수십 분에서 1 시간 이상의 긴 형식 (Long-form) 을 갖습니다.
• 평가 부족: 긴 형식의 오디오 - 비디오 콘텐츠에 대한 통합적 이해 (Cross-modal comprehension) 를 평가할 수 있는 체계적인 벤치마크가 부재하여, 모델의 장기 기억, 시간적 국소화, 세밀한 이해 능력을 검증하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 LVOmniBench를 개발했습니다. 이는 긴 형식의 오디오 - 비디오 이해를 평가하기 위해 설계된 최초의 포괄적인 벤치마크입니다.

A. 데이터셋 구성 (Dataset Construction)

• 소스 및 라이선스: 유튜브에서 크리에이티브 커먼즈 (CC) 라이선스를 준수하는 동영상을 수집하여 저작권 문제를 해결하고 오픈소스화했습니다.
• 선정 기준: 21 개의 세부 카테고리 (생활, 요리, 엔터테인먼트, 기록, 영화/TV 등) 로 분류된 275 개의 고품질 장편 동영상을 엄격하게 선별했습니다.
• 영상 특성:
  • 길이: 10 분에서 90 분 사이 (평균 약 34 분 29 초). 기존 벤치마크보다 6 배 이상 긴 평균 길이를 가집니다.
  • 총량: 총 140 시간 분량의 영상.
  • 다양성: 풍부한 오디오 - 비디오 역동성 (대화, 음악, 환경음 등) 을 포함하도록 설계되었습니다.

B. 질문 및 주석 (Question Annotation)

• 수동 제작: 1,014 개의 고품질 객관식 질문 (4 지 선다형) 을 인간 전문가가 수동으로 작성했습니다.
• 질문 유형:
  • 지각 (Perception): 사물 속성, 개수 세기, 음악 인식 등.
  • 이해 (Understanding): 인물 식별, 행동 인식, 감정 파악 등.
  • 추론 (Inference): 공간적/시간적/소리 추론.
  • 논리 (Logical): 다단계 추론, 인과 관계 추적 등.
• 난이도分级: 각 질문을 저 (Low), 중 (Medium), 고 (High) 난이도로 분류하여 계층적 평가를 가능하게 했습니다.
• 품질 관리:
  • 단일 모달리티 (오디오만, 비디오만, 텍스트만) 로 답할 수 있는 질문은 제거하여 '오디오 - 비디오 통합 추론'을 필수화했습니다.
  • LLM 을 활용한 자동 생성의 환각 (Hallucination) 문제를 방지하기 위해 인간 검수를 강화했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 긴 형식 오디오 - 비디오 벤치마크: 기존 벤치마크 (평균 235 초) 대비 평균 2,069 초 (약 34 분) 로, 시간적 규모가 6 배 이상 증가한 최초의 옴니모달 평가 세트를 제공합니다.
2. 엄격한 수동 큐레이션: 자동 생성이 아닌 인간 전문가에 의한 엄격한 선별과 주석을 통해 고품질 데이터를 보장합니다.
3. 계층적 평가 체계: 다양한 난이도와 질문 유형 (지각, 이해, 추론, 논리) 을 포함하여 모델의 능력을 다각도로 분석할 수 있는 프레임워크를 제시합니다.

4. 실험 결과 (Experimental Results)

저자들은 Gemini 3 Pro, Gemini 2.0 Flash, Ming-Omni, Qwen3-Omni, MiniCPM-o 등 주요 오픈소스 및 상용 모델을 LVOmniBench 에서 평가했습니다.

• 성능 격차:
  • 상용 모델 (Gemini 3 Pro): 최고 정확도 약 **65.8%**를 기록했으나, 여전히 난이도가 높은 질문에서는 45% 수준으로 떨어졌습니다.
  • 오픈소스 모델: 대부분의 오픈소스 모델이 35% 미만의 정확도를 보였습니다. 이는 무작위 추측 (25%) 보다 약간 나은 수준에 불과하며, 긴 형식 콘텐츠를 처리하는 데 심각한 한계가 있음을 보여줍니다.
• 모달리티 의존성:
  • 오디오 없이 비디오만 입력하거나, 텍스트 (ASR) 만 입력했을 때 성능이 급격히 저하되었습니다. 특히 오픈소스 모델은 오디오 정보를 효과적으로 활용하지 못해 ASR 텍스트로 대체했을 때 성능이 향상되기도 했습니다. 이는 모델이 원시 오디오의 비언어적 정보 (감정, 음색, 음악성) 를 이해하지 못함을 시사합니다.
• 오류 분석:
  • 지각 오류 (34%): 오디오와 비디오 정보의 오인식.
  • 위치 지정 오류 (19.6%): 긴 영상 내에서 사건이 발생한 정확한 시간 (Temporal Grounding) 을 찾지 못함.
  • 교차 모달리티 의미 간극 (19%): 오디오와 비디오 정보를 분리하여 처리하거나, 한쪽 모달리티에 편향되어 정보를 통합하지 못함.
  • 추론 오류 (23.5%): 복잡한 논리적 추론 및 공간적 관계 파악 실패.

5. 의의 및 결론 (Significance & Conclusion)

• 현실적 평가 기준 제시: 실제 세계의 긴 형식 비디오 이해 능력을 평가할 수 있는 표준 벤치마크를 제공함으로써, OmniLLM 연구의 방향성을 제시했습니다.
• 차별화된 통찰: 상용 모델과 오픈소스 모델 간의 큰 성능 차이를 드러내어, 오픈소스 모델의 장기 컨텍스트 처리 및 오디오 - 비디오 정렬 (Alignment) 기술의 개선 필요성을 강조했습니다.
• 미래 연구 방향:
  • 긴 오디오 시퀀스 모델링의 한계 극복.
  • 비언어적 오디오 신호 (음악, 감정 등) 에 대한 이해도 향상.
  • 오디오와 비디오의 정밀한 시간적 정렬 및 교차 모달리티 추론 능력 강화.

결론적으로, LVOmniBench는 옴니모달 모델이 단순한 짧은 클립 이해를 넘어, 실제 세계의 복잡한 장편 오디오 - 비디오 콘텐츠를 통합적으로 이해하고 추론할 수 있는 능력을 검증하는 핵심 도구로 자리 잡을 것으로 기대됩니다.