WorldSense: Evaluating Real-world Omnimodal Understanding for Multimodal LLMs

이 논문은 시각, 청각, 텍스트 입력을 동시에 평가하는 최초의 옴니모달 비디오 이해 벤치마크인 'WorldSense'를 소개하고, 이를 통해 기존 최첨단 모델들이 현실 세계 시나리오 이해에 여전히 큰 한계를 가지고 있음을 규명합니다.

핵심

🌍 월드센스 (WorldSense): AI 가 '실제 세상'을 얼마나 잘 이해하는지 테스트하는 새로운 시험지

이 논문은 인공지능 (AI) 이 책이나 영화처럼 **시각 (영상), 청각 (소리), 언어 (텍스트)**를 모두 합쳐서 현실 세계를 얼마나 잘 이해하는지 측정하는 새로운 기준을 제시합니다. 이를 **'월드센스 (WorldSense)'**라고 부릅니다.

기존의 AI 테스트들은 주로 "이 그림이 뭐야?"라고 묻는 식이었는데, 월드센스는 **"이 장면을 보고 소리를 듣고, 지금 무슨 일이 일어나고 있는지 설명해 줘"**라고 묻는 훨씬 더 복잡하고 현실적인 시험입니다.

---

🎬 1. 왜 이 시험이 필요한가요? (비유: 운전면허 시험)

생각해 보세요. 우리가 차를 운전할 때 무엇을 하나요?

• 눈 (시각): 신호등이 빨간지, 차가 오는지 봅니다.
• 귀 (청각): 사이렌 소리나 경적 소리를 듣습니다.
• 손/발 (촉각): 핸들의 진동이나 브레이크의 반응을 느낍니다.

이 모든 정보를 한순간에 합쳐서 "아, 저기 구급차가 오니까 길을 비켜야겠다"라고 판단합니다.

하지만 현재 대부분의 AI 는 눈만 뜨고 있는 상태입니다. 소리는 무시하거나, 소리가 있어도 그 의미를 제대로 연결하지 못합니다. 마치 귀를 막고 운전면허 시험을 보는 것과 비슷하죠. 그래서 AI 가 소리를 듣고 상황을 파악하는 능력을 제대로 평가할 수 있는 '월드센스'라는 새로운 시험지가 필요했던 것입니다.

📝 2. 월드센스 시험지는 어떤가요?

이 시험지는 다음과 같은 특징을 가지고 있습니다:

• 다양한 상황 (8 개 분야, 67 가지 세부 주제):
  일상생활, 영화, 스포츠, 음악, 과학 등 현실 세계의 다양한 상황을 담고 있습니다.
  • 예시: "이 남자가 손에 든 과일이 어떤 크기인지 보여주고 있나요?"라는 질문에서, 영상만 보면 그냥 과일을 들고 있는 것뿐이지만, 소리를 들어야 "파란색 딸기 (블루베리) 의 크기를 보여주고 있다"는 것을 알 수 있습니다.
• 정교한 문제 (3,172 개의 질문):
  단순히 "무슨 소리야?"가 아니라, "이 음악이 어떤 감정을 표현하고 있고, 그 배경에서 무슨 일이 벌어지고 있을까?"처럼 소리와 영상을 연결해서 추론해야 하는 문제들입니다.
• 엄격한 채점 (전문가 80 명):
  모든 문제는 전문가들이 직접 만들고, 여러 번 검수하여 AI 가 헷갈리지 않도록 정교하게 만들었습니다.

📉 3. AI 들의 시험 결과는 어땠나요? (현실적인 충격)

저자들은 최신 AI 모델들 (오픈소스 모델부터 구글, 오픈AI 의 최신 모델까지) 을 이 시험에 풀어보게 했습니다. 결과는 다소 충격적이었습니다.

• 오픈소스 모델들: 대부분의 오픈소스 AI 는 무작위 추측 (랜덤) 수준의 점수만 받았습니다. 소리와 영상을 동시에 처리할 수 있다고 하지만, 실제로는 두 정보를 잘 섞어내지 못했습니다.
• 최고급 상용 모델 (Gemini 2.5 Pro 등): 가장 잘한 모델도 **정답률 65.1%**에 그쳤습니다. 인간이라면 쉽게 이해할 수 있는 상황에서도 AI 는 여전히 실수를 많이 합니다.
• 가장 큰 문제: 소리가 없는 상태 (영상만) 와 소리가 있는 상태 (영상 + 소리) 를 비교했을 때, AI 는 소리를 추가해도 점수가 크게 오르지 않거나, 오히려 소리가 방해가 되어 점수가 떨어지기도 했습니다. 이는 AI 가 소리와 영상을 진짜로 '연결'하지 못하고 따로따로 처리하고 있다는 뜻입니다.

🔍 4. 왜 AI 는 소리를 못 알아듣나요? (실패 원인 분석)

연구진은 AI 가 왜 실패했는지 분석했습니다.

1. 귀가 먹먹함 (음성 이해 부족): AI 는 눈으로 보는 것 (영상) 은 잘 알아도, 소리의 뉘앙스 (감정, 리듬, 배경음) 를 이해하는 데 매우 서툴렀습니다.
2. 정보의 분리: 소리와 영상을 따로따로 보고, 마지막에 억지로 합치는 방식이라서, "이 소리가 이 장면에서 왜 나는지" 같은 **맥락 (Context)**을 놓칩니다.
3. 추론 능력 부족: 소리와 영상을 다 알아도, 이를 바탕으로 "아, 저 사람은 지금 기분이 슬프구나"라고 추론하는 단계에서 막힙니다.

🚀 5. 앞으로의 전망: AI 가 진짜 '현실'을 이해하려면?

이 연구는 AI 개발자들에게 중요한 메시지를 줍니다.

• 소리와 영상을 함께 배우게 하라: 소리와 영상을 따로 학습하는 게 아니라, 서로 밀접하게 연결된 데이터로 함께 가르쳐야 합니다.
• 깊은 연결 고리 만들기: 소리가 영상 속 어떤 장면과 어떻게 연결되는지 이해하는 '뇌' 구조를 바꿔야 합니다.
• 추론 능력 키우기: 단순히 "무슨 소리야?"를 넘어, "왜 그 소리가 나고, 그 소리가 어떤 의미를 갖는지"를 생각하게 해야 합니다.

💡 요약

월드센스는 AI 에게 **"너는 책만 읽는 게 아니라, 소리와 영상을 보고 현실 세계를 제대로 이해할 수 있니?"**라고 묻는 새로운 시험지입니다.

현재 AI 들은 이 시험에서 아직 초보 운전수 수준입니다. 소리를 무시하거나, 소리와 영상을 제대로 연결하지 못해 엉뚱한 답을 내놓습니다. 하지만 이 시험지를 통해 AI 가 소리와 영상을 자연스럽게 융합하여 진짜 인간처럼 세상을 이해하는 단계로 나아가는 중요한 발판이 될 것입니다.

기술 요약

1. 문제 제기 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLMs) 은 시각 (이미지/비디오) 과 텍스트 기반 작업에서 괄목할 만한 성과를 거두었습니다. 그러나 실제 세계의 복잡한 상황을 이해하기 위해서는 시각, 청각 (오디오), 텍스트가 유기적으로 결합된 '오미니모달 (Omnimodal)' 이해 능력이 필수적입니다.

기존 벤치마크들은 다음과 같은 한계를 가지고 있습니다:

• 모달리티의 부재: 대부분의 벤치마크가 시각 - 텍스트 쌍에 집중하여, 실제 환경에서 중요한 오디오 정보를 간과합니다.
• 약한 상관관계: 일부 오디오 - 비디오 벤치마크가 존재하지만, 정적 이미지 평가에 치중하거나 (OmniBench, AV-Odyssey), 단순한 캡션 생성 작업에 국한되거나, 오디오와 비디오 간의 긴밀한 상호작용 (시너지) 을 평가하지 못합니다.
• 실제 세계 이해의 부재: 복잡한 실제 시나리오 (예: 운전 중 경적 소리, 배경 음악의 분위기, 환경음 등) 를 종합적으로 이해하고 추론하는 능력을 평가할 수 있는 체계적인 기준이 부족합니다.

2. 방법론 (Methodology)

A. WorldSense 벤치마크 구축

이 논문은 실제 세계의 오미니모달 이해 능력을 평가하기 위해 WorldSense라는 새로운 벤치마크를 제안합니다.

• 데이터 구성:
  • 1,662 개의 동기화된 오디오 - 비디오 클립: FineVideo 및 MusicAVQA 등 공개 데이터셋에서 선별되었으며, 8 개의 주요 도메인 (기술/과학, 문화/정치, 일상생활, 영화/TV, 공연, 게임, 스포츠, 음악) 과 67 개의 세분화된 하위 카테고리로 구성됩니다.
  • 3,172 개의 객관식 질문 (QA) 쌍: 26 개의 다양한 인지 작업 (인지, 이해, 추론) 에 걸쳐 설계되었습니다.
• 설계 원칙:
  1. 오미니모달 통합 (Omni-modal Integration): 정답을 도출하기 위해 반드시 오디오와 비디오 두 모달리티의 결합이 필요한 질문을 설계했습니다. 한 모달리티만으로는 해결 불가능하도록 하여 모델의 통합 감각 이해 능력을 엄격하게 평가합니다.
  2. 다양한 콘텐츠: 스프치 (음성), 환경음, 음악 등 다양한 오디오 유형과 8 개 도메인을 아우르는 넓은 범위를 커버합니다.
  3. 고품질 주석: 80 명의 전문가 annotator 가 참여하여 다중 라운드 검토와 자동화 검증 (MLLM 활용) 을 통해 QA 의 정확성과 난이도를 보장했습니다.

B. 평가 프로토콜

• 모델 평가: 오픈소스 비디오 - 오디오 모델 (Unified-IO, VideoLLaMA2 등), 오픈소스 비디오 전용 모델 (Qwen2-VL, LLaVA-Video 등), 그리고 상용 모델 (GPT-4o, Gemini 2.5 Pro 등) 을 대상으로 평가했습니다.
• 절차: 비디오 프레임, 오디오 (또는 자막), 그리고 객관식 질문을 입력으로 주어 정답을 선택하도록 하고, 정확도 (Accuracy) 를 주요 지표로 사용했습니다.
• Ablation Study: 모델이 오디오, 비디오, 자막 등 단일 모달리티 또는 조합된 입력에 어떻게 반응하는지 분석하여 각 모달리티의 기여도를 측정했습니다.

3. 주요 기여 (Key Contributions)

1. 최초의 오미니모달 비디오 벤치마크: 시각, 청각, 텍스트가 긴밀하게 결합된 실제 세계 시나리오를 평가하는 최초의 포괄적인 벤치마크인 WorldSense 를 제안했습니다.
2. MLLM 성능의 한계 규명: 기존 모델들이 실제 세계의 오미니모달 추론에서 심각한 한계를 겪고 있음을 실증했습니다. 특히 오픈소스 오디오 - 비디오 모델들은 무작위 추측 수준 (약 25% 정확도) 의 성능을 보였습니다.
3. 심층 분석 및 통찰:
   • 오디오의 중요성: 원본 오디오 신호가 자막만으로는 포착할 수 없는 억양, 감정, 환경음 등의 정보를 제공하여 성능 향상에 결정적임을 입증했습니다.
   • 실패 사례 분석: 현재 모델들이 오디오 이해 부족, 모달리티 간 통합 실패, 복잡한 추론 능력 결여로 인해 오류를 범한다는 것을 구체적으로 분석했습니다.

4. 실험 결과 (Results)

• 전체 성능:

  • 최고 성능: 상용 모델인 Gemini 2.5 Pro가 **65.1%**의 정확도로 가장 높은 성능을 보였으나, 이는 여전히 실제 응용에 필요한 신뢰도에는 미치지 못합니다.
  • 오픈소스 모델의 부진: 오픈소스 비디오 - 오디오 모델들은 평균 25% 내외의 정확도를 기록하여 무작위 추측과 유사한 수준이었습니다. 이는 두 모달리티를 입력받더라도 효과적으로 통합하지 못함을 의미합니다.
  • 비디오 전용 모델: 오디오 없이 비디오만 입력받은 모델들도 40~50% 대의 성능을 보였으나, 오디오 정보가 추가될 때 성능이 크게 향상되었습니다.

• Ablation Study (모달리티 영향):

  • 시각 정보: 비디오 프레임이 추가되면 대부분의 모델 성능이 향상되었습니다 (예: Gemini 1.5 Pro 는 오디오만 34.6% → 비디오 추가 시 48.0%).
  • 오디오 정보: 자막만 있는 경우보다 원본 오디오가 포함된 경우 성능이 크게 개선되었습니다. 특히 음악이나 환경음과 같은 비언어적 요소는 자막으로 대체 불가능하며, 원본 오디오가 필수적입니다.
  • 모델별 차이: 일부 모델 (Unified-IO 등) 은 자막이나 오디오를 추가할 때 오히려 성능이 저하되는 등 모달리티 통합 메커니즘의 미숙함을 보였습니다.

• 오류 분석:

  • 주요 오류 원인은 오디오 이해 부족 (음악의 분위기, 환경음 식별 실패), 시각적 세부 사항 누락, 그리고 추론 오류로 나타났습니다. 특히 감정 인식이나 리듬 패턴 변화와 같은 미세한 다중 모달 단서를 통합하는 작업에서 큰 어려움을 겪었습니다.

5. 의의 및 결론 (Significance)

• 연구 방향 제시: 현재 MLLM 이 실제 세계의 복잡한 상황을 이해하기 위해서는 단순한 모달리티 나열이 아닌, **초기 단계에서의 깊은 융합 (Early Fusion)**과 오디오 - 비디오의 긴밀한 상호작용을 학습할 필요가 있음을 강조합니다.
• 차별화된 평가 기준: 기존 벤치마크가 놓치고 있던 '실제 세계의 오미니모달 이해'를 평가할 수 있는 표준을 제시하여, 향후 더 인간과 유사한 지능을 가진 에이전트 개발의 기초를 마련했습니다.
• 향후 과제: 오디오 이해 능력 강화, 모달리티 간 정렬 (Alignment) 기술 개선, 그리고 복잡한 추론 능력을 갖춘 데이터셋 구축이 향후 연구의 핵심 과제로 제시되었습니다.

요약하자면, WorldSense는 멀티모달 AI 가 실제 세계를 제대로 이해하기 위해 시각과 청각이 어떻게 협력해야 하는지를 검증하는 중요한 이정표가 될 벤치마크입니다.