Daily-Omni: Towards Audio-Visual Reasoning with Temporal Alignment across Modalities

이 논문은 오디오와 비디오 간의 명시적인 시간적 추론을 요구하는 새로운 벤치마크 'Daily-Omni'를 제안하고, 이를 통해 다양한 멀티모달 대규모 언어 모델들이 교차 모달 시간 정합성 처리에 여전히 어려움을 겪고 있음을 규명했습니다.

핵심

🎬 일상의 오만 (Daily-Omni): 눈과 귀가 함께 생각해야 하는 새로운 시대의 시험지

이 논문은 인공지능 (AI) 이 눈으로 보는 영상과 귀로 듣는 소리를 동시에 이해하고, 두 정보가 시간적으로 어떻게 연결되는지 파악하는 능력을 테스트하는 새로운 기준을 제시합니다.

기존의 AI 는 영상을 보거나 소리를 듣는 데는 능숙했지만, **"누가 언제 무슨 소리를 냈는지"**처럼 눈과 귀의 정보가 맞물려야 하는 복잡한 상황을 이해하는 데는 여전히 서툴렀습니다. 이 논문은 바로 그 부분을 해결하기 위해 Daily-Omni라는 새로운 '시험지'와 학습 방법을 소개합니다.

---

1. 왜 이런 연구가 필요할까요? (문제 상황)

상상해 보세요. 친구가 "저기 문이 쾅 하고 닫히는 소리가 들리는데, 누가 문을 닫았지?"라고 물어봅니다.

• 기존 AI 의 반응: "문 소리가 들렸네요." (소리만 인식) 또는 "문이 닫힌 영상이네요." (영상만 인식)
• 실제 필요한 반응: "영상을 보니 3 초 전에 남자가 문을 잡고, 5 초에 '쾅' 소리가 들리면서 문이 닫혔네요. 그 남자가 문을 닫은 거예요."

지금까지의 AI 는 눈과 귀가 따로 놀고 있었습니다. 마치 눈이 가리키는 곳을 귀가 못 듣고, 귀가 듣는 소리를 눈이 못 보는 상태였죠. 이 논문은 AI 가 눈과 귀를 동시에 사용하고, 그 정보가 시간 순서대로 정확히 맞물리게 만드는 능력을 평가합니다.

2. Daily-Omni 란 무엇인가요? (새로운 시험지)

저자들은 684 개의 실제 생활 영상과 1,197 개의 질문으로 구성된 새로운 데이터셋을 만들었습니다.

• 비유: 기존 시험지가 "이 그림에서 개가 뭐하고 있니?" (정적) 였다면, Daily-Omni 는 "30 초 동안 개가 짖다가, 그 소리를 듣고 사람이 놀라서 도망가는 순서를 설명해 줘" (동적, 시간적 연결) 같은 문제입니다.
• 6 가지 유형:
  1. 동시성 확인: "이 소리와 이 동작이 동시에 일어났나요?"
  2. 순서 파악: "먼저 소리가 났나요, 아니면 먼저 사람이 나타났나요?"
  3. 추론: "왜 그 소리가 났을까요?"
  4. 유추: "영상에 직접 나오지 않은 정보는 무엇일까요?"
  5. 비교: "이 두 장면의 소리와 분위기는 어떻게 다른가요?"
  6. 맥락 이해: "이 사건이 일어난 배경은 무엇인가요?"

3. 어떻게 만들었나요? (스마트한 제작 공정)

이 시험지를 만드는 과정은 마치 고급 영화 편집실 같습니다.

1. 초안 작성: AI 가 영상과 소리를 따로따로 분석해 설명을 적습니다. (예: "남자가 등장함", "문 닫는 소리")
2. 교정 및 통합: 다른 AI 가 이 설명들을 서로 대조합니다. "아, 이 소리는 저 남자가 문을 닫을 때 난 소리구나!"라고 시간을 맞춰 연결합니다.
3. 함정 제거: AI 가 영상이나 소리 없이 글자만 보고 정답을 맞출 수 있는 문제는 걸러냅니다. (진짜 눈과 귀를 써야만 풀 수 있게 만듦)
4. 인간 검수: 사람이 최종적으로 "이 문제는 정말 눈과 귀를 써야 풀 수 있나?"를 확인합니다.

이 과정을 통해 30 시간이라는 짧은 시간 안에 수천 개의 고품질 문제를 만들 수 있었습니다.

4. 결과는 어땠나요? (AI 의 실력 점검)

저자들은 24 가지의 최신 AI 모델 (오픈소스 및 유료 모델 포함) 을 이 시험지에 풀어보게 했습니다. 결과는 놀라웠습니다.

• 눈과 귀가 따로 놀면 실패: 많은 최신 AI 모델이 영상과 소리를 동시에 주면 오히려 혼란을 겪거나, 눈이나 귀 중 하나만 믿고 틀린 답을 냅니다.
• 단순한 방법이 더 나을 때도: 놀랍게도, 복잡한 AI 모델보다 **눈과 귀의 정보를 따로 분석해서 시간순으로 정리해주는 간단한 방법 (Daily-Omni Agent)**이 더 좋은 점수를 받기도 했습니다.
  • 비유: 거대한 슈퍼컴퓨터가 복잡한 연산을 하다가 길을 잃는 반면, 지도와 나침반을 잘 쓰는 작은 안내원이 목적지에 더 빨리 도착하는 꼴입니다.
• 핵심 발견: AI 가 눈과 소리를 **시간의 흐름에 따라 정확히 연결 (Temporal Alignment)**하는 능력이 부족하다는 것이 드러났습니다.

5. 이 연구의 의미는 무엇인가요?

이 논문은 우리에게 중요한 메시지를 줍니다.

"AI 가 진짜 세상을 이해하려면, 눈과 귀가 '동시통역사'처럼 완벽하게 협력해야 한다."

지금까지의 AI 는 눈과 귀를 따로 쓰는 '이중생활'을 하고 있었습니다. 하지만 Daily-Omni는 AI 가 눈과 귀를 하나로 통합하여, 실시간으로 일어나는 복잡한 상황을 이해하도록 부추기는 나침반이 될 것입니다.

결론적으로:
이 연구는 AI 가 단순히 "무엇을" 보는지, "무엇을" 듣는지를 넘어, "언제, 어떻게, 왜" 그런 일이 일어났는지 시간의 흐름 속에서 통합적으로 이해하는 능력을 키우는 것이 미래 AI 의 핵심 과제임을 보여줍니다. 마치 영화의 줄거리를 이해하려면 장면과 대사가 시간순으로 어떻게 이어지는지 알아야 하듯, AI 도 이제 '시간의 흐름'을 읽는 법을 배워야 합니다.

기술 요약

1. 문제 정의 (Problem)

최근 멀티모달 대규모 언어 모델 (MLLM) 은 시각 (이미지, 비디오) 과 청각 (음성, 소리) 영역에서 각각 뛰어난 성능을 보여주고 있습니다. 그러나 동시성 (Synchrony) 을 갖춘 크로스-모달 정보 처리, 특히 오디오와 비주얼 간의 **시간적 정렬 (Temporal Alignment)**을 요구하는 복잡한 추론 작업에 대해서는 여전히 큰 한계가 존재합니다.

기존의 오디오 - 비주얼 벤치마크들은 다음과 같은 한계를 가지고 있습니다:

• 특수 도메인 편향: 음악 공연이나 파노라마 환경 등 특정 도메인에 치중되어 있습니다.
• 정적 데이터 의존: 정적 이미지와 오디오 쌍을 사용하거나, 실제 비디오의 동적인 시간적 흐름을 무시하는 경우가 많습니다.
• 작업의 단순성: 캡션 생성이나 단순한 개체 인식에 그치며, 시간적 맥락을 고려한 심층 추론 (예: "A 소리가 들리는 순간 B 인물이 어떤 행동을 했는가?") 을 평가하지 못합니다.
• 확장성 부족: 수동 주석 작업에 의존하여 데이터셋 확장이 어렵고, 체계적인 QA 생성 파이프라인이 부재합니다.

이러한 배경 하에, 일상생활의 다양한 상황에서 오디오와 비주얼이 시간적으로 정렬되어 발생하는 사건을 이해하고 추론할 수 있는 MLLM 의 능력을 평가할 수 있는 새로운 벤치마크가 필요합니다.

2. 방법론 (Methodology)

2.1 Daily-Omni 데이터셋 구축

저자들은 684 개의 실제 세계 비디오와 1,197 개의 객관식 질문 (QA) 으로 구성된 Daily-Omni 벤치마크를 제안했습니다.

• 데이터 소스: AudioSet, Video-MME, FineVideo 등 다양한 소스에서 30 초 및 60 초 길이의 클립을 추출했습니다.
• 작업 유형 (6 가지):
  1. AV Event Alignment: 어떤 오디오와 비주얼 사건이 동시에 발생했는지 확인.
  2. Event Sequence: 비디오 내 사건들의 시간적 순서 파악.
  3. Reasoning: 사건 발생의 원인이나 이유 추론.
  4. Inference: 비디오에 명시되지 않은 정보 추측.
  5. Comparative: 두 사건 간의 오디오/비주얼 정보 비교.
  6. Context Understanding: 특정 사건의 맥락적 정보 파악.

2.2 확장 가능한 QA 생성 파이프라인

인간 노동력을 최소화하면서도 고품질의 데이터를 확보하기 위해 반자동 파이프라인을 개발했습니다:

1. 세그먼트 주석 (Segment Annotation): 비디오를 더 짧은 세그먼트 (10 초 또는 20 초) 로 나누어 MLLM(Gemini 2.0 Flash) 을 통해 오디오와 비주얼을 독립적으로 주석합니다.
2. 일관성 검토 (Consistency Check): 전체 비디오를 참조하여 세그먼트 간 주석의 일관성을 검증하고 수정합니다.
3. 크로스-모달 정렬 (Cross-modal Alignment): 오디오 사건과 비주얼 사건의 시간적 정렬을 명시적으로 식별하여 쌍을 만듭니다.
4. QA 생성 및 최적화: Deepseek-R1 등을 활용하여 질문과 선택지를 생성한 후, 텍스트만으로 정답을 유추할 수 있는지 확인하는 **텍스트 누출 필터링 (Text-only Leakage Filtering)**을 수행합니다.
5. 인간 검증: 최종적으로 인간 평가자가 30 시간 미만으로 1,197 개의 QA 를 검수하여 최종 데이터셋을 확정했습니다 (수동 검토 단계에서 약 30% 수용률).

2.3 진단용 베이스라인: Daily-Omni Agent

MLLM 의 실패 원인을 분석하고 시간적 정렬의 중요성을 입증하기 위해, 학습이 필요 없는 (Training-free) 모듈형 베이스라인인 'Daily-Omni Agent'를 구축했습니다.

• 구성: Qwen2.5-VL(비주얼), Qwen2-Audio(오디오), Whisper(음성 전사), Qwen2.5-14B(추론) 등 오프더셸 (Off-the-shelf) 단일 모달 모델들을 조합합니다.
• 작동 방식: 비디오를 세그먼트로 나누어 주석을 생성하고, 명시적인 시간적 정렬 (Event Alignment) 을 수행하여 관련 사건 쌍을 추출한 후, 이를 바탕으로 질문을 해결합니다. 이는 복잡한 단일 모델보다 명시적인 정렬 신호를 제공하는 데 유리합니다.

3. 주요 기여 (Key Contributions)

1. Daily-Omni 벤치마크: 일상생활의 복잡한 오디오 - 비주얼 상호작용을 평가하는 고품질 데이터셋 (684 개 비디오, 1,197 개 QA, 6 가지 작업 유형) 을 최초로 공개했습니다.
2. 확장 가능한 생성 파이프라인: 자동화 및 반자동화를 통해 대규모 데이터셋 구축에 필요한 인적 비용을 획기적으로 줄인 파이프라인을 제안했습니다.
3. 포괄적인 평가 및 진단 프로토콜: 24 개의 기반 모델을 37 가지 모델 - 모달리티 설정 (AV, V-only, A-only, Text-only) 하에 평가하고, 모달리티 제거 실험과 정렬 민감도 분석을 통해 모델의 한계를 규명했습니다.
4. 새로운 통찰: 단순하고 명시적인 정렬을 수행하는 모듈형 베이스라인이 최신 오픈소스 올모달 (Omni-modal) 모델보다 더 나은 성능을 보일 수 있음을 발견하여, 현재 모델들의 시간적 정렬 메커니즘 부족을 지적했습니다.

4. 실험 결과 (Results)

• 모델 성능: 24 개의 MLLM 을 평가한 결과, 많은 엔드 - 투 - 엔드 MLLM 이 시간적 정렬이 중요한 질문에서 어려움을 겪었습니다. 특히, Unified-IO 2 나 VideoLLaMA 2 와 같은 이전 모델들은 텍스트 전용 LLM 보다 낮은 성능을 보이기도 했습니다.
• 베이스라인의 우위: 학습이 필요 없는 **Daily-Omni Agent(정확도 61.82%)**는 Ola 나 초기 올모달 모델들을 능가했으며, 심지어 일부 상용 모델 (Gemini 2.5 Flash Lite 등) 과도 경쟁하거나 더 나은 성능을 보였습니다. 이는 명시적인 시간적 정렬 신호가 추론 성능에 얼마나 결정적인 영향을 미치는지 보여줍니다.
• 모달리티 의존성: 오디오만 또는 비주얼만 입력받을 경우, 모든 모델의 성능이 급격히 하락했습니다 (예: Gemini 2.5 Flash 는 비주얼 제거 시 73.06% → 54.05% 로 하락). 이는 Daily-Omni 가 단일 모달리티나 텍스트 유추로 해결할 수 없는 진정한 멀티모달 통합을 요구함을 증명합니다.
• 정렬의 중요성: 베이스라인 에이전트 실험에서 '스마트 정렬 (Smart Alignment)'을 적용했을 때 성능이 가장 높았으며, 정렬이 없거나 단순한 정렬 (Naive Alignment) 을 적용하면 성능이 저하되었습니다.

5. 의의 및 결론 (Significance)

이 논문은 오디오 - 비주얼 추론에서 '시간적 정렬 (Temporal Alignment)'이 현재 통합 아키텍처의 주요 병목 현상임을 명확히 밝혔습니다.

• 연구 방향 제시: 단순히 멀티모달 데이터를 학습하는 것을 넘어, 오디오와 비주얼 스트림 간의 정밀한 시간적 정렬을 위한 메커니즘 (예: TMRoPE 와 같은 명시적 위치 인코딩, 정교한 시간적 그라운딩) 의 개발이 시급함을 강조합니다.
• 벤치마크의 역할: Daily-Omni 는 향후 MLLM 이 실제 물리적 세계와 상호작용하기 위해 필요한 복잡한 다중 감각 통합 능력을 평가하는 표준 벤치마크로 자리 잡을 것입니다.
• 실용적 가치: 단순한 모델 크기 확장이 아닌, 구조적 개선과 명시적 정렬 전략이 모델 성능 향상에 필수적임을 입증하여 향후 연구 방향을 제시합니다.

요약하자면, Daily-Omni 는 현재 MLLM 이 가진 '시간적 정렬 능력의 부재'를 드러내는 동시에, 이를 해결하기 위한 새로운 데이터셋, 평가 방법론, 그리고 진단 도구를 제공함으로써 멀티모달 AI 연구의 중요한 이정표가 됩니다.