기술 요약: AVI-Bench: 인간과 유사한 오디오-비주얼 지능을 향한 Omni-MLLM 연구

1. 문제 정의

최근 Omni-Multimodal Large Language Models (Omni-MLLMs)의 발전으로 텍스트, 시각, 오디오의 통합이 가능해졌으나, 이들의 **오디오-비주얼 지능 (Audio-Visual Intelligence, AVI)**에 대한 평가는 여전히 불충분합니다. 기존의 벤치마크는 특정 모달리티에 국한되어 있거나(예: 시각-언어 또는 오디오-언어), 실제 세계의 다면적인 교차 모달 시나리오를 평가할 수 있는 통합되고 구조화된 프레임워크가 부족합니다. 현재의 평가는 대개 총합 지표에 의존하여 모달리티 불균형, 인지 단계의 병목 현상, 생소한 도메인에 대한 적응력 저하와 같은 구체적인 실패 양상을 가리는 경향이 있습니다. 결과적으로, 이러한 모델들이 오디오 및 비주얼 입력을 인지, 통합 및 추론하는 데 있어 진정한 인간 수준의 능력을 갖추고 있는지 진단할 수 있는 체계적인 도구가 부족한 실정입니다.

2. 방법론

2.1. AVI-Bench 프레임워크

저자들은 세 가지 통합된 인지 단계와 독특한 강건성 테스트를 위한 확장 기능을 포함하여, Omni-MLLM을 평가하도록 설계된 인지 중심 벤치마크인 AVI-Bench를 소개합니다:

1. 지각 (Perception): 근본적인 의미론적 엔티티의 탐지 및 인식을 평가합니다 (예: 오디오-비주얼 다중 인스턴스 분류, 오디오-비주얼 로컬라이제이션, 오디오-비주얼 매칭).
2. 이해 (Understanding): 멀티모달 컨텍스트에 대한 통합 및 추론 능력을 평가합니다 (예: 오디오-비주얼 캡셔닝, 교차 모달 검색).
3. 추론 (Reasoning): 전체적인 이해를 바탕으로 한 고차원적 추론을 조사합니다 (예: AVQA, 오디오-비주얼 언어 그라운딩).
4. 원시 감각 (Primitive Sensation, AVI-Bench-PriSe): 생소하고 낮은 의미론적 자극에 대한 모델의 적응력을 평가하는 확장 단계입니다. 이 단계는 모델이 표준 학습 분포를 벗어나 의미론적 맥락이 최소화된 상태에서 기본적인 감각 작업(색상, 볼륨, 질감, 기하학적 변화 탐지 등)을 수행할 수 있는지 테스트하여, 표준적인 의미론적 학습을 넘어선 "원시적 감각"을 조사합니다.

이 벤치마크는 14개의 다양한 태스크와 9개의 지표에 걸쳐 5,864개의 샘플로 구성되어 있으며, 각 단계에서 오디오 중심, 비주얼 중심, 그리고 협업 집약적 태스크 간의 균형을 보장합니다.

2.2. 4단계 분류 체계 (Four-Level Taxonomy)

단순한 총합 점수를 넘어, 본 논문은 AVI를 분류하기 위한 4단계 원칙 기반 분류 체계를 제안합니다:

• Level 1 (태스크 적응형, Task-Adaptive): 모든 태스크에 대한 기본 성능.
• Level 2 (모달리티 적응형, Modality-Adaptive): 오디오와 비주얼 능력 사이의 균형을 측정하며, "비주얼 전문가"로 행동하는 모델에 페널티를 부여합니다.
• Level 3 (단계 적응형, Stage-Adaptive): 추론이 지각 및 이해라는 전제 조건에 기반하고 있는지 평가하여, 추론 능력이 하위 인지 단계보다 앞서 나가는 병목 지점을 식별합니다.
• Level 4 (도메인 적응형, Domain-Adaptive): 익숙한 도메인과 AVI-Bench-PriSe의 생소한 도메인 간의 성능을 비교하여 강건성을 평가하며, 조화 평균을 사용하여 어느 한 도메인이 점수를 독점하지 않도록 합니다.

2.3. 평가 프로토콜

본 연구는 폐쇄형 소스 모델(예: GPT-4o, Gemini 시리즈)과 오픈 소스 모델(예: Qwen2.5-Omni, Baichuan-Omni-1.5)을 모두 포함하여 28개의 Omni-MLLM을 평가합니다. 평가는 표준화된 프롬프트, 고정된 랜덤 시드, 그리고 환각 현상을 최소화하고 평가 정확도를 보장하기 위한 원시 감각 태스크용 이중 확인 메커니즘을 사용합니다.

3. 주요 기여

• AVI-Bench & AVI-Bench-PriSe: 지각, 이해, 추론 및 원시 감각을 아우르는 14개 태스크와 9개 지표를 특징으로 하는 포괄적이고 인지에 기반한 벤치마크를 제공합니다.
• 4단계 분류 체계: 태스크, 모달리티, 단계, 도메인 적응형 구조를 통해 모델의 능력을 미세하게 해석할 수 있는 틀을 제공하며, 총합 점수 뒤에 숨겨진 한계를 드러냅니다.
• 경험적 통찰: 28개 모델에 대한 광범위한 평가를 통해 모달리티 불균형(비주얼 우세), 단계별 제약(지각이 추론을 제한함), 생소한 도메인 적응력의 상당한 격차와 같은 핵심 병목 현상을 밝혀냈습니다.
• 인간 성능 기준 (Human Performance Baseline): 모델 성능을 인간 피험자와 비교하는 파일럿 연구를 통해, 특히 원시 감각 및 그라운딩 태스크에서 발생하는 상당한 격차를 강조했습니다.

4. 주요 결과 및 관찰 사항

• 시너지 및 병목 현상: 인지 단계 간의 성능은 양의 상관관계를 보이지만, 지각과 이해가 결정적인 병목 구간으로 작용합니다. 강력한 추론 능력을 갖추었더라도 지각 능력이 약한 모델은 견고한 AVI를 달성하지 못합니다.
• 모달리티 불균형: 대부분의 Omni-MLLM은 비주얼 중심 태스크에는 뛰어나지만 오디오 중심 태스크에서는 크게 뒤처지며, 이는 진정한 오디오-비주얼 통합보다는 "비주얼 전문가"로서의 편향을 나타냅니다.
• 그라운딩의 어려움: 미세한 오디오-비주얼 그라운딩(예: 소리 발생 위치 특정 또는 참조 표현 지정)은 여전히 큰 과제입니다. Gemini-2.5-Pro와 같은 최상위 모델조차 그라운딩 태스크에서 낮은 점수(예: ~35-39%)를 기록하며, 오픈 소스 모델은 이보다 더 낮은 성능을 보였습니다.
• 원시 감각 격차: 모델들은 낮은 의미론적 수준의 생소한 자극에 매우 취약합니다. 추론 태스크와 원시 감각 태스크 사이의 성능 격차는 매우 컸으며(47.6%에서 82.7% 범위), 이는 모델이 진정한 감각 적응보다는 의미론적 사전 지식(semantic priors)에 크게 의존하고 있음을 시사합니다.
• 규모 및 아키텍처: 일반적으로 규모가 큰 모델이 작은 모델보다 우수하지만, 아키텍처 선택(예: Mixture-of-LoRA)과 학습 전략은 성능에 큰 영향을 미치며, 때로는 작은 모델이 특정 차원에서 더 큰 모델을 능가하기도 합니다.

5. 의의 및 주장

본 논문은 AVI-Bench가 더 견고하고 일반화 가능한 Omni-MLLM 개발을 가이드할 수 있는 원칙 기반의 평가 프레임워크를 제공한다고 주장합니다. 파편화된 태스크별 지표에서 벗어나 홀리스틱하고 인지적으로 정렬된 평가로 전환함으로써, AVI-Bench는 다음과 같은 역할을 수행합니다:

• AGI(인공 일반 지능)로의 발전을 저해하는 핵심 병목 현상(모달리티 불균형, 약한 그라운딩, 낮은 도메인 적응력)을 드러냅니다.
• 모델이 단순히 패턴을 맞추는 것인지 아니면 인간과 유사한 인지적 통합을 보여주는 것인지를 구분하여, 실패 양상을 미세하게 진단할 수 있는 구조화된 분류 체계를 제공합니다.
• 균형 잡힌 오디오-비주얼 지능과 공통 학습 분포 너머의 강건성을 강조하며, 미래 연구를 위한 엄격한 토대를 구축합니다.

저자들은 AVI-Bench를 단순한 학습 도구가 아니라, 안전 연구, 모델 감사, 그리고 책임 있는 멀티모달 AI 시스템의 발전을 지원하기 위한 진단적 자원으로 정의합니다.