XModBench: 오모니 언어 모델 (OLLMs) 의 교차 모달 능력 및 일관성 벤치마킹 기술 요약

본 논문은 XModBench라는 대규모 3 모달 (텍스트, 비전, 오디오) 벤치마크를 소개하며, 오모니 언어 모델 (Omni-Language Models, OLLMs) 이 서로 다른 입력 모달리티 간에 일관된 추론을 수행하는지, 아니면 특정 모달리티에 편향되어 있는지 진단하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

기존의 멀티모달 벤치마크는 주로 일반적인 교차 모달 질문 응답 (QA) 능력을 평가하는 데 중점을 두었습니다. 그러나 OLLMs 이 진정한 **모달리티 불변 추론 (Modality-Invariant Reasoning)**을 달성했는지, 즉 동일한 의미 내용이 텍스트, 이미지, 오디오 등 다른 형태로 제시될 때 모델이 동일한 정답을 도출하는지 여부는 명확하지 않았습니다.

• 현재의 한계: 기존 벤치마크는 컨텍스트나 선택지를 특정 모달리티로 고정하는 경우가 많아, 모델이 의미론적 표현이 아닌 표면적인 모달리티 단서에 의존하는지 여부가 드러나지 않았습니다.
• 핵심 질문: 동일한 의미 내용이 다른 모달리티로 변환되었을 때 모델의 예측이 일관되게 유지되는가?

2. 방법론 (Methodology)

2.1 XModBench 설계

XModBench 는 61,320 개의 객관식 질문 - 답변 쌍으로 구성되며, 10,220 개의 고유한 인스턴스를 기반으로 합니다. 각 인스턴스는 6 가지 모달리티 구성으로 변환되어 동일한 의미 내용을 다양한 방식으로 테스트합니다.

• 균형 잡힌 6 가지 모달리티 구성: 텍스트 (T), 비전 (V), 오디오 (A) 를 컨텍스트 (질문) 와 후보 (정답) 로 조합하여 6 가지 방향 (T→A, T→V, A→T, A→V, V→T, V→A) 을 모두 커버합니다.
• 5 가지 작업 패밀리 및 17 가지 하위 작업:
  1. 지각 (Perception): 사물, 활동, 장면 인식 (일반 활동, 정밀 활동, 자연 환경, 악기 등).
  2. 공간 추론 (Spatial Reasoning): 2D 배열, 3D 위치 파악, 3D 운동 방향 이해.
  3. 시간 추론 (Temporal Reasoning): 사건 순서, 반복 횟수 카운팅, 시간적 계산.
  4. 언어 이해 (Linguistic Understanding): 텍스트 인식 (OCR/ASR), 번역, 감정 분류.
  5. 외부 지식 (External Knowledge): 영화 식별, 음악 장르 분류, 가수 식별.

2.2 데이터 구축

• 데이터 소스: 기존 멀티모달 데이터셋 (VGG-Sound, STARSS23 등) 의 재주석, FireRedTTS 등을 이용한 합성 데이터 생성, 그리고 웹 수집 (유튜브 등) 을 통해 3 모달리티 (텍스트 - 이미지 - 오디오) 가 정렬된 데이터를 확보했습니다.
• 품질 관리: 생성된 질문과 오답 (Distractors) 에 대해 LLM 필터링과 인간 검증을 거쳐 정확성과 모호성을 제거했습니다.

2.3 평가 지표

모델의 성능을 단순 정확도 이상으로 진단하기 위해 세 가지 지표를 도입했습니다.

1. 작업 능력 (Task Competence): 모든 모달리티 조합을 평균하여 특정 작업에 대한 전반적인 능력을 평가.
2. 모달리티 편차 (Modality Disparity): 동일한 질문을 다른 모달리티로 제시했을 때의 정확도 차이 (예: 텍스트 기반 vs 오디오 기반).
3. 방향성 불균형 (Directional Imbalance): 컨텍스트와 후보의 모달리티를 서로 바꿨을 때의 성능 비대칭성 (예: V→T vs T→V).

3. 주요 결과 (Key Results)

실험은 Gemini 2.5 Pro, Qwen2.5-Omni, EchoInk-R1 등 최신 OLLMs 를 대상으로 수행되었습니다.

• 전반적 성능: 가장 강력한 모델인 Gemini 2.5 Pro가 전체 평균 70.6% 의 정확도를 보였으나, 이는 인간 (91.5%) 에 비해 여전히 낮습니다.
• 작업별 격차:
  • 지각 및 언어 작업: 상대적으로 높은 성능 (약 70~90%).
  • 공간 및 시간 추론: 성능이 크게 저하됨 (Gemini 2.5 Pro 기준 약 50~60%).
• 모달리티 편차 (Modality Disparity):
  • 오디오의 취약성: 오디오가 포함된 경우 성능이 급격히 하락했습니다. 특히 텍스트 대비 오디오 기반 입력에서 정확도가 20% 이상 떨어지는 경우가 많았습니다.
  • 비전 - 텍스트 우세: 비전과 텍스트 간 조합이 오디오와 텍스트 간 조합보다 훨씬 강력한 성능을 보였습니다.
• 방향성 불균형 (Directional Imbalance):
  • 모델은 컨텍스트와 후보의 역할이 바뀔 때 일관되지 않은 성능을 보였습니다. 예를 들어, 텍스트 컨텍스트에서 비전 후보 (T→V) 를 찾는 것보다 비전 컨텍스트에서 텍스트 후보 (V→T) 를 찾는 것이 훨씬 쉬웠습니다. 이는 학습 데이터의 편향 (텍스트가 주된 출력 모달리티임) 을 시사합니다.
• 다중 모달 입력 (Dual-Context): 오디오와 비전을 동시에 입력받는 경우 (A+V→T) 는 단일 모달 입력 대비 미미한 향상만 보였으며, 때로는 간섭으로 인해 성능이 저하되기도 했습니다.

4. 주요 기여 (Key Contributions)

1. 최초의 3 모달 일관성 벤치마크: 오디오, 비전, 텍스트 간의 모든 6 가지 매핑을 체계적으로 커버하며, OLLMs 의 교차 모달 일관성을 명시적으로 평가하는 최초의 벤치마크입니다.
2. 포괄적인 커버리지: 5 가지 도메인과 17 가지 하위 작업을 통해 광범위한 영역을 다루며, 균형 잡힌 설계로 공정한 평가를 가능하게 합니다.
3. 진단적 메트릭 도입: '모달리티 편차'와 '방향성 불균형'을 정량화하여 모델의 강건성과 양방향 정렬 상태를 직접 측정할 수 있는 도구를 제공했습니다.
4. 실용적 통찰: 현재 OLLMs 이 오디오 이해와 공간/시간 추론에서 약점을 보이며, 모달리티 간 정렬이 불완전함을 규명하여 향후 모델 개발 방향 (데이터 교차 학습, 후처리 전략 등) 에 대한 구체적인 제안을 제공했습니다.

5. 의의 (Significance)

XModBench 는 단순히 모델의 점수를 매기는 것을 넘어, 모델이 왜 실패하는지에 대한 근본적인 원인을 규명하는 진단 도구로서 가치가 있습니다.

• 학습 데이터의 영향 규명: 인터리브된 (교차된) 멀티모달 데이터 학습이 방향성 불균형을 줄이는 데 중요함을 입증했습니다.
• 향후 연구 방향 제시: 오디오 이해 능력의 부족과 공간/시간 추론의 한계를 지적함으로써, 차세대 OLLMs 개발 시 이러한 영역에 대한 데이터와 아키텍처 개선이 필수적임을 강조합니다.
• 개방형 도구: 데이터, 코드, 평가 도구를 공개하여 연구 커뮤니티가 교차 모달 일관성 문제를 해결하는 데 기여할 수 있는 기반을 마련했습니다.

결론적으로, XModBench 는 현재의 OLLMs 이 진정한 '모달리티 불변' 지능에 도달하기 위해서는 아직 많은 과제가 남아 있음을 보여주며, 이를 해결하기 위한 필수적인 평가 기준을 제시합니다.