UniM: A Unified Any-to-Any Interleaved Multimodal Benchmark

이 논문은 텍스트, 이미지, 오디오 등 7 가지 모달리티가 임의로 교차된 입력을 이해하고 생성하는 'Any-to-Any' 능력을 평가하기 위해 31,000 개의 고품질 데이터셋인 UniM 벤치마크와 평가 체계를 소개하고, 이를 위한 UniMA 기반 모델을 제안하여 통합된 멀티모달 지능의 발전 방향을 제시합니다.

핵심

🌟 UNIM: 모든 것을 이해하고 만드는 '만능 AI'를 위한 첫 번째 시험지

이 논문은 인공지능(AI)이 앞으로 어떻게 발전해야 하는지에 대한 새로운 기준과 시험지를 제시합니다. 제목인 UNIM은 "Unified Any-to-Any Interleaved Multimodal Benchmark(통합된 임의 - 임의 교차 멀티모달 벤치마크)"의 약자입니다.

너무 어렵게 들리시나요? 쉽게 비유해서 설명해 드릴게요.

---

1. 기존 AI 의 한계: "오직 텍스트와 그림만 보는 눈"

지금까지 대부분의 멀티모달 AI 는 **글자 (Text)**와 **사진 (Image)**만 섞여서 들어오면 이해하고, 글자와 사진만 섞어서 답을 내놓았습니다. 마치 사진이 달린 요리책만 보고 요리를 배우는 것과 비슷합니다.

하지만 현실 세계는 훨씬 복잡합니다.

• 실제 상황: "이 비디오를 보고, 오디오 설명을 듣고, 3D 모델을 보며, 코드를 짜고, 문서를 요약해서 음성과 영상으로 설명해 줘."
• 기존 AI: "죄송합니다. 저는 그림과 글자만 이해할 수 있어요."

2. UNIM 이란 무엇인가? "만능 요리사 시험지"

이 논문은 AI 가 글, 사진, 소리, 영상, 문서, 코드, 3D 모델 등 7 가지 종류의 정보를 아무 순서로나 섞어서 (Interleaved) 입력받고, 아무 순서로나 섞여서 답을 내놓을 수 있는지 테스트하는 **최초의 시험지 (UNIM)**를 만들었습니다.

비유하자면:

이전까지 AI 는 "레시피 (글) 와 재료 사진"만 보고 요리를 했습니다.
하지만 UNIM은 "요리하는 동영상을 보며, 옆에서 소리로 지시를 듣고, 3D로 식탁 배치를 보고, 코드로 로봇 팔을 조종해서, 문서로 영양표를 만들고, 최종적으로 음성으로 설명하는 완벽한 요리사를 뽑는 시험"을 치르는 것입니다.

3. 왜 이것이 중요한가? "실제 생활의 복잡함"

우리가 AI 비서에게 요청할 때를 상상해 보세요.

• "이 **건축 도면 (문서)**과 현장 사진을 보고, 3D 모델을 만들어서 영상으로 보여주고, 음성으로 설명해 줘."

기존 AI 는 이 복잡한 요구를 한 번에 처리하지 못합니다. UNIM 은 이런 실제적이고 복잡한 상황을 정확히 반영하여 AI 가 얼마나 똑똑한지 측정합니다.

4. UNIM 의 핵심 특징

이 시험지는 3 가지 중요한 특징이 있습니다.

1. 모든 것을 다 섞을 수 있음 (Any-to-Any): 글, 소리, 영상, 코드 등 7 가지 모달리티를 자유롭게 섞을 수 있습니다.
2. 여러 가지 능력을 동시에 요구함: 단순히 "이게 뭐야?"라고 묻는 게 아니라, 공간 추리, 시간적 이해, 계획 수립, 창의적 표현 등 여러 능력을 한 번에 써야 합니다.
3. 난이도 조절: 쉬운 문제부터 전문가 수준의 어려운 문제까지 단계별로 구성되어 있습니다.

5. 새로운 평가 기준 (채점표)

기존에는 "정답이 맞으면 1 점, 틀리면 0 점"이었지만, UNIM 은 훨씬 더 정교하게 채점합니다.

• 의미의 정확성: 내용이 맞나요?
• 구조의 완전성: 요구된 사진, 소리, 코드가 모두 들어갔나요? (예: "사진 2 장을 보여줘"라고 했는데 1 장만 냈으면 감점)
• 자연스러운 흐름: 글, 소리, 영상이 서로 어색하지 않고 잘 연결되어 있나요?

6. UNIMA: 시험을 본 '참고용 모범 답안'

연구팀은 이 시험지를 풀기 위해 UNIMA라는 새로운 AI 모델을 만들었습니다.

• UNIMA 의 특징: 단순히 답을 외우는 게 아니라, **단계별로 생각 (Reasoning)**하고, **검증 (Verification)**하는 과정을 거칩니다. 마치 숙제를 할 때 "내 답이 맞는지 다시 한번 확인하는" 성실한 학생처럼요.
• 결과: 기존 AI 들은 이 시험에서 매우 낮은 점수를 받았지만, UNIMA 는 상대적으로 높은 점수를 받으며 새로운 가능성을 보여주었습니다.

7. 결론: AI 의 미래는 '유연함'이다

이 논문은 **"AI 는 이제 글과 그림만 보는 것을 넘어, 모든 감각을 통합하고 복잡한 순서대로 생각할 수 있어야 한다"**는 메시지를 줍니다.

한 줄 요약:

"이제 AI 는 글, 소리, 영상, 코드가 뒤죽박죽 섞인 현실 세계의 복잡한 문제를, 자연스럽게 섞어서 해결할 수 있는 만능 요리사가 되어야 합니다. UNIM 은 그 능력을 측정하는 최고 수준의 시험지입니다."

이 연구는 앞으로 우리가 만날 더 똑똑하고 유연한 AI 비서, 엔지니어, 창작 도구의 기초를 다지는 중요한 첫걸음입니다.

기술 요약

UNIM: 통합된 임의-대-임의 인터리브드 멀티모달 벤치마크 (UNIM: A Unified Any-to-Any Interleaved Multimodal Benchmark) 기술 요약

이 논문은 실제 세계의 멀티모달 애플리케이션에서 요구되는 통합된 임의 - 대 - 임의 (Any-to-Any) 인터리브드 멀티모달 학습 능력을 평가하고 촉진하기 위해 제안된 UNIM 벤치마크와 이를 위한 UNIMA 모델을 소개합니다.

1. 문제 정의 (Problem)

기존의 멀티모달 대규모 언어 모델 (MLLM) 은 주로 텍스트와 이미지의 쌍 (Pair) 이나 단순한 순차적 입력에 초점을 맞추고 있었습니다. 그러나 실제 세계 (예: AI 어시스턴트, 프로그래밍 코파일럿, 엔지니어링 설계 시스템) 에서는 사용자가 텍스트, 이미지, 오디오, 비디오, 문서, 코드, 3D 모델 등 다양한 모달리티가 임의의 순서로 교차 (Interleaved) 되어 입력되고, 이에 대한 응답도 다양한 모달리티가 교차된 형태로 생성되어야 합니다.

기존 벤치마크 (ITLVD-BENCH, MMIE 등) 는 다음과 같은 한계가 있었습니다:

• 제한된 모달리티: 주로 텍스트와 이미지만을 다루어 오디오, 비디오, 코드, 3D 등 다른 모달리티를 포괄하지 못함.
• 단일 능력 평가: 각 데이터 인스턴스가 하나의 분리된 능력만 평가하여, 실제 복잡한 멀티모달 추론의 통합적 특성을 반영하지 못함.
• 평가 지표 부족: 유연한 임의 - 대 - 임의 생성을 평가할 수 있는 포괄적인 지표가 부재함.

2. 방법론 (Methodology)

A. UNIM 벤치마크 (Dataset)

UNIM은 실제 세계의 복잡한 상호작용을 시뮬레이션하는 최초의 대규모 통합 벤치마크입니다.

• 규모 및 구성: 31,026 개의 고품질 인스턴스로 구성되며, 30 개의 다양한 도메인 (자연과학, 사회과학, 일반 분야 등) 을 커버합니다.
• 모달리티: 텍스트, 이미지, 오디오, 비디오, 문서, 코드, 3D 등 7 가지 대표 모달리티를 지원합니다.
• 인터리브드 구조: 입력과 출력 모두 모달리티가 임의의 순서로 섞여 있으며, 각 인스턴스는 여러 가지 교차된 추론 및 생성 작업을 요구합니다.
• 난이도 분류: 인스턴스를 Easy, Medium, Hard의 3 단계 난이도로 분류하여 모델의 점진적 능력을 평가합니다.

B. UNIM EVALUATION SUITE (평가 체계)

기존의 정확도 (Accuracy) 기반 평가로는 부족하므로, 3 가지 차원과 13 가지 지표를 도입했습니다:

1. 의미적 정확성 및 생성 품질 (Semantic Correctness & Generation Quality):
   • SC (Semantic Correctness): 생성된 내용이 정답과 의미적으로 일치하는지 평가 (LLM-as-a-Judge 사용).
   • GQ (Generation Quality): 텍스트, 이미지, 오디오 등 각 모달리티별 비참조 (No-reference) 품질 평가.
   • SQCS: SC 와 GQ 를 결합한 통합 점수.
2. 응답 구조 무결성 (Response Structure Integrity):
   • StS (Strict Structure Score): 정답과 모델 응답의 모달리티 유형 및 개수가 정확히 일치하는지 평가.
   • LeS (Lenient Structure Score): 모달리티 유형의 포괄 여부 (Coverage) 를 평가.
3. 인터리브드 일관성 (Interleaved Coherence):
   • HC (Holistic Coherence): 모달리티 간의 논리적 연결성과 의미적 일관성.
   • SH (Stylistic Harmony): 텍스트와 시각적/청각적 스타일의 조화.
   • ICS: HC 와 SH 를 결합한 점수.

• 지원률 (Supporting Rate, $\tau$): 모델이 특정 모달리티를 입력으로 처리할 수 있는지 여부를 고려하여 절대적 성능 ($X_{abs}$) 과 상대적 성능 ($X_{rel}$) 을 구분하여 평가합니다.

C. UNIMA (Agentic Baseline Model)

UNIM 벤치마크를 해결하기 위해 제안된 에이전트 기반 베이스라인 모델입니다.

• 아키텍처: 수신 모듈 (Receiving Module), 추적 가능 증거 추론 모듈 (Traceable Evidence Reasoning, TER), 생성 모듈 (Generating Module) 로 구성됩니다.
• 핵심 메커니즘 (TER):
  • 구조화된 증거 추론 체인 (SERC): 입력 모달리티를 작업 조건에 맞는 밀집 캡션 (TCDC) 으로 변환하고, 데이터 분석이 필요한 경우 코드 인터프리터를 호출하여 사실 기반 보고서를 생성합니다.
  • 검증 및 백트래킹 (Verification & Backtracking): Checker 와 Judger 를 통해 생성된 중간 보고서의 오류를 탐지하고, 오류가 발생한 단계로 돌아가 수정하는 반복적 루프를 통해 신뢰할 수 있는 추론을 보장합니다.
  • 구조적 계획: 최종 생성 전에 모달리티의 순서, 개수, 도구 매핑을 JSON 형태로 명확히 계획하여 구조적 무결성을 높입니다.

3. 주요 기여 (Key Contributions)

1. 최초의 통합 벤치마크: 7 가지 모달리티와 30 개 도메인을 아우르는 최초의 대규모 '임의 - 대 - 임의' 인터리브드 멀티모달 벤치마크 (UNIM) 를 제시했습니다.
2. 정교한 평가 체계: 의미, 구조, 일관성을 종합적으로 평가하는 새로운 평가 스위트 (Evaluation Suite) 를 개발하여 기존 벤치마크의 한계를 극복했습니다.
3. 강력한 베이스라인 모델: 추적 가능한 증거 추론과 검증 메커니즘을 갖춘 UNIMA 모델을 제안하여, 기존 모델들이 겪는 구조적 오류와 의미적 불일치 문제를 해결하는 방향을 제시했습니다.
4. 심층 분석: 기존 MLLM 들이 UNIM 에서 심각한 성능 저하를 보이며, 특히 복잡한 모달리티 교차와 구조적 제약을 따르는 데 어려움을 겪음을 실증했습니다.

4. 실험 결과 (Results)

• 기존 모델의 한계: AnyGPT, NExT-GPT, MIO 등 최신 임의 - 대 - 임의 MLLM 들은 UNIM 에서 매우 낮은 성능을 보였습니다. 특히 구조적 무결성 (StS, LeS) 점수가 5% 미만으로, 필요한 모달리티를 생성하거나 순서를 맞추는 데 실패했습니다.
• UNIMA 의 우위: UNIMA 는 기존 모델들보다 StS/LeS 에서 2~40 배 높은 성능을 보였으며, SQCS 와 ICS 에서도 압도적인 우위를 점했습니다. 이는 구조적 계획과 검증 메커니즘의 효과성을 입증합니다.
• 도메인 및 난이도: 자연과학 분야나 고난이도 작업에서 기존 모델들의 성능이 급격히 떨어지는 반면, UNIMA 는 상대적으로 안정적인 성능을 유지했습니다.

5. 의의 (Significance)

이 연구는 멀티모달 AI 의 다음 단계인 통합된 임의 - 대 - 임의 인터리브드 학습의 중요성을 강조합니다. UNIM 과 UNIMA 는 단순한 콘텐츠 생성을 넘어, 복잡한 다중 모달 입력을 이해하고 구조화된 다중 모달 출력을 생성하는 고급 추론 능력을 평가할 수 있는 표준을 제시했습니다. 이는 향후 더 강력하고 유연한 범용 멀티모달 지능 (AGI) 을 개발하기 위한 중요한 이정표가 될 것입니다.