논문 요약: Cross-Modal Coreference Alignment: Enabling Reliable Information Transfer in Omni-LLMs

이 논문은 Omni-LLM(Omni Large Language Models) 이 전역적인 멀티모달 지각 능력은 뛰어나지만, 복잡한 시나리오에서 여러 모달리티 (텍스트, 오디오, 비디오) 간의 **정교한 상호 참조 **(Cross-Modal Coreference)가 필요한 추론 작업에서는 여전히 부진함을 지적합니다. 저자들은 이러한 격차를 해소하기 위해 '교차 모달 코어퍼런스 정렬 (Cross-Modal Coreference Alignment)'을 핵심 과제로 정의하고, 이를 해결하기 위한 새로운 데이터셋과 학습 전략을 제안합니다.

1. 문제 정의 (Problem Definition)

기존의 Omni-LLM 연구는 주로 여러 모달리티의 정보를 단순히 **집계 **(Aggregation)하여 답변을 도출하는 데 초점을 맞추었습니다. 그러나 복잡한 추론에서는 단순히 정보를 모으는 것을 넘어, **한 모달리티의 참조 대상 **(Referent)하는 **정교한 정렬 **(Fine-grained Alignment)이 필수적입니다.

• 핵심 문제: 모델이 소스 모달리티 (예: 텍스트) 에서 특정 인물을 식별하고, 이를 타겟 모달리티 (예: 비디오 또는 오디오) 에서 재식별하여 정보를 연결하는 '코어퍼런스 (Coreference)' 능력이 부족합니다.
• 결과: 현재 모델들은 단일 모달리티 내에서는 잘 작동하지만, 모달리티 간 정보 전달이 필요한 경우 일관된 참조 관계를 유지하지 못해 추론 성능이 급격히 저하됩니다.

2. 방법론 (Methodology)

저자들은 이 문제를 해결하기 위해 CROSSOMNI 데이터셋을 구축하고, 이를 기반으로 **코어퍼런스 인식 사고 패턴 **(Coreference-aware Thinking Patterns)을 유도하는 두 가지 전략을 제안했습니다.

2.1 CROSSOMNI 데이터셋

• 구성: 텍스트, 오디오, 비디오 3 가지 모달리티를 아우르는 9 가지 작업 (단일 모달리티 3 가지, 교차 모달리티 6 가지) 으로 구성되었습니다.
• 특징:
  • 소스 - 타겟 정렬 구조: 질문을 해결하기 위해 소스 모달리티에서 참조 대상을 찾고, 타겟 모달리티에서 해당 정보를 추출하는 구조를 명시적으로 정의합니다.
  • **인간 설계 추론 근거 **(Rationales) 각 질문에 대해 단계별 추론 과정 (1. 소스/타겟 식별, 2. 소스 내 참조 대상 위치 파악, 3. 타겟 내 정렬된 참조 대상 찾기, 4. 답변 추출) 을 포함한 인간이 검증한 추론 근거를 제공합니다.
  • 규모: 4,147 개의 비디오와 39,726 개의 질문 - 답변 쌍을 포함하며, TVQA 데이터를 기반으로 제작되었습니다.

2.2 학습 전략

모델이 교차 모달 추론을 위해 필요한 사고 패턴을 학습하도록 두 가지 접근법을 제안합니다.

1. **학습 없는 방법 **(Training-free)

   • 기존 모델에 단계별 추론 (Step-by-step reasoning) 을 유도하는 프롬프트를 제공하여, 소스 모달리티에서 정보를 찾고 타겟으로 연결하는 과정을 명시적으로 수행하도록 유도합니다.
   • 별도의 추가 학습 없이도 성능 향상을 기대할 수 있습니다.

2. **학습 기반 방법 **(Training-based)

   • **SFT **(Supervised Fine-Tuning) CROSSOMNI 데이터셋의 인간 설계 추론 근거 (CoT) 를 사용하여 모델을 미세 조정합니다.
   • **GRPO **(Group Relative Policy Optimization) SFT 이후, 강화 학습을 적용합니다. 여기서 '사고 패턴 보상 (Thinking-pattern reward)'을 도입하여 모델이 모달리티 간 정렬을 논리적으로 수행하는지, 형식이 올바른지, 맥락이 일관된지를 평가하여 보상을 부여합니다. 이는 모델이 단순히 정답을 외우는 것이 아니라, 올바른 추론 경로를 학습하도록 돕습니다.

3. 주요 결과 (Key Results)

13 개의 주요 Omni-LLM 을 대상으로 한 실험 결과는 다음과 같습니다.

• 성능 격차 확인: 13 개 모델 모두 단일 모달리티 작업에 비해 교차 모달리티 작업에서 약 21% 낮은 성능을 보였습니다. 이는 현재 Omni-LLM 이 교차 모달 정렬에 취약함을 시사합니다.
• 사고 패턴의 중요성:
  • 단순한 CoT 프롬프팅만으로는 성능 향상이 미미했습니다 (약 1.7% 향상).
  • ICL 적용: 성능이 크게 개선되었으며, 특히 교차 모달리티 작업에서 21% 의 상대적 향상을 보였습니다.
  • SFT+GRPO 적용: 가장 큰 성과를 거두었습니다. Qwen2.5-Omni-7B 모델의 경우, GRPO 적용 후 전체 성능이 24.23% 향상되었고, 교차 모달리티 작업에서는 더 큰 개선을 보였습니다.
• **일반화 능력 **(Generalization) CROSSOMNI 에서 학습된 교차 모달 정렬 능력은 Daily-Omni, WorldSense, AVUT 와 같은 다른 OOD (Out-of-Distribution) 벤치마크에서도 뛰어난 성능 향상을 보여주었습니다. 이는 교차 모달 코어퍼런스 능력이 Omni-LLM 의 일반적인 협력 추론 (Collaborative Reasoning) 능력의 핵심 요소임을 입증합니다.

4. 주요 기여 (Key Contributions)

1. 교차 모달 코어퍼런스 정렬의 정의: Omni-LLM 의 성능 향상을 위한 새로운 패러다임을 제시하며, 단순한 정보 집계가 아닌 정교한 참조 대상 정렬의 중요성을 강조합니다.
2. CROSSOMNI 데이터셋: 9 가지 다양한 작업 유형과 인간이 설계한 추론 근거 (Rationales) 를 포함한 대규모 다중 태스크 데이터셋을 공개하여, 교차 모달 정렬 능력의 평가 및 학습을 가능하게 했습니다.
3. 코어퍼런스 인식 사고 패턴 유도: 학습 없는 ICL 과 학습 기반 SFT+GRPO 프레임워크를 통해 모델이 구조화된 사고 패턴을 학습하도록 유도하는 방법을 제시했습니다. 이는 교차 모달 추론뿐만 아니라 일반적인 Omni-LLM 의 추론 능력을 근본적으로 향상시킵니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 Omni-LLM 이 복잡한 멀티모달 추론을 수행하는 데 있어 **'교차 모달 코어퍼런스 정렬'이 누락된 핵심 퍼즐 **(Missing Piece)임을 밝혔습니다. 단순히 모달리티를 결합하는 것을 넘어, 서로 다른 모달리티 간의 동일한 대상을 정확히 연결하고 정보를 전달하는 능력이 신뢰할 수 있는 Omni-LLM 의 발전에 필수적임을 증명했습니다.

제안된 CROSSOMNI 데이터셋과 SFT+GRPO 기반의 사고 패턴 학습 방법은 향후 Omni-LLM 이 더 정교하고 신뢰할 수 있는 멀티모달 이해 및 추론 능력을 갖추기 위한 구체적인 방향성을 제시합니다. 특히, 모델이 단순히 정보를 기억하는 것이 아니라, 모달리티 간 논리적 연결을 통해 추론하는 '사고 패턴'을 학습하는 것이 중요하다는 점을 강조합니다.