1. 문제 정의 (Problem)

현실 세계의 추론 작업은 종종 텍스트와 시각적 단서를 결합하는 교차 모달 (Cross-Modal) 다중 홉 (Multi-Hop) 추론을 요구합니다. 예를 들어, DIY 튜토리얼이나 레시피를 따라 할 때 텍스트 설명과 일련의 이미지를 교차 참조하여 단계, 도구, 결과를 연결해야 합니다.

그러나 기존 멀티모달 벤치마크와 학습 데이터에는 다음과 같은 한계가 존재합니다:

• 단일 모달 의존성: 대부분의 벤치마크는 단일 이미지나 고정된 이미지 집합을 사용하며, 정답을 하나의 모달리티 (텍스트 또는 이미지) 만으로 유추할 수 있는 경우가 많습니다. 이는 진정한 교차 모달 정합성 (Grounding) 능력을 평가하지 못합니다.
• 학습 데이터의 부재: 교차 모달 추론을 강제하는 상호 보완적인 (Complementary) 인터리브드 (Interleaved) 이미지 - 텍스트 데이터가 부족합니다.
• 할루시네이션: 기존 비전 - 언어 모델 (VLM) 은 시각적 증거에 기반하지 않은 추론 경로를 생성하거나, 할루시네이션을 일으키며 복잡한 추론 작업에서 성능이 저하됩니다.
• 데이터 생성의 순환적 편향: VLM 을 이용해 데이터를 자동 생성하면, 모델이 생성한 데이터로 평가받는 순환적 편향 (Cyclical Bias) 과 정합성 실패가 발생할 수 있습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해결하기 위해 CRIT (Cross-modal multi-hop Reasoning over interleaved Image-Text) 라는 새로운 데이터셋과 벤치마크를 제안했습니다. 핵심은 그래프 기반 자동 데이터 생성 파이프라인을 통해 고품질의 복잡한 추론 데이터를 확장 가능하게 생성하는 것입니다.

A. 그래프 기반 자동 생성 파이프라인

VLM 을 직접 질문 생성에 사용하지 않고, 구조화된 그래프를 기반으로 LLM(대형 언어 모델) 만을 활용하여 편향을 줄이고 정합성을 보장합니다. 파이프라인은 세 단계로 구성됩니다:

1. 멀티모달 콘텐츠 그래프 구축 (Multimodal Content Graph Construction):
   • 장면 그래프 (Scene Graph) 가 주어진 이미지 (GQA 등) 를 샘플링합니다.
   • 고유한 엔티티와 관계를 필터링하여 모호성을 제거합니다.
   • LLM 을 활용하여 이미지 노드에 연결된 새로운 텍스트 엔티티와 관계를 생성하고, 이를 그래프에 추가합니다. 이를 통해 서로 다른 이미지 간의 연결을 위한 텍스트 브릿지를 만듭니다.
2. 텍스트적 맥락 생성 (Textual Context Generation):
   • 생성된 그래프의 서브그래프를 추출하여 각 이미지에 대한 보완적인 텍스트 설명 (이야기, 일기, 문서 스크립트 등) 을 생성합니다.
   • 텍스트는 이미지의 속성 정보를 제공하지 않고, 이미지에서 추론해야 할 추가적인 맥락 (예: 사건의 배경, 인물 관계) 을 제공합니다.
3. 질문 - 답변 쌍 생성 (Question-Answer Pair Generation):
   • 그래프에서 1~5 개의 엣지를 가진 서브그래프를 샘플링하여 다중 홉 추론이 필요한 질문을 생성합니다.
   • 핵심 제약 조건: 질문을 풀기 위해 텍스트와 이미지 정보를 모두 사용해야 하며, 중간 엔티티는 질문에 명시되지 않아야 합니다 (추론 과정을 거치도록 강제).
   • 생성된 QA 쌍에 대해 Chain-of-Thought (CoT) 추론 경로를 함께 생성하여 학습 및 평가를 지원합니다.

B. 확장성 (Scalability)

• 자연 이미지: GQA 데이터셋 기반.
• 비디오 프레임: ActivityNet Captions 의 캡션을 기반으로 장면 그래프를 자동 추출하여 적용.
• 텍스트가 풍부한 소스 (과학 논문): SPIQA 데이터셋 기반. 논문 내 텍스트와 그림/표의 관계를 그래프로 변환하여 적용.

3. 주요 기여 (Key Contributions)

1. CRIT 데이터셋 및 벤치마크 구축: 자연 이미지, 비디오, 과학 논문 등 다양한 도메인을 아우르는 대규모 교차 모달 다중 홉 추론 데이터셋 (학습 84,199 개, 테스트 1,446 개, 총 QA 269,467 개) 을 제공합니다. 테스트셋은 인간 어노테이터를 통해 수동 검증되었습니다.
2. 새로운 자동 생성 프레임워크: VLM 의 할루시네이션과 순환적 편향을 피하기 위해 그래프 구조를 기반으로 한 자동 데이터 생성 파이프라인을 제안했습니다.
3. 성능 향상 및 분석: CRIT 로 파인튜닝된 모델이 기존 벤치마크에서 획기적인 성능 향상을 보임을 입증하고, 현재 최첨단 모델들조차 이 작업에서 어려움을 겪고 있음을 분석했습니다.

4. 실험 결과 (Results)

A. CRIT 벤치마크 성능

• 기존 모델의 한계: GPT-4o, Gemini 2.0 Flash 등 최첨단 상용 모델과 오픈소스 모델 (Qwen2.5-VL, LLaVA 등) 모두 CRIT 에서 낮은 성능 (EM 점수 10~35% 대) 을 보였습니다. 이는 교차 모달 다중 홉 추론이 여전히 큰 도전 과제임을 시사합니다.
• CRIT 학습 효과: CRIT 데이터셋으로 파인튜닝된 모델 (Qwen2.5-VL-CRIT, Idefics2-CRIT) 은 모든 도메인에서 베이스라인 대비 큰 성능 향상을 보였으며, 일부 영역에서는 상용 모델보다 우수한 성능을 기록했습니다.

B. 일반 벤치마크에서의 전이 학습 (Transfer Learning)

• 교차 모달 추론 벤치마크 (SPIQA, VEGA, MMQA, FCMR): CRIT 로 추가 학습한 모델은 기존 Mantis-Instruct 학습 모델 대비 모든 벤치마크에서 유의미한 성능 향상을 보였습니다. 특히 SPIQA 에서 METEOR, ROUGE-L, CIDEr 점수가 2 배 이상 향상되었습니다.
• 일반 멀티모달 벤치마크 (MME, SeedBench, ChartQA 등): CRIT 학습은 일반 멀티모달 능력을 저하시키지 않으면서 오히려 일부 벤치마크 (BLINK, MP-DocVQA 등) 에서 성능을 개선했습니다. 이는 더 어려운 추론 작업 학습이 모델의 일반화 능력을 향상시킴을 의미합니다.

C. 오류 분석 (Error Analysis)

• GPT-4o 의 오류를 분석한 결과, 증거 위치 찾기 실패 (Evidence Localization Error) 가 전체 오류의 55% 로 가장 많았습니다. 이는 모델이 정답을 찾기 위해 올바른 이미지나 텍스트 단서를 찾는 데 실패함을 의미합니다.
• 시각적 지각 오류 (28%) 가 텍스트 이해 오류 (8%) 보다 훨씬 빈번하게 발생하여, 모델의 시각적 이해 능력이 언어 이해 능력에 비해 상대적으로 취약함을 보여줍니다.

5. 의의 및 결론 (Significance & Conclusion)

이 논문은 현실 세계의 복잡한 추론 작업을 위해 필수적인 교차 모달 다중 홉 추론 능력을 평가하고 향상시키기 위한 중요한 기반을 마련했습니다.

• 데이터의 질과 양: 수동 수집의 비효율성을 극복하고, 그래프 기반 구조를 통해 할루시네이션을 최소화한 고품질 데이터를 대량으로 생성할 수 있음을 입증했습니다.
• 모델 능력의 한계와 개선: 현재 VLM 들이 교차 모달 정합성에서 여전히 취약함을 보여주었으며, CRIT 와 같은 도전적인 데이터로 학습하면 모델의 추론 능력과 일반화 성능이 크게 향상됨을 확인했습니다.
• 미래 방향: 확장된 데이터 (자동 생성 주석 포함) 를 통해 성능이 지속적으로 향상됨을 보여주어, 향후 대규모 멀티모달 추론 모델 개발을 위한 효과적인 데이터 증강 전략을 제시했습니다.

결론적으로 CRIT 는 멀티모달 AI 가 단순한 인식 (Recognition) 을 넘어, 텍스트와 이미지를 통합하여 복잡한 논리적 추론을 수행할 수 있는 능력을 함양하는 데 필수적인 도구로 평가됩니다.