Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models

"Beyond Accuracy: Benchmarking Cross-Task Consistency in Unified Multimodal Models"(XTC-Bench) 논문에 대한 상세한 기술적 요약입니다.

1. 문제 제기

통합 멀티모달 모델 (uMMs) 은 공유된 아키텍처 및 표현 공간 내에서 시각적 이해 (지각) 와 시각적 생성 (합성) 을 모두 수행하는 것을 목표로 합니다. 그러나 현재 벤치마크는 이러한 능력을 독립적으로 평가합니다 (예: 이해를 위한 VQA, 생성을 위한 FID/CLIP 점수). 하지만 두 작업 간의 **의미론적 일관성 (semantic coherence)**을 평가하지는 못합니다.

핵심 문제: 모델이 이미지와 관련된 질문에 답변하는 것 (이해) 에서는 뛰어나지만, 동일한 세부 사항을 프롬프트로 요청했을 때 생성하는 것 (생성) 에서는 실패하거나 그 반대의 경우가 발생할 수 있습니다. 이는 모델의 내부 표현에 구조적 비대칭성이 있음을 나타냅니다. 고립된 작업에서의 높은 점수는 모델이 공유된 현실에 기반하기보다는 작업 간에 일관되게 "환각 (hallucinate)"하도록 학습했음을 감출 수 있는, 근본적인 통합된 의미론적 정렬의 부재를 가릴 수 있습니다.

2. 방법론: XTC-Bench

저자들은 교차 작업 시각적 의미론적 일관성을 측정하도록 설계된 장면 그래프 기반 평가 프레임워크인 XTC-Bench를 소개합니다.

A. 데이터 구축 파이프라인

• 소스: COCO 2017 및 Visual Genome에서 수동으로 큐레이션된 2,000 개의 이미지.
• 장면 그래프 추출: 각 이미지에 대한 "참조 장면 그래프 ($G$)"를 생성하기 위해 2 단계 파이프라인이 사용됩니다:
  1. 객체 감지 및 분할: 팬옵틱 분할을 위해 kMaX-DeepLab 사용.
  2. 관계 예측: 쌍별 관계를 예측하기 위해 Fair-PSG 사용.
  3. 정제:
     • 필터링: 부당한 관계를 제거하기 위해 고신뢰도 임계값 적용.
     • VLM 검증: 바운딩 박스 주석을 사용하여 대규모 비전 - 언어 모델 (Qwen3-VL-235B) 이 관계 및 속성을 검증.
     • 속성 생성: 특정 객체에 대한 정확한 속성 인식을 보장하기 위해 "듀얼 뷰 (Dual-View)"접근 (의미론적 스포트라이트 + 세부 사항 크롭) 사용.
• 프롬프트 및 쿼리 생성:
  • 생성 프롬프트: 장면 그래프를 이미지 생성을 위한 자연어 프롬프트로 선형화.
  • 이해 쿼리: 장면 그래프의 모든 원자적 사실 (객체, 속성, 관계) 에 대해 사실에 부합하는 VQA 질문 생성.

B. 평가 프로토콜

주어진 모델 $M$에 대해:

1. 생성: 모델이 프롬프트에서 이미지 ($\hat{I}$) 를 생성합니다. 이 이미지는 동일한 추출 파이프라인을 사용하여 예측된 장면 그래프 ($\hat{G}$) 로 다시 구문 분석됩니다.
2. 이해: 모델이 원본 이미지를 기반으로 VQA 질문에 답변합니다.
3. 매칭: 2 단계 의미론적 그래프 매칭 알고리즘 (할렝거 알고리즘 사용) 이 기준 그래프 $G$와 예측 그래프 $\hat{G}$ 사이의 노드와 엣지를 정렬합니다.

C. 지표

이 프레임워크는 세 가지 주요 지표를 도입합니다:

1. 생성 점수 ($G$) 및 이해 점수 ($U$): 정확한 문자열 매칭 대신 모델의 출력과 기준 진실 간의 의미론적 동등성 (0~5 척도) 을 점수화하는 LLM-as-Judge(Qwen3-235B) 를 사용하여 평가.
2. 연속 교차 작업 합의 (CCTA):
   • 동일한 원자적 사실에 대한 생성 및 이해 응답 간의 일관성을 측정.
   • 공식: $CCTA = \frac{\sum (1 - |g_f - u_f|)}{\sum 1}$.
   • 한계: 일관되게 잘못된 (두 작업에서 동일한 오류를 환각하는) 모델은 CCTA 에서 높은 점수를 받음.
3. 정확도 가중 CCTA (AW-CCTA):
   • 평균 결합 정확도로 일관성 항을 스케일링하여 "일관된 환각" 결함을 해결.
   • 공식: $AW\text{-}CCTA = \frac{\sum (1 - |g_f - u_f|) \cdot \frac{g_f + u_f}{2}}{\sum 1}$.
   • 이 지표는 대칭적으로 잘못된 모델을 패널티하고, 대칭적으로 올바른 모델만 보상함.

3. 주요 기여

1. 교차 작업 일관성의 형식화: 일관성을 고립된 정확도와 구별 가능한 측정 가능한 속성으로 정의하고, 표현 대칭성을 정량화하기 위해 CCTA 및 AW-CCTA를 도입.
2. XTC-Bench 프레임워크: 공유된 구조화된 표현 하에서 생성, 이해 및 그 정렬을 공동으로 평가하는 완전 자동화된 장면 그래프 기반 벤치마크.
3. 실증적 발견: 현재 uMMs 가 체계적인 구조적 비대칭성을 보임을 입증. 한 작업에서의 높은 성능이 다른 작업에서의 정렬을 보장하지 않으며, 아키텍처 통합만으로는 의미론적 일관성이 보장되지 않음을 보여줌.

4. 실험 결과

저자들은 8 개의 오픈 소스 모델 (예: BAGEL, OmniGen, Show-o, Janus-Pro) 과 2 개의 상용 모델 (Gemini, GPT-5) 을 평가했습니다.

• 약한 상관관계: 고립된 작업 성능 ($G$ 또는 $U$) 과 교차 작업 일관성 (AW-CCTA) 사이에는 약한 예측 관계가 존재함. 모델은 높은 생성 점수를 가지지만 정렬은 낮을 수 있음.
• "일관된 환각" 실패 모드:
  • MMaDA-8B와 같은 모델은 높은 원시 CCTA(0.630) 를 보였으나 거의 0 에 가까운 AW-CCTA(0.144) 를 보임. 이는 모델이 동일한 잘못된 사실을 생성하고 이해함을 나타내며, 이는 표준 지표로는 보이지 않는 실패 모드임.
  • BAGEL-7B와 Gemini-2.5 Flash가 가장 높은 AW-CCTA 를 달성하여 더 균형 잡힌 성능을 보임.
• 아키텍처 통찰:
  • 순수 자기회귀 (AR) 모델 (예: OmniGen, Janus-Pro) 이 가장 높은 평균 AW-CCTA 를 보여, 통합된 다음 토큰 예측 목표가 작업을 더 자연스럽게 결합함을 시사.
  • AR + 확산 모델은 생성과 이해 사이에 가장 큰 격차를 보여, 두 구성 요소 간의 보정에 대한 민감도를 나타냄.
  • 순수 확산 모델은 높은 원시 일관성을 보였으나 정확도 가중 일관성은 낮음.
• 이해 > 생성: 대부분의 모델이 생성보다 이해에서 더 높은 점수를 받아, 현재 학습 목표가 생성적 충실도보다 지각적 기반을 더 선호함을 시사.

5. 중요성 및 향후 방향

• 고립된 지표를 넘어: XTC-Bench 는 uMMs 를 평가할 때 고립된 정확도를 넘어 내부 표현 일관성을 측정해야 함을 입증.
• 진단 도구: CCTA 와 AW-CCTA 사이의 편차는 안전이 중요한 애플리케이션에서 위험한 실패 모드인 "일관된 환각"에 대한 중요한 진단 기준이 됨.
• 학습에 대한 지침: 결과는 단순히 아키텍처를 통합하는 것만으로는 부족함을 시사하며, 향후 연구는 지각과 합성이 동일한 의미론적 기반을 공유하도록 보장하기 위해 모달리티 간 학습 목표의 결합에 초점을 맞춰야 함.
• 한계: 현재 프레임워크는 자동화된 교사 모델 (편향을 계승할 수 있음) 과 정적 이미지에 의존함. 향후 연구는 아키텍처 내의 편차 지점을 찾기 위해 화이트박스 프로빙을 탐색하고 프레임워크를 비디오 및 오디오로 확장해야 함.

결론적으로, XTC-Bench 는 통합 멀티모달 모델의 "의미론적 격차"를 드러내기 위한 엄격하고 재현 가능한 방법을 제공하며, 일관된 현실을 진정으로 이해하고 생성하는 모델을 개발하기 위한 구체적인 길을 제시합니다.