1. 문제 정의 (Problem Definition)

현대적인 멀티모달 대형 언어 모델 (MLLM) 은 텍스트, 이미지, 오디오, 비디오가 섞인 (interleaved) 입력을 받아 유창한 응답을 생성할 수 있습니다. 그러나 생성된 문장이나 구절이 어떤 입력 소스 (특정 텍스트 구간, 이미지 영역, 오디오/비디오 타임스탬프) 에 기반하여 생성되었는지를 추적하는 것은 여전히 해결되지 않은 과제입니다.

기존의 Attribution (귀속) 방법론은 다음과 같은 한계가 있어 옴니모달 생성 작업에 직접 적용하기 어렵습니다:

• 고정된 목표 의존성: 기존 방법은 분류 (classification) 나 고정된 예측 대상 (extractive span) 을 가정하며, 사전에 정의된 정답을 기준으로 중요도를 계산합니다.
• 단일 모달리티 또는 인코더 기반: 대부분의 방법은 단일 모달리티 입력이나 인코더 기반 아키텍처에 맞춰져 있어, 디코더 전용 (decoder-only) 모델의 autoregressive(자기회귀적) 생성 과정과 호환되지 않습니다.
• 의미론적 불일치: 토큰 수준의 신호 (attention weight, gradient) 는 노이즈가 많고 모달리티 간에 파편화되어 있어, 인간이 이해할 수 있는 의미 있는 문장 단위 (span-level) 의 설명을 제공하기 어렵습니다.

따라서, 생성 시간 (generation-time) 에 실시간으로 작동하며, 다양한 모달리티의 입력을 통합적으로 추적하고, 의미 있는 단위별로 소스를 설명할 수 있는 프레임워크가 필요합니다.

2. 방법론 (Methodology: OmniTrace)

저자들은 OmniTrace라는 경량화되고 모델에 구애받지 않는 (model-agnostic) 프레임워크를 제안합니다. 이는 토큰 수준의 신호를 의미 있는 스판 (span) 수준의 설명으로 변환하는 생성 시간 추적 (generation-time tracing) 문제를 공식화합니다.

핵심 구성 요소 및 알고리즘

1. 생성 시간 소스 추적 (Generation-Time Source Tracing):

   • 디코딩 루프 내에서 각 생성 토큰 $y_t$가 생성될 때, 인과적 컨텍스트 (입력 토큰 + 이전 생성 토큰) 에 대한 토큰 수준의 Attribution 신호 $a_t(i)$를 계산합니다.
   • 이 신호는 Attention 가중치, Gradient 기반 점수 등 임의의 메커니즘에서 추출 가능합니다.
   • 각 토큰은 미리 정의된 소스 단위 (텍스트 구간, 이미지 영역, 오디오/비디오 타임스탬프) 중 Attribution 질량 (mass) 이 가장 높은 소스로 매핑됩니다.

2. 스팬 수준 집계 및 신뢰도 기반 소스 선택 (Span-Level Aggregation & Confidence-Based Selection):

   • 개별 토큰 추적은 노이즈가 많으므로, 생성된 텍스트를 의미 있는 덩어리 (구, 문장 등) 로 분할 (Chunking) 합니다.
   • 각 스판 내의 토큰들에 대한 소스 매핑과 신뢰도 점수를 집계합니다.
   • 소스 큐레이션 (Source Curation): 노이즈를 제거하고 일관된 설명을 만들기 위해 다음 기법을 적용합니다.
     • POS(품사) 가중치: 명사, 고유명사 등 의미 있는 토큰에 더 높은 가중치를 부여합니다.
     • 신뢰도 가중 (Confidence Weighting): 매핑 신뢰도가 높은 신호를 증폭시킵니다.
     • 연속성 제약 (Run-level Coherence): 시간적으로 연속적인 소스 할당을 선호하여 파편화를 방지합니다.
     • 임계값 필터링: 미미한 Attribution 질량을 가진 소스를 제거합니다.

3. 모델 무관성 (Model-Agnostic):

   • OmniTrace 는 특정 모델 구조나 Attribution 신호 (Attention, Gradient 등) 에 의존하지 않으며, 디코딩 과정 중 온라인으로 실행되어 재학습 (retraining) 이나 추가 지도 학습이 필요 없습니다.

3. 주요 기여 (Key Contributions)

1. 공식화: 오픈 엔디드 (open-ended) 멀티모달 생성에서의 Attribution 을 '고정된 목표'가 아닌 '생성 시간 추적 문제'로 재정의하고, 디코더 전용 아키텍처의 한계를 지적했습니다.
2. OmniTrace 프레임워크 제안: 토큰 수준의 신호를 스판 수준의 교차 모달 (cross-modal) 소스 설명으로 변환하는 범용 프로토콜을 개발했습니다. 이는 재학습 없이 다양한 신호에 적용 가능합니다.
3. 실험적 검증: 시각, 오디오, 비디오 작업 전반에 걸쳐 생성 인식형 스판 수준 Attribution 이 기존 베이스라인보다 더 안정적이고 해석 가능한 결과를 제공함을 입증했습니다.

4. 실험 결과 (Results)

저자들은 Qwen2.5-Omni와 MiniCPM-o-4.5 모델을 사용하여 시각 (Visual), 오디오 (Audio), 비디오 (Video) 작업 (QA, 요약, 추론 등 총 759 개 예시) 에서 OmniTrace 를 평가했습니다.

• 성능 비교:

  • OmniTrace 는 Naive Self-Attribution(모델이 스스로 설명하는 방식) 및 Embedding 기반 베이스라인보다 모든 작업에서 F1 점수가 크게 향상되었습니다.
  • 예: Qwen2.5-Omni 기준 시각 요약 (Visual Summarization) 에서 OmniTrace(OTAttMean) 는 75.66의 Text F1 을 기록한 반면, Self-Attribution 은 9.25에 불과했습니다.
  • 오디오/비디오 작업에서도 연속적인 타임스탬프에 대한 Attribution(Time-F1) 에서 우수한 성능을 보였습니다.

• Ablation Study (성분 분석):

  • 이미지 Attribution 민감도: 이미지 Attribution 은 텍스트보다 필터링 메커니즘 (POS 가중치, 신뢰도 가중치 등) 에 훨씬 민감했습니다. 필터링을 제거할 경우 이미지 F1 이 76.59 에서 약 20 으로 급락하여, 노이즈 제거가 시각적 근거 추적에 필수적임을 보여줍니다.
  • ASR 분할의 중요성: 오디오 작업에서 고품질의 자동 음성 인식 (ASR) 분할 (예: Paraformer) 을 사용할 때 Attribution 정확도가 크게 향상되었으며, 원시 토큰 (raw token) 기반 접근법은 성능이 현저히 저하되었습니다.
  • 모달리티 상호보완성: 비디오 작업에서 시각과 오디오 정보를 모두 사용할 때 Attribution 성능이 가장 높았으며, 단일 모달리티만 사용할 경우 성능이 떨어졌습니다.

• 생성 품질 vs Attribution 품질:

  • 생성된 답변의 정답 여부와 Attribution 품질이 항상 비례하지는 않았습니다. 모델이 잘못된 답을 내놓더라도 관련 증거를 잘 추적하는 경우가 있어, Attribution 은 모델의 '근거 기반 추론 과정'을 반영한다는 것을 시사합니다.

5. 의의 및 결론 (Significance)

• 투명성과 신뢰성 확보: OmniTrace 는 옴니모달 LLM 의 '블랙박스' 성격을 해소하고, 생성된 내용이 어떤 입력 증거에 기반했는지 명확히 보여줌으로써 모델의 투명성 (transparency) 을 높입니다.
• 확장 가능한 기반: 이 프레임워크는 다양한 모달리티와 모델 아키텍처에 적용 가능한 확장 가능한 기반을 제공하며, 디버깅, 모델 개선, 그리고 신뢰할 수 있는 AI 시스템 구축에 중요한 역할을 합니다.
• 미래 방향: 생성 시간 추적 (generation-time tracing) 은 고정된 출력에 의존하는 기존 Attribution 방법론의 한계를 극복하고, 복잡한 멀티모달 환경에서 모델의 의사결정 과정을 이해하는 새로운 표준을 제시합니다.

요약하자면, OmniTrace는 멀티모달 LLM 이 생성하는 각 문장이 입력 데이터의 어떤 부분 (텍스트, 이미지, 오디오, 비디오) 에서 유래했는지 실시간으로 추적하고 인간이 이해하기 쉬운 형태로 설명해주는 혁신적인 프레임워크입니다.