기술 요약: 먼저 분리, 이후 융합 (SFFL)

1. 문제 제기

현재 오디오 - 비주얼 대규모 언어 모델 (AVLM) 은 종종 교차 모달 간섭으로 고통받는데, 이는 한 모달리티 (예: 시각) 의 정보가 다른 모달리티 (예: 오디오) 의 해석을 부적절하게 편향시켜 환각을 초래합니다. 예를 들어, 오디오에 해당 소리에 대한 증거가 없더라도 모델은 비디오에 보이는 동물에게 소리를 귀속시킬 수 있습니다. 저자들은 이를 두 가지 주요 요인으로 귀결합니다:

1. 통제되지 않은 결합 추론: 대부분의 기존 AVLM 은 오디오 및 비주얼 토큰을 단일 스트림에 연결하여, 한 모달리티의 관련 없는 신호가 다른 모달리티의 추론 과정에 간섭하도록 합니다.
2. 모달리티 편향: 현재 모델은 시각 중심 편향을 보이며, 종종 청각적 증거를 과소 활용하거나 오해하는 대신 시각적 단서에 크게 의존합니다.

2. 방법론: 먼저 분리, 이후 융합 (SFFL)

저자들은 증거를 통합하기 전에 모달리티별 처리를 격리하도록 설계된 구조화된 추론 프레임워크인 SFFL을 제안합니다. 이 프레임워크는 세 가지 핵심 구성 요소로 이루어져 있습니다:

A. 선호 증거 모달리티 (PEM) 데이터 파이프라인

모델이 특정 질문에 대한 결정적 증거를 제공하는 모달리티를 식별하도록 훈련시키기 위해, 저자들은 AVQA-PEM-14K 데이터셋을 구축했습니다.

• 프로세스: 각 AVQA 인스턴스에 대해 오디오 전용 (A), 비디오 전용 (V), 오디오 - 비주얼 (AV) 의 세 가지 입력 설정 하에 사고의 사슬 (CoT) 답변을 생성합니다.
• 레이블링: 이러한 설정 간의 일관성 및 정확도율을 기반으로 인스턴스는 다음과 같이 레이블링됩니다:
  • PEM = 오디오: A 와 AV 로는 해결 가능하지만 V 로는 해결 불가.
  • PEM = 비주얼: V 와 AV 로는 해결 가능하지만 A 로는 해결 불가.
  • PEM = 오디오 - 비주얼: AV 로만 해결 가능 (둘 다 필요).
• 사용: 이러한 레이블은 인스턴스 의존적 모달리티 선호도를 장려하는 보조 신호로 작용합니다.

B. 모달리티 비대칭 어텐션 마스크 (MAAM) 를 통한 구조화된 추론

SFFL 은 특정 제어 태그 (<mod>, <v>, <a>, <sum>, <ans>) 를 사용하여 출력을 구조화함으로써 "분리 후 융합" 추론 패러다임을 강제합니다.

• 분리: 모델은 시각 (<v>) 및 오디오 (<a>) 입력에 대해 독립적으로 별도의 추론 흔적을 생성합니다.
• 융합: 증거는 최종 답변 전 <sum> 단계에서만 통합됩니다.
• MAAM: 분리된 추론 단계 중 정보 누출을 방지하기 위해 (표준 인과적 어텐션이 잘못된 모달리티의 입력에 토큰이 어텐션하도록 허용할 수 있음), 저자들은 모달리티 비대칭 어텐션 마스크를 도입합니다. 이 마스크는 명시적으로 다음을 차단합니다:
  • 오디오 입력 토큰에 어텐션하는 비주얼 추론 토큰.
  • 비디오 입력 토큰 또는 비주얼 추론 구간에 어텐션하는 오디오 추론 토큰.

C. 2 단계 강화 학습 (GRPO)

모델은 두 가지 다른 단계와 보상 함수를 사용하여 그룹 상대 정책 최적화 (GRPO) 로 훈련됩니다:

1. 1 단계 (구조 및 선호): 모달리티 선호 및 구조 보상($R_{mps}$)을 최적화합니다. 모델은 PEM 을 올바르게 식별하고 분리된 추론 구조를 준수하는 것에 대해 보상을 받습니다.
2. 2 단계 (정확도 및 구조): 정답 정확도 보상($R_{acc}$)과 구조 보상의 가중 합을 최적화합니다. 이 단계는 격리된 추론 구조를 유지하면서 올바른 답변을 생성하는 모델의 능력을 정제합니다.

3. 주요 기여

1. SFFL 프레임워크: 사고의 사슬 (CoT) 단계 동안 모달리티 격리를 강제하고 증거 통합 단계까지 융합을 지연시켜 조기 교차 모달 간섭을 방지하는 새로운 추론 패러다임.
2. PEM 데이터 파이프라인: "선호 증거 모달리티" 레이블을 가진 훈련 데이터를 자동으로 구축하는 방법으로, 모델이 특정 모달리티에 대한 인스턴스 의존적 의존성을 학습하도록 함.
3. 모달리티 비대칭 어텐션 마스크 (MAAM): 표준 어텐션 메커니즘에서 오디오 - 비주얼 정보의 구조적 얽힘을 해결하기 위해 토큰 생성 중 모달리티 격리를 엄격히 강제하는 메커니즘.
4. 2 단계 GRPO 훈련: 모델의 증거 선호 및 추론 구조를 먼저 정렬한 후 정답 정확도를 최적화하는 훈련 전략으로, 견고성과 성능 사이의 균형을 맞춤.

4. 실험 결과

저자들은 AVHBench(교차 모달 환각) 및 세 가지 일반 AVQA 벤치마크 (AVQA, Valor32k-AVQA v2.0, MUSIC-AVQA) 에서 SFFL 을 평가했습니다.

• 환각 완화: AVHBench 교차 모달 환각 벤치마크에서 SFFL 은 베이스라인 대비 평균 상대적 향상 **11.17%**를 달성했습니다.
• 일반 성능: 일반 AVQA 벤치마크에서 SFFL 은 평균 상대적 향상 **5.16%**를 기록했습니다.
• 구체적 향상: Qwen3-Omni-30B 백본을 사용할 때, SFFL 은 평균 환각 점수를 81.29(제로샷 대비 73.12) 로, 일반 QA 평균을 80.24로 개선했습니다.
• Ablation 연구:
  • SFR (분리 후 융합 추론): 모달리티 간 일관성이 필요한 작업 (MIS) 에서 주로 성능을 개선하여 간섭을 감소시켰습니다.
  • MAAM: 교차 모달 누출을 효과적으로 억제함으로써 모든 지표에서 일관되고 유의미한 향상을 제공했습니다.
  • 훈련 전략: 2 단계 GRPO 접근 방식은 SFT 및 단일 보상 GRPO 베이스라인 모두를 능가하여, 정답 정확도 최적화 전에 모달리티 선호도를 정렬하는 것의 필요성을 입증했습니다.

5. 중요성 및 주장

본 논문은 SFFL 이 AVLM 이 정보를 처리하는 방식을 근본적으로 재구성함으로써 교차 모달 간섭에 대한 효과적인 해결책을 제공한다고 주장합니다. 휴리스틱 제약이나 비용이 많이 드는 사후 수정에 의존하는 대신, SFFL 은 오디오 및 비주얼 데이터의 구조적 얽힘을 근원적으로 해결합니다.

저자들은 그들의 방법이 새로운 지식을 주입하는 것이 아니라 기존 백본의 잠재 능력을 해제한다고 강조합니다. 인스턴스별 증거 요구 사항 (PEM 을 통해) 과 모델의 추론 과정을 정렬하고 정보 누출 (MAAM 을 통해) 을 방지함으로써, 이 프레임워크는 특히 환각이 발생하기 쉬운 시나리오에서 오디오 - 비주얼 추론의 정확성과 견고성을 크게 향상시킵니다.