기술 요약: 언어 선입관 탈출: 모달리티 인식 정책 최적화를 통한 오디오 추론의 후기 모달리티 붕괴 완화

1. 문제 제기

오디오 및 올모달 대규모 언어 모델 (LLM) 은 인상적인 교차 모달 추론 능력을 입증해 왔습니다. 그러나 이러한 모델에 표준 강화 학습 (RL) 사후 학습 알고리즘 (예: PPO, DPO, GRPO) 을 적용할 경우, 후기 모달리티 붕괴라는 치명적인 구조적 취약점이 드러납니다.

표준 RL 방법은 모든 생성된 토큰에 대해 균일한 정책 기울기를 적용하여, 각 토큰이 학습 신호에 동등하게 기여한다고 가정합니다. 그러나 교차 모달 생성에서 이 가정은 결함이 있습니다. 많은 토큰은 모델의 내부 언어 선입관으로 예측 가능한 언어적 발판 역할을 하는 반면, 핵심적인 하위 집합은 필수적인 음향 속성을 포착하기 위해 비텍스트 소스 모달리티 (예: 원시 오디오) 에 전적으로 의존합니다. 균일한 가중치는 모달리티와 무관한 텍스트에 최적화 예산을 낭비하게 하고, 능동적인 교차 모달 그라운딩이 필요한 토큰에 대한 학습 신호를 희석시킵니다.

이 비효율성은 확장된 사고의 사슬 (Chain-of-Thought, CoT) 생성 중 심각한 실패 모드로 이어집니다: 추론 궤적이 길어짐에 따라 모델은 압축된 텍스트 선입관을 선호하며 압축되지 않은 주요 소스 신호를 점차 포기합니다. 이는 모델이 소스 오디오와 인식적으로 단절되는 "확신하지만 근거 없는 환각"을 초래합니다. 중요하게도, 모델이 언어 선입관에 굴복함에 따라 병적으로 확신을 갖게 되어, 표준 엔트로피 기반 개입이 잃어버린 그라운딩을 회복하는 데 실패하게 됩니다.

2. 방법론: 모달리티 인식 정책 최적화 (MAPO)

이러한 과제를 해결하기 위해 저자들은 **모달리티 인식 정책 최적화 (MAPO)**를 제안합니다. 이는 그룹 상대 정책 최적화 (GRPO) 를 기반으로 구축된 새로운 이중 분기 강화 학습 프레임워크입니다. MAPO 는 언어 선입관을 깨고 지속적인 교차 모달 그라운딩을 강제하도록 설계된 두 가지 보완적 메커니즘을 통해 학습 목적을 수정합니다.

2.1 핵심 지표

최적화 목적을 정의하기 전에, MAPO 는 두 가지 정량적 지표를 도입합니다:

• 오디오 어텐션 질량 ($a_t$): 모델의 자기 어텐션 분포 내에서 교차 모달 입력 시퀀스로 라우팅된 총체적 확률 질량의 측정치입니다. 이는 능동적인 지각 대역폭의 대리 지표 역할을 합니다. 경험적 분석에 따르면, 이 질량은 생성 후기 단계에서 현저히 감소하여 모델이 "듣는 것"을 멈추고 있음을 나타냅니다.
• 교차 모달 미분 엔트로피 ($\Delta h_t$): 고정된 텍스트 전용 참조 모델 ($\pi_{text-ref}$) 과 실시간 멀티모달 정책 ($\pi_\theta$) 간의 토큰 수준 엔트로피 차이입니다.
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  이 지표는 비텍스트 모달리티가 제공하는 정보 이득을 분리합니다. 높은 $\Delta h_t$는 오디오 소스가 예측 분포를 크게 변경하는 토큰을 나타내며, 교차 모달 지각이 필요한 "핵심 토큰"을 식별합니다.

2.2 이중 분기 최적화 목적

전체 MAPO 목적 함수는 다음과 같이 정의됩니다:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. 모달리티 관련성 마스크 및 재가중치 정책 기울기 ($\mathcal{L}_{PG}$)

표준 GRPO 는 토큰 손실을 균일하게 ($1/T$) 평균화합니다. MAPO 는 교차 모달 미분 엔트로피에서 파생된 동적 토큰 수준 **모달리티 관련성 마스크 ($\tilde{\omega}$)**로 이를 대체합니다.

• 메커니즘: 마스크는 정책 기울기를 재가중치하여, 소스 오디오가 예측 분포에 강력하게 영향을 미치는 토큰으로 최적화 예산을 불균형적으로 할당합니다.
• 구현: 마스크는 길이 의존적 온도로 스케일링되고 극단적 증폭을 방지하기 위해 캡핑된 절대 미분 엔트로피 $|\Delta h_t|$에 소프트맥스를 적용하여 구성됩니다. 최종 손실은 안정적인 학습률을 유지하기 위해 가중치 합으로 정규화됩니다.
• 효과: 이는 모달리티에 중요한 토큰의 기울기 기여도를 동적으로 상향 조정하는 반면, 언어적 발판은 하향 조정합니다.

B. 보조 어텐션 손실 분기 ($\mathcal{L}_{attn}$)

마스크는 기울기 예산을 수정하지만, 모델이 신호에 대한 잠재적 인식을 유지하도록 의존합니다. 후기 붕괴를 직접적으로 대응하기 위해 MAPO 는 추론 체인 깊숙이 소스 신호를 소홀히 하는 것을 처벌하는 보조 손실 분기를 도입합니다.

• 메커니즘: 이 분기는 모델의 내부 어텐션 분포에 타겟팅되고 시간적으로 스케일링된 패널티를 적용합니다. 이는 품사 게이트를 통해 격리된 언어적으로 실질적인 위치에서 특히 오디오 어텐션 질량 ($a_t$) 이 낮은 토큰을 처벌합니다.
• 시간적 스케일링: 패널티는 의심스러울 정도로 낮은 미분 엔트로피를 가진 토큰을 타겟팅하는 역 관련성 마스크와 비감소 시간 가중치 $(t/T)^\kappa$로 가중치가 부여되며, 붕괴가 일반적으로 발생하는 시퀀스 말단에 패널티를 집중시킵니다.
• 기울기 흐름: 이 분기에서 나오는 기울기는 오디오 어텐션 질량을 통해 엄격히 흐르며, 트랜스포머의 멀티헤드 어텐션 파라미터 (쿼리와 키 프로젝션) 로 직접 전달되어 언어 모델링 헤드는 방해받지 않습니다. 이는 모델이 추론 궤적 깊숙이 교차 모달 그라운딩을 능동적으로 유지하도록 강제합니다.

3. 주요 기여

1. 후기 모달리티 붕괴의 형식화: 저자들은 교차 모달 RL 에서 균일한 토큰 가중치의 한계를 식별하고 형식화하여, 장기적 추론 동안 언어 선입관이 모델의 진정한 불확실성을 가리고 확신 있는 환각으로 이어지는 방식을 강조합니다.
2. MAPO 프레임워크: 교차 모달 미분 엔트로피를 활용하여 모달리티에 중요한 토큰을 우선시하고, 타겟팅된 어텐션 패널티를 도입하여 지속적인 교차 모달 그라운딩을 강제하는 이중 분기 최적화 프레임워크를 제안합니다.
3. 경험적 검증: 복잡한 오디오 추론 작업 (음성, 음악, 사운드 이벤트) 에 대한 광범위한 평가를 통해, MAPO 가 장기 추론의 충실도와 언어 선입관 환각에 대한 견고성을 모두 향상시켜 오픈 가중치 모델 간 새로운 최첨단 결과를 달성함을 입증합니다.

4. 실험 결과

저자들은 Qwen3-Omni-30B-A3B-Thinking 모델을 기본 정책으로 사용하여 MAPO 를 평가했으며, AVQA, AudioSet, LibriTTS-R, MusicCaps 를 포함한 다양한 오디오 QA 데이터셋의 혼합으로 학습시켰습니다.

4.1 제거 실험

• 구성 요소 영향: 기본 모델에 대한 표준 GRPO 는 성능을 약간 저하시켰습니다 (평균: 70.21 $\to$ 69.51). 모달리티 관련성 마스크를 추가하면 성능이 회복되었습니다 (70.53). 보조 어텐션 손실을 통합하면 상당한 도약이 이루어졌습니다 (71.51). 이는 구조적으로 지속적인 소스 그라운딩을 강제함으로써 붕괴를 완화함을 검증합니다.
• 전체 파인튜닝: MAPO 는 전체 파라미터 업데이트 하에서도 표준 GRPO 보다 명확한 우위를 유지하며, 최종 2 단계 벤치마크에서 전체 평균 73.34를 달성했습니다.

4.2 벤치마크 성능

• 모달리티 중심 벤치마크 (MMAU, MMAR): MAPO 는 오픈 가중치 모델에 대한 새로운 최첨단 결과를 달성했습니다. MMAU 에서 77.80점을 기록하여 선도적인 독점 모델 (Nova 2 Omni) 과 맞먹으며, Gemini 2.5 Pro(71.60) 와 GPT-4o Audio(62.50) 를 크게 앞섰습니다. Qwen3-Omni-Thinking 베이스라인과 비교하여 MAPO 는 MMAU 를 +2.80, MMAR 를 +4.00 향상시켰습니다.
• 역량 및 지시 따르기 (MMSU, MMAU-Pro): MAPO 는 MMSU 에서 79.36의 최고 전체 점수를 달성하여 지각과 추론에서 동시에 개선을 보였습니다. 특히 MMAU-Pro 에서 오디오 지시 따르기 (AIF) 점수를 62.07 에서 95.40으로 끌어올려 Gemini 2.5 Flash(95.10) 와 같이 고도로 최적화된 모델을 능가했습니다.

4.3 정성적 분석

사례 연구에 따르면, 어텐션 손실 분기가 없는 경우 모델은 종종 초기 음향 단서를 올바르게 식별한 후 잘못된 텍스트 선입관으로 이탈했습니다 (예: 리드미컬한 덜거덕거림으로 인해 "마차"를 "기차"로 잘못 식별). 전체 MAPO 프레임워크는 추론 궤적 깊숙이 오디오 어텐션을 유지하여 모델이 모호한 단서를 정제하고 오해의 소지가 있는 선입관을 거부할 수 있게 했습니다.

5. 중요성과 주장

이 논문은 MAPO 가 다양한 멀티모달 시스템에서 인식적 붕괴를 완화하는 유망한 기반을 제공한다고 주장합니다. 그 중요성은 세 가지 영역에 있습니다:

1. 구조적 수정: 확장된 추론 동안 모델이 소스 모달리티를 포기하게 만드는 표준 RL 사후 학습의 근본적인 구조적 비효율성 (균일한 토큰 가중치) 을 해결합니다.
2. 네이티브 신호 의존성: 외부 교사 모델이나 도메인 특화 귀납적 편향 (예: 시각적 유사성 지표) 에 의존하는 이전 방법과 달리, MAPO 는 모델 자체에서 파생된 네이티브 통계적 신호(어텐션 가중치 및 예측 엔트로피) 에 엄격히 의존합니다.
3. 일반화 가능성: 오디오에서 검증되었지만, 저자들은 프레임워크의 토큰 재가중치 및 어텐션 조종 메커니즘이 모달리티와 무관하다고 가정하여, 비전 및 비디오와 같은 다른 연속 비텍스트 모달리티에도 적용 가능함을 시사합니다.

저자들은 MAPO 가 능력 주입 메커니즘이 아닌 정렬 및 정규화 프레임워크임을 명시적으로 지적합니다. 이는 모델이 기존 지각 및 추론 능력을 완전히 활용하도록 보장하지만, 기본 사전 학습에 없는 능력을 합성하지는 않습니다. 또한, 내재적 CoT 기능이 부족한 지시 튜닝 모델에 MAPO 를 적용하면 제한된 성공만 거둔다고 관찰했는데, 이는 간결성에 대한 근본적인 선입관이 최적화 잠재력을 제한하기 때문입니다.