기술 요약: 시각적 편향 제거 평가를 통한 단계별 사후 학습으로 범모달 언어 모델 강화

문제 제기

범모달 언어 모델 (LLM) 은 오디오, 시각, 텍스트 입력을 공동으로 처리하도록 설계되었습니다. 그러나 해당 논문은 기존 벤치마크에서의 강력한 성능이 반드시 진정한 범모달 통합을 나타내는 것은 아니라고 주장합니다. 벤치마크 점수 상승의 상당 부분은 '시각적 단축키 (visual shortcuts)'에서 비롯될 수 있는데, 이는 모델이 오디오 처리 없이 시각적 증거와 질문만으로 쿼리를 해결하는 현상입니다. 이러한 모달리티 누출은 평가 시 모델의 진정한 범모달 능력을 과대평가하게 만듭니다. furthermore, 비모달 (시각 - 언어 및 오디오 - 언어) 역량을 개별적으로 강화하는 것이 범모달 이해에 충분한지, 아니면 명시적인 범모달 데이터와 최적화 신호가 필요한지는 여전히 열린 질문으로 남아 있습니다.

방법론

1. OmniClean: 시각적 편향 제거 평가 프로토콜

평가 누출 문제를 해결하기 위해 저자들은 OmniClean을 도입했습니다. 이는 일곱 개의 기존 범모달 벤치마크 (Daily-Omni, WorldSense, OmniBench 등) 를 감사하여 시각적으로 해결 가능한 쿼리를 필터링하는 프로토콜입니다.

• 시각 전용 탐지 (Visual-Only Probing): 각 쿼리에 대해 오디오 입력을 withhold 하고, 강력한 시각 - 언어 모델 (Qwen3-VL-30B-A3B-Thinking) 에게 시각 입력 (초당 2 프레임으로 샘플링된 프레임) 과 텍스트 질문만을 사용하여 답변하도록 프롬프트를 전송합니다.
• 필터링 규칙: 시각 전용 모델이 16 회 롤아웃 중 적어도 한 번 (pass@16) 쿼리를 정확히 답변할 수 있다면, 해당 쿼리는 '시각적으로 답변 가능'으로 표시되어 정제된 평가 뷰에서 제외됩니다.
• 예외: AV-Odyssey와 CG-AV-Counting 두 개의 벤치마크는 전체적으로 유지됩니다. AV-Odyssey 는 순수 시각 - 언어 모델이 처리할 수 없는 오디오 입력이 답변 옵션에 포함되는 경우가 있어 필터링 대상에서 제외되었습니다. CG-AV-Counting 은 추가 필터링 시 쿼리 수가 급격히 줄어들어 평가 안정성을 유지하기 위해 유지되었습니다.
• 결과: 이 프로토콜은 16,968 개의 쿼리를 감사하여 8,551 개의 쿼리를 유지했는데, 이것이 OmniClean 데이터셋을 구성합니다. 이 데이터셋은 성능이 시각적 단축키에 의해 주도될 가능성이 적은 '시각적 편향 제거' 테스트베드로서 기능합니다.

2. OmniBoost: 단계별 사후 학습 레시피

OmniClean 을 사용하여 저자들은 Qwen2.5-Omni-3B 모델을 기반으로 한 3 단계 사후 학습 파이프라인인 OmniBoost를 평가합니다. 이 연구는 비모달 감독만으로도 충분한지, 아니면 명시적인 범모달 신호가 필요한지 조사합니다.

• 1 단계: 혼합 비모달 SFT (제어군):

  • 목표: 균형 잡힌 비모달 쌍에 대한 감독이 범모달 작업으로 전이되는지 테스트합니다.
  • 데이터: 오디오 - 텍스트, 이미지 - 텍스트, 비디오 - 텍스트, 순수 텍스트 데이터의 균형 잡힌 혼합 (각각 1B 출력 토큰). 비디오 데이터는 밀도 캡션과 추론 흔적으로 증강됩니다.
  • 학습: 모달리티 무관 패킹을 통한 1 에포크의 감독 미세 조정 (SFT).

• 2 단계: 혼합 모달 RLVR:

  • 목표: 명시적인 범모달 신호를 사용하여 추론 행동을 최적화합니다.
  • 데이터: 텍스트 전용, 이미지 - 텍스트, 비디오 - 텍스트, 오디오 - 이미지 - 텍스트, 오디오 - 비디오 - 텍스트 쿼리를 포함한 선별된 혼합 데이터. 혼합 데이터는 오디오 - 비디오 - 텍스트 (54.8%) 로 크게 가중치가 부여됩니다.
  • 알고리즘: 검증 가능한 보상을 통한 직접 선호도 최적화 (DAPO). 보상 스케줄은 500 스텝 후 형식 정확도에서 근거 있는 답변 정확도로 전환됩니다.
  • 학습: 1,200 스텝의 RLVR.

• 3 단계: 자기 증류 SFT:

  • 목표: 더 강력한 외부 교사 없이 합성 데이터를 사용하여 추론 패턴을 증폭합니다.
  • 합성 쿼리 구성: 시드 비디오 (LLaVA-Video) 를 Step-Audio-R1(오디오) 과 Qwen3-VL(비디오) 이 분할하고 캡션합니다. gpt-oss-120b 를 사용하여 엔티티 - 관계 그래프를 구축하여 공간 및 시간적 관계를 지지합니다. 이러한 요소들을 결합하여 매칭이 어려운 오디오 - 시각 - 텍스트 질문을 생성합니다.
  • 필터링: 3B RLVR 체크포인트가 각 합성 쿼리에 대해 8 개의 롤아웃을 생성합니다. 세 단계의 점진적 필터링 통과 (F1–F3) 를 통해 너무 쉽거나 어려운 쿼리, 지각 오류가 포함된 쿼리, 일관되지 않은 추론/답변이 있는 쿼리를 제거합니다.
  • 학습: 필터링된 합성 흔적에 대한 SFT 수행 및 데이터 비율 조정.

주요 결과

OmniClean 평가

저자들은 오픈소스 참조 모델 (Qwen2.5-Omni-7B, Qwen3-Omni-30B) 과 비교하여 OmniClean 데이터셋에서 세 단계의 결과를 보고합니다.

• 1 단계 (비모달 SFT): 제한적이고 불균형한 향상만 보입니다. 매크로 평균은 24.92 에서 26.49 로 약간만 개선되어, 비모달 역량만으로는 일관된 범모달 성능을 보장하지 못함을 나타냅니다.
• 2 단계 (RLVR): 광범위한 개선을 처음으로 제공합니다. 매크로 평균이 31.43으로 급격히 상승하여 1 단계 기준보다 크게 우위를 점합니다. 이는 명시적인 범모달 최적화 신호가 결정적임을 시사합니다.
• 3 단계 (자기 증류): 프로필에 의존적인 향상을 보입니다. 2 단계에 비해 매크로 평균이 31.03으로 약간 하락했지만, 쿼리 가중 평균은 32.15로 상승합니다. 이는 주로 AV-Odyssey 와 같은 대규모 유지 하위 집합에서의 성능 향상 때문입니다.
• 더 큰 모델과의 비교: 3 단계 이후, 3B 모델은 더 큰 오픈소스 참조 모델과 비교 가능해지며, 쿼리 가중 평균 하에서 Qwen3-Omni-30B-A3B-Instruct를 약간 상회합니다. 이는 더 강력한 범모달 교사로부터 답변을 증류하지 않았음에도 불구하고 달성된 결과입니다.

제거 분석 (Ablation Studies)

• 데이터 중심 제거 분석: 전체 RLVR 단계 없이 필터링된 합성 데이터셋 (F1, F2, F3) 으로 기본 Qwen2.5-Omni-3B 를 직접 학습해도 기준선 대비 개선이 발생하여, 합성 감독의 유용성을 확인합니다.
• 상관관계 변화: 벤치마크를 정제함으로써 범모달 점수와 단모달 (시각 전용) 참조 강도 간의 상관관계가 감소합니다. 특히 WorldSense 와 Daily-Omni 와 같은 벤치마크에서 두드러지며, 평가가 이제 진정한 범모달 통합을 더 잘 반영함을 검증합니다.

주요 기여

1. OmniClean 데이터셋: 시각 전용 탐지를 통해 해결 가능한 쿼리를 필터링하여 구축된, 9 개 벤치마크에 걸친 8,551 개 쿼리로 구성된 시각적 편향 제거 평가 뷰.
2. OmniBoost 레시피: 균형 잡힌 비모달 SFT 는 범모달 향상을 보장하지 못하지만, 혼합 모달 RLVR 과 합성 범모달 쿼리에 대한 자기 증류가 상당한 개선을 제공함을 보여주는 단계별 사후 학습 프레임워크.
3. 합성 쿼리 구성: 엔티티 - 관계 지지대와 캡션을 사용하여 매칭이 어려운 오디오 - 시각 - 텍스트 쿼리를 생성하는 방법으로, 더 강력한 교사 모델 없이도 효과적인 자기 증류를 가능하게 함.
4. 실증적 증거: 신중한 단계별 사후 학습을 통해 3B 모델이 시각적 편향 제거 벤치마크에서 30B 파라미터 모델과 비교 가능하거나 이를 초과하는 성능을 달성할 수 있음을 입증.

중요성과 주장

이 논문은 평가에서 시각적 누출을 통제할 때 범모달 진전이 더 의미 있게 평가된다고 주장합니다. 연구 결과는 다음과 같습니다:

• 원시 벤치마크 점수 상승은 종종 진정한 통합이 아닌 시각적 단축키 악용을 반영합니다.
• 작은 범모달 모델은 더 강력한 교사 모델에 접근하지 못하더라도 신중한 단계별 사후 학습과 자기 증류된 감독을 통해 상당한 역량을 획득할 수 있습니다.
• 비모달 역량과 진정한 범모달 이해 사이의 간극을 메우기 위해서는 명시적인 범모달 데이터와 최적화 신호 (특히 RLVR) 가 필요합니다.

저자들은 미래의 누출 인식 범모달 평가를 지원하기 위해 OmniClean 평가 데이터를 공개합니다. 본 연구는 Qwen2.5-Omni-3B 계보와 설명된 특정 시각 전용 탐지 프로토콜에 한정됩니다.