기술 요약: CogniRoute

문제 정의

비디오, 오디오, 텍스트를 단일 자기회귀(autoregressive) 시스템 내에서 통합적으로 수용하는 옴니모달(Omni-modal) 모델은 강력한 멀티모달 인지 능력을 입증해 왔습니다. 그러나 여러 모달리티에 접근할 수 있는 것과, 특정 질문에 답하기 위해 '적절한' 증거를 효과적으로 활용하는 것 사이에는 결정적인 격차가 존재합니다. 이러한 문제는 특히 사회적 비디오 질의응답(QA)에서 두드려 나타나는데, 정답은 제스처, 음성 톤, 시간적 순서, 또는 언어적 표현과 시각적 표현 사이의 충돌과 같은 미묘한 단서에 달려 있는 경우가 많기 때문입니다.

기존 벤치마크는 대개 최종 정답만을 감독하므로, 기저에 깔린 증거 구조를 암시적인 상태로 남겨둡니다. 결과적으로 모델은 잘못된 모달리티에 주의를 기울이거나, 무관한 시간적 세그먼트에 집중하거나, 데이터셋의 사전 확률(prior)을 이용함으로써 정답을 도출할 수 있습니다. 또한, 일반적으로 다음 토큰 예측 및 부하 분산(load balancing)을 통해 최적화되는 표준 혼합 전문가(Mixture-of-Experts, MoE) 라우팅 메커니즘은 서로 다른 유형의 멀티모달 추론(예: 시각 전용 vs. 오디오-비주얼 갈등 해결)을 구분하기 위한 명시적인 샘플 수준의 감독 기능이 부족합니다.

방법론: CogniRoute

이러한 과제를 해결하기 위해 저자들은 사회적 옴니모달 추론을 위한 스키마 가이드형 MoE 학습 프레임워크인 CogniRoute를 도입합니다. 이 프레임워크는 두 가지 주요 단계를 통해 각 입력의 잠재적 증거 구조와 전문가 라우팅을 정렬합니다.

1. 스키마 정렬 예측 라우팅 (Schema-Aligned Predictive Routing, SAPR)

지도 미세 조정(SFT) 단계에서 CogniRoute는 각 예시를 세 가지 차원으로 분해하는 학습 전용 **인지 스키마(Cognitive Schema)**를 도입합니다:

• 증거 소스(Evidence-Source): 오디오와 비주얼 증거 간의 관계 (시각, 오디오, 결합, 또는 충돌).
• 추론 요구사항(Reasoning-Demand): 필요한 추론 연산 (예: 직접적 인지, 사회적 규범, 정신 상태, 반어법).
• 시간적 범위(Temporal-Scope): 관련 단서의 시간 창 (순간적, 로컬 윈도우, 장기 범위, 다중 세그먼트).

이 방법은 모든 MoE 레이어에 걸쳐 입력 토큰(비디오, 오디오, 질문)에 대한 라우터의 확률 분포를 풀링(pooling)하여 글로벌 라우팅 시그니처를 계산합니다. 경량화된 예측 헤드는 이 시그니처를 스키마 태그에서 유도된 타겟 임베딩에 매핑합니다. **SAPR 손실(loss)**은 라우터가 서로 다른 증서 구조를 가진 샘플에 대해 구별된 시그니처를 생성하도록 독려하며, 이를 통해 모델이 정답을 생성하기 전에 어떤 모달리티와 추론 유형이 필요한지를 "알 수 있도록" 효과적으로 학습시킵니다.

2. 경로 인식 MoE 강화 학습 (Route-Aware MoE Reinforcement Learning, RMRL)

표준 정답 가능성(answer likelihood)은 전문가 할당을 최적화하기에 불충분합니다. 왜냐하면 정답이 잘못된 내부 경로를 통해 생성될 수 있기 때문입니다. CogniRoute는 경로 인식 MoE 강화 학습을 사용하는 두 번째 학습 단계를 도입합니다. 이 단계는 복합 보상 신호를 사용하여 토큰 생성과 전문가 라우팅을 공동으로 최적화합니다:

• 정답 정확도 ($\mathcal{R}_{ans}$): 최종 정답에 대한 이진(binary) 보상.
• 모달리티 일관성 추론 ($\mathcal{R}_{mcr}$): 생성된 추론 과정이 요구되는 모달리티 증거(시각, 오디오 또는 둘 다)에 명시적으로 근거하고 그 관계를 올바르게 특징짓는지 검증하는 보상 (동결된 LLM 판독기를 통해 계산).
• 인지적 시간적 접지 ($\mathcal{R}_{ctg}$): 모델의 최종 추론 상태가 주석 처리된 시간적 증거 구간에 집중하고 있는지 측정하는 보상. 이는 모델 자체의 오디오-비주얼 토큰에 대한 인과적 어텐션 가중치를 사용하여 계산되며, 이를 시간적 분포로 변환한 뒤 지면 진실(ground-truth) 증거 구간과 KL 발산을 통해 비교합니다.

RL 목적 함수는 롤아웃 수준의 이점(advantage)을 사용하여 토큰 생성 정책과 라우터의 게이트 선택을 모두 업데이트하며, 이를 통해 성공적인 생성이 단순히 정답일 뿐만 아니라 증거에 기반하고 시간적으로 접지(grounded)되어 있음을 보장합니다.

주요 기여

1. CogniRoute 프레임워크: 전문가 라우팅을 사회적 비디오 질문의 증거 구조와 정렬시켜, 모델이 특정 모달리티에 의존하거나, 갈등을 해결하거나, 시간적으로 접지된 추론을 수행해야 할 때를 구분할 수 있게 하는 스키마 가이드형 MoE 프레임워크.
2. 경로 인식 강화 학습: 단순한 정답 감독을 넘어 정답 정확도, 모달리티 일관성 및 시간적 접지를 위한 보상을 사용하여 정답 생성과 전문가 할당을 공동으로 최적화하는 새로운 RL 목적 함수.
3. OmniSocialBench: 118K개의 구조화된 학습 예시와 수동으로 검증된 평가 세트를 포함하는 진단용 사회적 비디오 QA 리소스. 표준 벤치마크와 달리, 이 리소스는 모달리티 증거, 오디오-비주얼 관계, 추론 요구사항 및 시간적 증거 구간에 대한 명시적인 감독 정보를 제공합니다.

결과

OmniSocialBench에서 평가했을 때, CogniRoute는 평균 **59.38%**의 정확도를 달s성했습니다.

• 가장 강력한 독점 모델 베이스라인인 Gemini 3.1 Pro보다 15.33 퍼센트 포인트 높습니다.
• 가장 강력한 오픈 소스 옴니 베이스라인인 Qwen3 Omni보다 26.77 퍼센트 포인트 높습니다.
• 가장 유의미한 성능 향상은 행동 목표(Action Goal) (+18.79% 대비 베이스라인) 및 사회적 규범(Social Norm) 추론 (+24.80%)과 같이 복잡한 협업이 필요한 카테고리에서 관찰되었습니다.

OmniSocialBench 외에도, CogniRoute는 10개의 공개 오디오-비주얼 및 비디오 추론 벤치마크(OmniBench, WorldSense, Video-MME-v2 포함) 중 8개에서 성능 향상을 보여주었으며, 이는 제안된 라우팅 및 강화 학습 목적 함수가 더 넓은 멀티모달 작업으로 일반화될 수 있음을 입증합니다.

의의 및 주장

본 논문은 **증거 구조화된 라우팅(evidence-structured routing)**이 사회적 옴니모달 추론을 개선하기 위한 효과적인 학습 신호임을 주장합니다. 증거 구조(모달리티 관계, 추론 요구사항, 시간적 범위)에 따라 모델의 내부 라우팅 동작을 명시적으로 감독함으로써, CogniRoute는 모델이 더 해석 가능하고 적절한 계산에 참여하도록 강제합니다.

저자들은 이 접근 방식이 모델이 종종 허위 상관관계(spurious correlations)를 통해 정답에 도달하는 멀티모달 추론의 "블랙박스" 문제를 해결한다고 강조합니다. CogniRoute는 전문가 할당을 과업의 인지 스키마와 정렬하는 것이 교차 모달 협업, 갈등 해결 및 시간적으로 접지된 사회적 추론을 요구하는 작업에서 상당한 개선을 이끌어낸다는 것을 보여줍니다. 이 연구는 사회적 비디오 QA를 강력한 옴니모달 이해의 테스트베드로 위치시키며, 여러 모달리티에 대한 접근 권한이 필요하기는 하지만, 올바른 증거를 선택하고 통합하는 메커니즘 없이는 충분하지 않다는 점을 시사합니다.