AVRT: Audio-Visual Reasoning Transfer through Single-Modality Teachers

Probleemstelling

Hoewel er recente doorbraken zijn geboekt in redenerende modellen (reasoning models) voor tekstuele domeinen, blijft het overdragen van deze vaardigheden naar multimodale settings, specifiek voor audio-visuele data, een grote uitdaging. De belangrijkste belemmering is het gebrek aan hoogwaardige, gestructureerde redeneringsdata (reasoning traces) die gelijktijdig audio en visuele informatie integreren. Bestaande benaderingen missen vaak gestructureerde processen om informatie tussen modaliteiten expliciet te correleren, of ze vereisen zware multimodale basismodellen die niet altijd beschikbaar zijn.

Methodologie: Het AVRT Framework

De auteurs introduceren AVRT (Audio-Visual Reasoning Transfer), een nieuw framework dat hoogwaardige audio-visuele redeneringsketens genereert door gebruik te maken van gespecialiseerde single-modality leraren (docenten) in plaats van één grote multimodale leraar. Het proces verloopt in drie fasen:

1. Generatie van Single-Modality Redenering:

   • Er worden twee gespecialiseerde "teacher"-modellen gebruikt: één voor audio ($T_A$) en één voor visuele data ($T_V$).
   • Voor een gegeven video-vraagpaar $(X, Q)$, waarbij $X$ bestaat uit audio ($A$) en video ($V$), worden deze modellen apart geprompt.
   • De audio-teacher genereert een redeneringsketen ($R_A$) puur gebaseerd op het geluid, en de video-teacher genereert een keten ($R_V$) puur gebaseerd op de beelden.

2. Cross-Modale Aggregatie (Merging):

   • Een tekst-only Large Language Model (LLM), de "merger" ($M_{agg}$), fungeert als interface.
   • Deze merger ontvangt de vraag ($Q$) en de twee redeneringsketens ($R_A, R_V$).
   • De merger synthetiseert deze tot één coherente, cross-modale redeneringsketen ($R_{agg}$) die expliciet de correlaties tussen audio en visuele aanwijzingen beschrijft.
   • Filtering: Om ruis te voorkomen, worden alleen de samples behouden waarbij beide teachers het juiste antwoord geven. Dit resulteert in een dataset van 20.000 hoogwaardige samples (AVRT-20K) afgeleid van de AVQA-dataset.

3. Twee-fasen Training:

   • Fase 1: Supervised Fine-Tuning (SFT): Het studentmodel (een multimodaal LLM) wordt eerst "koud gestart" (cold start) met de gegenereerde $R_{agg}$-data. Hier leert het model het gestructureerde redeneringsformaat (denken in <thinking> en antwoorden in <answer>) en de patronen van cross-modale integratie.
   • Fase 2: Reinforcement Learning (RL): Vervolgens wordt het model getraind met GRPO (Group Relative Policy Optimization). De beloningssysteem ($Reward$) bestaat uit drie componenten:
     • Format Reward: Controleert of het antwoord in het juiste formaat is.
     • Accuracy Reward: Controleert of het eindantwoord correct is.
     • Length Reward: Moedigt een optimale lengte van de redeneringsketen aan (niet te kort, niet te lang) via een Gaussische verdeling.

Belangrijkste Bijdragen

1. Nieuwe Methode voor Data-Generatie: AVRT is de eerste methode die gestructureerde multimodale redenering genereert door single-modality experts te combineren via een tekst-only merger. Dit omzeilt de noodzaak van een native multimodale leraar.
2. Cross-Modal Reasoning Transfer: Het paper demonstreert dat redeneringsvaardigheden die zijn geleerd via samengestelde single-modality data, effectief kunnen worden overgedragen naar het studentmodel, zelfs zonder dat het model tijdens de training toegang heeft tot een native multimodale leraar.
3. Verbeterde Single-Modality Prestaties: Interessant genoeg verbetert training op audio-visuele data ook de prestaties op enkelvoudige modaliteitstaken (alleen audio), wat bewijst dat er sprake is van echte cross-modale transfer en niet slechts van overfitting op de trainingsdata.

Resultaten

Het framework werd geëvalueerd op zeven benchmarks, waaronder OmniBench, DailyOmni, Video-MME, RivaBench, MMAR en MMAU. De resultaten tonen State-of-the-Art (SOTA) prestaties voor modellen van vergelijkbare grootte (3B en 7B parameters):

• Audio-Visuele Taken: De 3B en 7B AVRT-modellen overtreffen bestaande baselines en zelfs enkele grotere modellen. Bijvoorbeeld, op OmniBench behaalt het 3B-model 56.3% (tegenover 50.2% voor de baseline Qwen2.5-Omni) en op DailyOmni 49.2%.
• Audio-Alleen Taken: De modellen tonen sterke transfer naar audio-only taken. Op MMAR en MMAU behalen ze significante verbeteringen ten opzichte van de baseline, wat aantoont dat de cross-modale training de audio-redenering versterkt.
• Ablatie Studies:
  • De combinatie van SFT (met reasoning traces) en RL is cruciaal; RL alleen levert minder verbetering op.
  • Het gebruik van een merger-model uit dezelfde familie als het studentmodel (Qwen2.5-14B voor Qwen2.5-Omni student) werkt beter dan een ander model (Gemma3), vanwege tokenisatie-alignment.
  • Het filteren van data (alleen samples waar beide teachers correct zijn) verbetert de prestaties in plaats van ze te beperken.

Betekenis en Impact

AVRT biedt een schaalbare en kosteneffectieve oplossing voor het trainen van multimodale redenerende modellen. Het lost het probleem op van het gebrek aan grote datasets met menselijke redeneringsketens voor audio-visuele taken. Door gebruik te maken van bestaande single-modality experts en een tekst-only aggregator, kunnen onderzoekers nu hoogwaardige trainingsdata genereren voor elke modale combinatie.

Het paper bewijst dat gestructureerde redenering (Chain-of-Thought) de sleutel is tot succes in multimodale taken en dat deze vaardigheden kunnen worden "ingeprent" in kleinere modellen via een twee-fasen training (SFT + RL). Dit opent de deur voor de ontwikkeling van krachtige, efficiënte multimodale AI-systemen zonder de noodzaak van extreem dure end-to-end pre-training op multimodale data.