Technische Samenvatting: Ontsnappen aan de Taalprioriteit: Het Mitigeren van Late-Stage Modality Collapse in Audio-Redenering via Modality-Aware Policy Optimization

1. Probleemstelling

Audio- en omni-modale grote taalmodellen (LLM's) hebben indrukwekkende cross-modale redeneercapaciteiten aangetoond. Het toepassen van standaard reinforcement learning (RL) post-training algoritmen (zoals PPO, DPO, GRPO) op deze modellen legt echter een kritieke structurele kwetsbaarheid bloot: late-stage modality collapse.

Standaard RL-methoden passen uniforme policy gradients toe over alle gegenereerde tokens, ervan uitgaande dat elke token evenveel bijdraagt aan het leersignaal. Bij cross-modale generatie is deze aanname gebrekkig. Veel tokens fungeren als linguïstisch steigerswerk dat voorspelbaar is door de interne taalprioriteit van het model, terwijl een kritieke subset volledig afhankelijk is van de niet-tekstuele bronmodality (bijvoorbeeld ruwe audio) om essentiële akoestische attributen te vangen. Uniforme weging verspillen het optimalisatiebudget aan modality-agnostische tekst en verdunnen het leersignaal voor tokens die actieve cross-modale grounding vereisen.

Deze inefficiëntie drijft een ernstige faalmodus aan tijdens uitgebreide Chain-of-Thought (CoT)-generatie: naarmate de redeneringspore langer wordt, geven modellen de ongecomprimeerde primaire bronsignaal geleidelijk op ten gunste van gecomprimeerde tekstuele priors. Dit leidt tot "zeker maar ongegronde hallucinaties", waarbij het model epistemisch losraakt van de bronaudio. Cruciaal is dat, naarmate het model bezwijkt voor zijn taalprioriteit, het pathologisch zeker wordt, waardoor standaard op entropie gebaseerde interventies falen in het herstellen van verloren grounding.

2. Methodologie: Modality-Aware Policy Optimization (MAPO)

Om deze uitdagingen aan te pakken, stellen de auteurs Modality-Aware Policy Optimization (MAPO) voor, een nieuw dual-branch reinforcement learning framework gebaseerd op Group Relative Policy Optimization (GRPO). MAPO wijzigt het leerdoel via twee complementaire mechanismen die zijn ontworpen om de taalprioriteit te doorbreken en aanhoudende cross-modale grounding af te dwingen.

2.1 Kernmetrieken

Voordat het optimalisatiedoel wordt gedefinieerd, introduceert MAPO twee kwantitatieve metrieken:

• Audio Attention Mass ($a_t$): Een maat voor de aggregatie van waarschijnlijkheidsmassa die wordt doorgestuurd naar de cross-modale inputsequentie binnen de zelf-attentieverdeling van het model. Het dient als proxy voor actieve perceptuele bandbreedte. Empirische analyse toont aan dat deze massa aanzienlijk afneemt in de late generatiefase, wat aangeeft dat het model stopt met "luisteren".
• Cross-Modale Differentiële Entropie ($\Delta h_t$): Het token-niveau entropieverschil tussen een bevroren tekst-only referentiemodel ($\pi_{text-ref}$) en het live multimodale beleid ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  Deze metriek isoleert de informatiewinst die wordt geleverd door de niet-tekstuele modality. Een hoge $\Delta h_t$ geeft tokens aan waarbij de audio-bron de voorspellende verdeling significant verandert, waardoor "sleuteltokens" worden geïdentificeerd die cross-modale perceptie vereisen.

2.2 Dual-Branch Optimalisatiedoel

Het totale MAPO-doel wordt gedefinieerd als:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. Modality Relevance Mask en Herwaardeerde Policy Gradient ($\mathcal{L}_{PG}$)

Standaard GRPO middelt tokenverliezen uniform ($1/T$). MAPO vervangt dit door een dynamisch, token-niveau Modality Relevance Mask ($\tilde{\omega}$) afgeleid van de cross-modale differentiële entropie.

• Mechanisme: Het masker herwaardeert de policy gradient om het optimalisatiebudget disproportioneel toe te wijzen aan tokens waarbij de bronaudio de voorspellende verdeling sterk beïnvloedt.
• Implementatie: Het masker wordt geconstrueerd door een softmax toe te passen op de absolute differentiële entropie $|\Delta h_t|$, geschaald met een lengte-afhankelijke temperatuur en afgekap om extreme versterking te voorkomen. Het finale verlies wordt genormaliseerd door de som van de gewichten om een stabiele leersnelheid te behouden.
• Effect: Dit dynamisch verhoogt de gradientbijdrage van modality-kritieke tokens, terwijl het linguïstisch steigerswerk wordt downgewaardeerd.

B. Auxiliaire Attention Loss Branch ($\mathcal{L}_{attn}$)

Hoewel het masker het gradientbudget corrigeert, vertrouwt het erop dat het model een zekere latente bewustzijn van het signaal behoudt. Om late-stage collapse direct te bestrijden, introduceert MAPO een auxiliaire loss branch die de verwaarlozing van het bronsignaal diep in de redeneringsketen bestraft.

• Mechanisme: Deze branch past een gerichte, temporair geschaalde straf toe op de interne attentieverdelingen van het model. Het straft tokens met een lage audio attention mass ($a_t$) specifiek op linguïstisch substantiële posities (geïsoleerd via een Part-of-Speech-gate).
• Temporale Schaling: De straf wordt gewogen door een inverse relevantiemasker (gericht op tokens met verdacht lage differentiële entropie) en een niet-afnemende temporale weging $(t/T)^\kappa$, waardoor de straf zich concentreert op het einde van de sequentie waar collapse typisch optreedt.
• Gradient Flow: Gradiënten van deze branch stromen strikt door de audio attention mass direct naar de multi-head attention parameters van de transformer (Query en Key projecties), waardoor de taalmodelleringshoofd ongestoord blijft. Dit dwingt het model om actief cross-modale grounding te handhaven diep in de redeneringspore.

3. Kernbijdragen

1. Formalisatie van Late-Stage Modality Collapse: De auteurs identificeren en formaliseren de beperkingen van uniforme tokenweging in cross-modale RL, en benadrukken hoe de taalprioriteit de ware modelonzekerheid maskeert tijdens redenering op lange horizon, wat leidt tot zekere hallucinaties.
2. MAPO Framework: Zij stellen een dual-branch optimalisatieframework voor dat gebruikmaakt van cross-modale differentiële entropie om modality-kritieke tokens te prioriteren en introduceert een gerichte attention penalty om aanhoudende cross-modale grounding af te dwingen.
3. Empirische Validatie: Door uitgebreide evaluatie op complexe audio-redeneertaken (spraak, muziek, geluidsevenementen) tonen zij aan dat MAPO zowel de fideliteit van langform redenering als de robuustheid tegen taalprioriteit-hallucinaties verbetert, en nieuwe state-of-the-art resultaten bereikt onder open-weights modellen.

4. Experimentele Resultaten

De auteurs evalueerden MAPO met het Qwen3-Omni-30B-A3B-Thinking-model als basisbeleid, getraind op een diverse mix van audio QA-datasets (inclusief AVQA, AudioSet, LibriTTS-R en MusicCaps).

4.1 Ablatiestudies

• Component Impact: Standaard GRPO op het basismodel degradeerde de prestaties licht (Gemiddeld: 70,21 $\to$ 69,51). Het toevoegen van het modality relevance mask herstelde de prestaties (70,53). Het integreren van de auxiliaire attention loss leverde een aanzienlijke sprong op (71,51), wat valideert dat structurele afdwinging van aanhoudende bron-gronding collapse mitigeert.
• Volledige Fine-Tuning: MAPO behield een duidelijk voordeel ten opzichte van standaard GRPO, zelfs onder volledige parameterupdates, met een algeheel gemiddelde van 73,34 op de uiteindelijke Phase 2-benchmark.

4.2 Benchmark Prestaties

• Modality-Centric Benchmarks (MMAU, MMAR): MAPO bereikte een nieuwe state-of-the-art voor open-weights modellen. Op MMAU scoorde het 77,80, wat gelijkstaat aan het toonaangevende propriëtaire model (Nova 2 Omni) en aanzienlijk beter presteert dan Gemini 2.5 Pro (71,60) en GPT-4o Audio (62,50). In vergelijking met de Qwen3-Omni-Thinking-baseline verbeterde MAPO MMAU met +2,80 en MMAR met +4,00.
• Capaciteit en Instructievolging (MMSU, MMAU-Pro): MAPO behaalde de hoogste algehele score op MMSU (79,36), met gelijktijdige verbeteringen in Perceptie en Redenering. Opmerkelijk is dat op MMAU-Pro de Audio Instruction Following (AIF)-score werd verhoogd van 62,07 naar 95,40, waarmee modellen zoals Gemini 2.5 Flash (95,10) werden overtroffen.

4.3 Kwalitatieve Analyse

Casestudies onthulden dat zonder de attention loss branch modellen vaak initiële akoestische aanwijzingen correct identificeerden, maar vervolgens afweken naar incorrecte tekstuele priors (bijvoorbeeld het verkeerd identificeren van een "Paardgetrokken wagen" als een "Trein" vanwege ritmisch gekletter). Het volledige MAPO-framework handhaafde audio-attention diep in de redeneringspore, waardoor het model in staat was om ambiguïteiten te verfijnen en misleidende priors te verwerpen.

5. Betekenis en Claims

Het paper claimt dat MAPO een veelbelovende basis biedt voor het mitigeren van epistemische collapse in diverse multimodale systemen. De betekenis ligt in drie gebieden:

1. Structurele Correctie: Het adresseert een fundamentele structurele inefficiëntie in standaard RL post-training (uniforme tokenweging) die ervoor zorgt dat modellen bronmodality's opgeven tijdens uitgebreide redenering.
2. Native Signaalafhankelijkheid: In tegenstelling tot eerdere methoden die vertrouwen op externe teacher-modellen of domeinspecifieke inductieve biases (bijvoorbeeld visuele相似heidsmetrieken), vertrouwt MAPO strikt op native statistische signalen (attentiegewichten en voorspellende entropie) afgeleid van het model zelf.
3. Generaliseerbaarheid: Hoewel gevalideerd op audio, stellen de auteurs dat de token-herwegings- en attention-sturingmechanismen van het framework modality-agnostisch zijn, wat toepasbaarheid suggereert op andere continue niet-tekstuele modality's zoals visie en video.

De auteurs merken expliciet op dat MAPO een alignment en regularisatie framework is, geen capability-injectiemechanisme. Het zorgt ervoor dat modellen bestaande perceptieve en redeneercapaciteiten volledig benutten, maar synthetiseert geen capaciteiten die ontbreken in de basispre-training. Bovendien merken zij op dat het toepassen van MAPO op instructie-getrainde modellen die geen intrinsieke CoT-capaciteiten hebben, beperkt succes oplevert, aangezien de onderliggende prioriteit van beknoptheid het optimalisatiepotentieel beperkt.