Technische Zusammenfassung: Entkommen aus dem Sprachprior: Milderung des späten Modalkollapses im Audio-Reasoning durch modality-bewusste Policy-Optimierung

1. Problemstellung

Audio- und Omni-Modale Large Language Models (LLMs) haben beeindruckende Fähigkeiten zum reasoning über Modalitäten hinweg demonstriert. Die Anwendung standardisierter Reinforcement-Learning (RL)-Nachtrainingsalgorithmen (z. B. PPO, DPO, GRPO) auf diese Modelle legt jedoch eine kritische strukturelle Verwundbarkeit offen: späten Modalkollaps.

Standard-RL-Methoden wenden einheitliche Policy-Gradienten auf alle generierten Tokens an und gehen davon aus, dass jedes Token gleichermaßen zum Lernsignal beiträgt. Bei der Generierung über Modalitäten hinweg ist diese Annahme fehlerhaft. Viele Tokens dienen als linguistisches Gerüst, das durch den internen Sprachprior des Modells vorhersehbar ist, während eine kritische Teilmenge vollständig auf die nicht-textuelle Quellmodalität (z. B. Rohaudio) angewiesen ist, um wesentliche akustische Attribute zu erfassen. Eine einheitliche Gewichtung verschwendet das Optimierungsbudget an modality-agnostischem Text und verwässert das Lernsignal für Tokens, die eine aktive cross-modale Verankerung erfordern.

Diese Ineffizienz führt während einer verlängerten Chain-of-Thought (CoT)-Generierung zu einem schwerwiegenden Fehlermodus: Während die Länge der Reasoning-Spur zunimmt, geben Modelle das unkomprimierte primäre Quellsignal zunehmend zugunsten komprimierter textueller Priors auf. Dies führt zu „zuversichtlichen, aber unverankerten Halluzinationen", bei denen das Modell epistemisch vom Quellaudio getrennt ist. Entscheidend ist, dass das Modell, sobald es seinem Sprachprior erliegt, pathologisch zuversichtlich wird, wodurch standardmäßige entropiebasierte Interventionen versagen, die verlorene Verankerung wiederherzustellen.

2. Methodik: Modality-Aware Policy Optimization (MAPO)

Um diese Herausforderungen zu adressieren, schlagen die Autoren Modality-Aware Policy Optimization (MAPO) vor, ein neuartiges Dual-Branch-Reinforcement-Learning-Framework, das auf Group Relative Policy Optimization (GRPO) aufbaut. MAPO modifiziert das Lernziel durch zwei komplementäre Mechanismen, die darauf ausgelegt sind, den Sprachprior zu durchbrechen und eine nachhaltige cross-modale Verankerung zu erzwingen.

2.1 Kernmetriken

Bevor das Optimierungsziel definiert wird, führt MAPO zwei quantitative Metriken ein:

• Audio-Attention-Masse ($a_t$): Ein Maß für die aggregierte Wahrscheinlichkeitsmasse, die innerhalb der Self-Attention-Verteilung des Modells an die cross-modale Eingabesequenz weitergeleitet wird. Sie dient als Proxy für aktive perzeptive Bandbreite. Empirische Analysen zeigen, dass diese Masse in der späten Generierungsphase signifikant abnimmt, was darauf hindeutet, dass das Modell aufhört, „zuzuhören".
• Cross-Modale Differentielle Entropie ($\Delta h_t$): Die Token-level-Entropiedifferenz zwischen einem eingefrorenen text-only Referenzmodell ($\pi_{text-ref}$) und der live multimodalen Policy ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  Diese Metrik isoliert den Informationsgewinn, der durch die nicht-textuelle Modalität bereitgestellt wird. Ein hohes $\Delta h_t$ zeigt Tokens an, bei denen die Audioquelle die prädiktive Verteilung signifikant verändert, und identifiziert „Schlüssel-Tokens", die eine cross-modale Wahrnehmung erfordern.

2.2 Dual-Branch-Optimierungsziel

Das gesamte MAPO-Ziel ist definiert als:
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. Modality-Relevanz-Maske und neu gewichteter Policy-Gradient ($\mathcal{L}_{PG}$)

Standard-GRPO mittelt Token-Verluste einheitlich ($1/T$). MAPO ersetzt dies durch eine dynamische, token-level Modality-Relevanz-Maske ($\tilde{\omega}$), die aus der cross-modalen differentiellen Entropie abgeleitet wird.

• Mechanismus: Die Maske gewichtet den Policy-Gradienten neu, um das Optimierungsbudget unverhältnismäßig stark auf Tokens zu lenken, bei denen die Quellaudio die prädiktive Verteilung stark beeinflusst.
• Implementierung: Die Maske wird durch Anwendung einer Softmax-Funktion auf die absolute differentielle Entropie $|\Delta h_t|$ konstruiert, skaliert mit einer längenabhängigen Temperatur und begrenzt, um extreme Verstärkungen zu verhindern. Der finale Verlust wird durch die Summe der Gewichte normalisiert, um eine stabile Lernrate zu gewährleisten.
• Wirkung: Dies dynamisch hochgewichtet den Gradientenbeitrag von modality-kritischen Tokens, während linguistisches Gerüst herabgestuft wird.

B. Auxiliärer Attention-Loss-Branch ($\mathcal{L}_{attn}$)

Während die Maske das Gradientenbudget korrigiert, setzt sie voraus, dass das Modell ein latentes Bewusstsein für das Signal behält. Um den späten Kollaps direkt zu bekämpfen, führt MAPO einen auxiliären Loss-Branch ein, der die Vernachlässigung des Quellsignals tief innerhalb der Reasoning-Kette bestraft.

• Mechanismus: Dieser Branch wendet eine gezielte, zeitlich skalierte Strafe auf die internen Attention-Verteilungen des Modells an. Er bestraft Tokens mit niedriger Audio-Attention-Masse ($a_t$) speziell an linguistisch substanziellen Positionen (isoliert über ein Part-of-Speech-Gate).
• Zeitliche Skalierung: Die Strafe wird durch eine inverse Relevanzmaske (die Tokens mit verdächtig niedriger differentieller Entropie ins Visier nimmt) und ein nicht abnehmendes zeitliches Gewicht $(t/T)^\kappa$ gewichtet, wodurch die Strafe am Ende der Sequenz konzentriert wird, wo der Kollaps typischerweise auftritt.
• Gradientenfluss: Gradienten aus diesem Branch fließen strikt durch die Audio-Attention-Masse direkt in die Multi-Head-Attention-Parameter des Transformers (Query- und Key-Projektionen), wobei der Language-Modeling-Head unbeeinträchtigt bleibt. Dies zwingt das Modell, cross-modale Verankerung tief in die Reasoning-Spur hinein aktiv aufrechtzuerhalten.

3. Hauptbeiträge

1. Formalisierung des späten Modalkollapses: Die Autoren identifizieren und formalisieren die Grenzen der einheitlichen Token-Gewichtung im cross-modalen RL und heben hervor, wie der Sprachprior die wahre Modellunsicherheit während langfristigen Reasonings verschleiert, was zu zuversichtlichen Halluzinationen führt.
2. MAPO-Framework: Sie schlagen ein Dual-Branch-Optimierungsframework vor, das cross-modale differentielle Entropie nutzt, um modality-kritische Tokens zu priorisieren, und eine gezielte Attention-Strafe einführt, um eine nachhaltige cross-modale Verankerung zu erzwingen.
3. Empirische Validierung: Durch umfangreiche Evaluierung an komplexen Audio-Reasoning-Aufgaben (Sprache, Musik, Schallereignisse) zeigen sie, dass MAPO sowohl die Genauigkeit langformiger Reasoning-Prozesse als auch die Robustheit gegenüber sprachprior-basierten Halluzinationen verbessert und neue State-of-the-Art-Ergebnisse unter Open-Weights-Modellen setzt.

4. Experimentelle Ergebnisse

Die Autoren evaluierten MAPO unter Verwendung des Qwen3-Omni-30B-A3B-Thinking-Modells als Basis-Policy, trainiert auf einer diversen Mischung von Audio-QA-Datensätzen (einschließlich AVQA, AudioSet, LibriTTS-R und MusicCaps).

4.1 Ablationsstudien

• Einfluss der Komponenten: Standard-GRPO auf dem Basismodell verschlechterte die Leistung leicht (Durchschnitt: 70,21 $\to$ 69,51). Das Hinzufügen der Modality-Relevanz-Maske stellte die Leistung wieder her (70,53). Die Integration des auxiliären Attention-Losses führte zu einem erheblichen Sprung (71,51) und validierte, dass die strukturelle Erzwingung einer nachhaltigen Quellverankerung den Kollaps mildert.
• Vollständiges Fine-Tuning: MAPO behielt auch unter vollständigen Parameter-Updates einen klaren Vorteil gegenüber Standard-GRPO bei und erreichte einen Gesamtdurchschnitt von 73,34 auf dem finalen Phase-2-Benchmark.

4.2 Benchmark-Leistung

• Modality-zentrierte Benchmarks (MMAU, MMAR): MAPO erreichte einen neuen State-of-the-Art für Open-Weights-Modelle. Auf MMAU erzielte es 77,80 Punkte, was dem führenden proprietären Modell (Nova 2 Omni) entspricht und Gemini 2.5 Pro (71,60) sowie GPT-4o Audio (62,50) deutlich übertrifft. Im Vergleich zu seiner Qwen3-Omni-Thinking-Baseline verbesserte MAPO MMAU um +2,80 und MMAR um +4,00.
• Fähigkeiten und Instruktionsbefolgung (MMSU, MMAU-Pro): MAPO erzielte die beste Gesamtnote auf MMSU (79,36) mit gleichzeitigen Verbesserungen in Wahrnehmung und Reasoning. Bemerkenswerterweise hob es auf MMAU-Pro den Audio-Instruction-Following (AIF)-Score von 62,07 auf 95,40 und übertraf damit stark optimierte Modelle wie Gemini 2.5 Flash (95,10).

4.3 Qualitative Analyse

Fallstudien zeigten, dass Modelle ohne den Attention-Loss-Branch oft initiale akustische Hinweise korrekt identifizierten, dann jedoch in falsche textuelle Priors abdrifteten (z. B. die Verwechslung eines „von Pferden gezogenen Wagens" mit einem „Zug" aufgrund rhythmischen Klapperns). Das vollständige MAPO-Framework hielt die Audio-Attention tief in der Reasoning-Spur aufrecht, was es dem Modell ermöglichte, mehrdeutige Hinweise zu verfeinern und irreführende Priors abzulehnen.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass MAPO eine vielversprechende Grundlage zur Milderung epistemischer Kollapse in diversen multimodalen Systemen bietet. Ihre Bedeutung liegt in drei Bereichen:

1. Strukturelle Korrektur: Sie adressiert eine fundamentale strukturelle Ineffizienz im standardmäßigen RL-Nachtraining (einheitliche Token-Gewichtung), die dazu führt, dass Modelle während verlängerter Reasoning-Prozesse Quellmodalitäten aufgeben.
2. Native Signalabhängigkeit: Im Gegensatz zu früheren Methoden, die auf externe Lehrermodelle oder domainspezifische induktive Verzerrungen (z. B. visuelle Ähnlichkeitsmetriken) angewiesen sind, verlässt sich MAPO strikt auf native statistische Signale (Attention-Gewichte und prädiktive Entropie), die aus dem Modell selbst abgeleitet werden.
3. Generalisierbarkeit: Obwohl auf Audio validiert, gehen die Autoren davon aus, dass die Token-Neugewichtung und Attention-Steering-Mechanismen des Frameworks modality-agnostisch sind, was eine Anwendbarkeit auf andere kontinuierliche nicht-textuelle Modalitäten wie Vision und Video nahelegt.

Die Autoren weisen ausdrücklich darauf hin, dass MAPO ein Alignment- und Regularisierungsframework und kein Mechanismus zur Injectierung von Fähigkeiten ist. Es stellt sicher, dass Modelle ihre vorhandenen perzeptiven und Reasoning-Fähigkeiten voll ausschöpfen, synthetisiert jedoch keine Fähigkeiten, die im Basis-Pre-Training nicht vorhanden sind. Ferner beobachten sie, dass die Anwendung von MAPO auf instruction-tuned Modelle, denen intrinsische CoT-Fähigkeiten fehlen, nur begrenzten Erfolg bringt, da der zugrundeliegende Prior der Kürze das Optimierungspotenzial einschränkt.