Résumé Technique : Échapper au Prior Linguistique : Atténuation de l'Effondrement de Modalité en Phase Tardive dans le Raisonnement Audio via l'Optimisation de Politique Sensible à la Modalité

1. Énoncé du Problème

Les modèles de langage (LLM) audio et omni-modaux ont démontré des capacités impressionnantes de raisonnement intermodal. Cependant, l'application d'algorithmes standards de post-entraînement par apprentissage par renforcement (RL) (par exemple, PPO, DPO, GRPO) à ces modèles révèle une vulnérabilité structurelle critique : l'effondrement de modalité en phase tardive.

Les méthodes RL standards appliquent des gradients de politique uniformes sur tous les tokens générés, en supposant que chaque token contribue également au signal d'apprentissage. Dans la génération intermodale, cette hypothèse est erronée. De nombreux tokens servent d'échafaudage linguistique prévisible par le prior linguistique interne du modèle, tandis qu'un sous-ensemble critique repose entièrement sur la source non-textuelle (par exemple, l'audio brut) pour capturer des attributs acoustiques essentiels. Un pondération uniforme gaspille le budget d'optimisation sur du texte agnostique à la modalité et dilue le signal d'apprentissage pour les tokens nécessitant un ancrage intermodal actif.

Cette inefficacité entraîne un mode de défaillance sévère lors de la génération étendue de Chaîne de Pensée (CoT) : à mesure que la trace de raisonnement s'allonge, les modèles abandonnent progressivement le signal source primaire non compressé au profit de priors textuels compressés. Cela conduit à des "hallucinations confiantes mais non ancrées", où le modèle devient épistémiquement déconnecté de l'audio source. Crucialement, alors que le modèle succombe à son prior linguistique, il devient pathologiquement confiant, ce qui fait échouer les interventions standard basées sur l'entropie à récupérer l'ancrage perdu.

2. Méthodologie : Optimisation de Politique Sensible à la Modalité (MAPO)

Pour répondre à ces défis, les auteurs proposent l'Optimisation de Politique Sensible à la Modalité (MAPO), un nouveau cadre d'apprentissage par renforcement à double branche basé sur l'Optimisation de Politique Relative par Groupe (GRPO). MAPO modifie l'objectif d'apprentissage grâce à deux mécanismes complémentaires conçus pour briser le prior linguistique et imposer un ancrage intermodal soutenu.

2.1 Métriques Clés

Avant de définir l'objectif d'optimisation, MAPO introduit deux métriques quantitatives :

• Masse d'Attention Audio ($a_t$) : Une mesure de la masse de probabilité agrégée acheminée vers la séquence d'entrée intermodale au sein de la distribution d'auto-attention du modèle. Elle sert de proxy pour la bande passante perceptuelle active. L'analyse empirique montre que cette masse décroît significativement en phase tardive de génération, indiquant que le modèle cesse "d'écouter".
• Entropie Différentielle Intermodale ($\Delta h_t$) : La différence d'entropie au niveau du token entre un modèle de référence texte seul figé ($\pi_{text-ref}$) et la politique multimodale en direct ($\pi_\theta$).
  $$\Delta h_t = H(\pi_{text-ref}(\cdot | y_{<t}, x_{text})) - H(\pi_\theta(\cdot | y_{<t}, x))$$
  Cette métrique isole le gain d'information fourni par la modalité non-textuelle. Un $\Delta h_t$ élevé indique les tokens où la source audio modifie significativement la distribution prédictive, identifiant les "tokens clés" qui nécessitent une perception intermodale.

2.2 Objectif d'Optimisation à Double Branche

L'objectif total de MAPO est défini comme suit :
$$\mathcal{L}_{MAPO} = \mathcal{L}_{PG}(\tilde{\omega}) + \beta \mathcal{L}_{KL} + \eta \mathcal{L}_{attn}$$

A. Masque de Pertinence de Modalité et Gradient de Politique Repondéré ($\mathcal{L}_{PG}$)

Le GRPO standard moyenne les pertes de tokens uniformément ($1/T$). MAPO remplace cela par un Masque de Pertinence de Modalité ($\tilde{\omega}$) dynamique, au niveau du token, dérivé de l'entropie différentielle intermodale.

• Mécanisme : Le masque repondère le gradient de politique pour allouer de manière disproportionnée le budget d'optimisation vers les tokens où l'audio source influence fortement la distribution prédictive.
• Implémentation : Le masque est construit en appliquant un softmax sur l'entropie différentielle absolue $|\Delta h_t|$, mise à l'échelle par une température dépendante de la longueur et plafonnée pour éviter une amplification extrême. La perte finale est normalisée par la somme des poids pour maintenir un taux d'apprentissage stable.
• Effet : Cela repondère dynamiquement la contribution du gradient des tokens critiques pour la modalité tout en sous-pondérant l'échafaudage linguistique.

B. Branche de Perte d'Attention Auxiliaire ($\mathcal{L}_{attn}$)

Alors que le masque corrige le budget de gradient, il repose sur le fait que le modèle conserve une certaine conscience latente du signal. Pour lutter directement contre l'effondrement en phase tardive, MAPO introduit une branche de perte auxiliaire qui pénalise la négligence du signal source profondément dans la chaîne de raisonnement.

• Mécanisme : Cette branche applique une pénalité ciblée et mise à l'échelle temporellement aux distributions d'attention internes du modèle. Elle pénalise les tokens ayant une faible masse d'attention audio ($a_t$) spécifiquement aux positions linguistiquement substantives (isolées via une porte de partie du discours).
• Mise à l'Échelle Temporelle : La pénalité est pondérée par un masque d'inverse de pertinence (ciblant les tokens avec une entropie différentielle suspectement faible) et un poids temporel non décroissant $(t/T)^\kappa$, concentrant la pénalité à l'extrémité de la séquence où l'effondrement se produit généralement.
• Flux de Gradient : Les gradients de cette branche circulent strictement à travers la masse d'attention audio directement dans les paramètres d'attention multi-têtes du transformateur (projections Query et Key), laissant la tête de modélisation du langage inchangée. Cela force le modèle à maintenir activement un ancrage intermodal profondément dans la trace de raisonnement.

3. Contributions Clés

1. Formalisation de l'Effondrement de Modalité en Phase Tardive : Les auteurs identifient et formalisent les limites du pondération uniforme des tokens dans le RL intermodal, soulignant comment le prior linguistique masque l'incertitude réelle du modèle lors de raisonnements à long horizon, conduisant à des hallucinations confiantes.
2. Cadre MAPO : Ils proposent un cadre d'optimisation à double branche qui exploite l'entropie différentielle intermodale pour prioriser les tokens critiques pour la modalité et introduit une pénalité d'attention ciblée pour imposer un ancrage intermodal soutenu.
3. Validation Empirique : Grâce à une évaluation extensive sur des tâches complexes de raisonnement audio (parole, musique, événements sonores), ils démontrent que MAPO améliore à la fois la fidélité du raisonnement de longue forme et la robustesse face aux hallucinations de prior linguistique, établissant de nouveaux résultats de l'état de l'art parmi les modèles à poids ouverts.

4. Résultats Expérimentaux

Les auteurs ont évalué MAPO en utilisant le modèle Qwen3-Omni-30B-A3B-Thinking comme politique de base, entraîné sur un mélange diversifié de jeux de données de QA audio (incluant AVQA, AudioSet, LibriTTS-R et MusicCaps).

4.1 Études d'Ablation

• Impact des Composantes : Le GRPO standard sur le modèle de base a légèrement dégradé les performances (Moyenne : 70,21 $\to$ 69,51). L'ajout du masque de pertinence de modalité a récupéré les performances (70,53). L'intégration de la perte d'attention auxiliaire a produit un bond substantiel (71,51), validant que l'imposition structurelle d'un ancrage source soutenu atténue l'effondrement.
• Affinement Complet : MAPO a maintenu un avantage clair sur le GRPO standard même sous des mises à jour complètes des paramètres, atteignant une moyenne globale de 73,34 sur le benchmark final de la Phase 2.

4.2 Performance sur les Benchmarks

• Benchmarks Centrés sur la Modalité (MMAU, MMAR) : MAPO a atteint un nouvel état de l'art pour les modèles à poids ouverts. Sur MMAU, il a obtenu 77,80, égalant le modèle propriétaire leader (Nova 2 Omni) et surpassant substantiellement Gemini 2.5 Pro (71,60) et GPT-4o Audio (62,50). Par rapport à sa base Qwen3-Omni-Thinking, MAPO a amélioré MMAU de +2,80 et MMAR de +4,00.
• Capacité et Respect des Instructions (MMSU, MMAU-Pro) : MAPO a obtenu le score global le plus élevé sur MMSU (79,36), avec des améliorations simultanées en Perception et Raisonnement. Notamment, sur MMAU-Pro, il a élevé le score de Respect des Instructions Audio (AIF) de 62,07 à 95,40, surpassant des modèles hautement optimisés comme Gemini 2.5 Flash (95,10).

4.3 Analyse Qualitative

Les études de cas ont révélé que sans la branche de perte d'attention, les modèles identifiaient souvent correctement les indices acoustiques initiaux, puis déviaient vers des priors textuels incorrects (par exemple, identifiant à tort une "charrette tirée par un cheval" comme un "train" en raison du claquement rythmique). Le cadre MAPO complet a maintenu l'attention audio profondément dans la trace de raisonnement, permettant au modèle d'affiner les indices ambigus et de rejeter les priors trompeurs.

5. Signification et Revendications

L'article revendique que MAPO offre une base prometteuse pour atténuer l'effondrement épistémique à travers divers systèmes multimodaux. Sa signification réside dans trois domaines :

1. Correction Structurelle : Il adresse une inefficacité structurelle fondamentale dans le post-entraînement RL standard (pondération uniforme des tokens) qui amène les modèles à abandonner les modalités sources lors de raisonnements étendus.
2. Dépendance au Signal Natif : Contrairement aux méthodes antérieures qui reposent sur des modèles enseignants externes ou des biais inductifs spécifiques au domaine (par exemple, métriques de similarité visuelle), MAPO repose strictement sur des signaux statistiques natifs (poids d'attention et entropie prédictive) dérivés du modèle lui-même.
3. Généralisabilité : Bien que validé sur l'audio, les auteurs postulent que les mécanismes de repondération des tokens et de guidage de l'attention du cadre sont agnostiques à la modalité, suggérant une applicabilité à d'autres modalités non-textuelles continues comme la vision et la vidéo.

Les auteurs notent explicitement que MAPO est un cadre d'alignement et de régularisation, et non un mécanisme d'injection de capacités. Il garantit que les modèles exploitent pleinement les capacités perceptuelles et de raisonnement existantes, mais ne synthétise pas de capacités absentes du pré-entraînement de base. De plus, ils observent que l'application de MAPO à des modèles affinés pour les instructions dépourvus de capacités intrinsèques de CoT produit un succès limité, car le prior sous-jacent de brièveté contraint le potentiel d'optimisation.