Résumé technique : Amélioration des modèles de langage à grande échelle pour la parole par alignement comportemental renforcé

Énoncé du problème

Les modèles de langage à grande échelle pour la parole (SpeechLMs) ont étendu les capacités des modèles de langage textuels à l'interaction parlée, mais continuent de prendre du retard par rapport à leurs homologues sollicités par texte en matière de suivi des instructions et de raisonnement. Les auteurs soutiennent que cet écart de performance n'est pas simplement le résultat d'erreurs de reconnaissance automatique de la parole (ASR) ou de décalages de représentation. Au contraire, le problème central réside dans la variabilité des réalisations acoustiques : une même instruction sémantique peut être prononcée par différents locuteurs, avec des accents, une prosodie, des conditions de bruit, des émotions et des disfluences variables (par exemple, des mots de remplissage, des répétitions). Les modèles actuels échouent souvent à maintenir une politique de réponse cohérente face à ces variations acoustiques, ce qui entraîne une instabilité dans le raisonnement et le respect des instructions. Les benchmarks existants (par exemple, DOWIS, VocalBench-DF) démontrent qu'une haute qualité ASR ne garantit pas un comportement stable, et les méthodes d'alignement actuelles traitent souvent les invites audio comme des instances indépendantes plutôt que comme un groupe structuré d'équivalents sémantiques.

Méthodologie : VIRBA

L'article propose l'Alignement Comportemental Renforcé Vérifiable et Invariant (VIRBA), un cadre d'apprentissage par renforcement conçu pour aligner le comportement des SpeechLMs à travers diverses vues acoustiques d'une même intention sémantique.

1. Auto-synthèse multi-vues

Au lieu de s'appuyer uniquement sur des données enregistrées par des humains ou de traiter chaque invite audio indépendamment, VIRBA construit des groupes d'instructions parlées multi-vues. Pour une seule instruction sémantique $q_i$, le système génère $K$ vues parlées distinctes ($x^{(k)}_i$) en utilisant la synthèse vocale (TTS) et des techniques d'augmentation. Ces vues varient en termes de :

• Identité du locuteur et accent
• Prosodie et ton émotionnel
• Débit de parole et réponse de la pièce
• Conditions de bruit et disfluences (mots de remplissage, auto-corrections, faux départs)

Ce processus crée un jeu de données où plusieurs réalisations acoustiques correspondent à une seule intention sémantique, permettant au modèle d'apprendre l'invariance.

2. Modélisation de la récompense

VIRBA utilise une fonction de récompense composite $R$ pour noter les réponses échantillonnées ($y_{i,k,n}$) du modèle $\pi_\theta$. La récompense combine quatre composantes distinctes :

• Récompense de préférence ($R_{pref}$) : Un score contrôlé en longueur provenant d'un juge LLM comparant la réponse du modèle à une réponse de référence, garantissant l'utilité et la cohérence.
• Récompense vérifiable ($R_{ver}$) : Vérifications de correction basées sur des règles (correspondance exacte, F1, correction des étiquettes, analyseurs pour les contraintes, BLEU/COMET pour la traduction) pour ancrer l'exactitude factuelle et réduire les hallucinations.
• Récompense d'invariance ($R_{inv}$) : Une métrique spécifique à la parole qui pénalise la dérive sémantique entre les réponses à différentes vues acoustiques de la même instruction. Elle garantit que le modèle ne modifie pas son contenu factuel ou son comportement de refus en fonction du locuteur ou de la présence de disfluences.
• Récompense de raisonnement adaptatif ($R_{think}$) : Une récompense qui encourage un raisonnement concis uniquement lorsqu'il améliore la correction finale, empêchant le modèle de générer des justifications longues et inutiles pour des tâches simples.

3. Optimisation de politique relative de groupe inter-acoustique (CA-GRPO)

L'objectif d'optimisation va au-delà de l'apprentissage de préférences par paires (par exemple, DPO) qui sélectionne uniquement une paire « meilleure » et « pire ». VIRBA utilise CA-GRPO, qui traite l'ensemble du groupe de réponses à travers toutes les vues acoustiques pour une seule instruction comme unité d'optimisation.

• La fonction d'avantage $A_{i,k,n}$ est calculée en comparant la récompense d'une réponse spécifique à la moyenne et à l'écart type de la distribution de récompense de l'ensemble du groupe.
• L'objectif maximise la vraisemblance des réponses à haute récompense tout en pénalisant les écarts par rapport à la moyenne du groupe, imposant ainsi efficacement la cohérence à travers les vues acoustiques.
• Le pipeline d'entraînement comprend une phase de préchauffage supervisé pour éviter l'effondrement précoce de la politique, suivie de l'objectif CA-GRPO.

Contributions clés

1. Formalisation de l'alignement invariant acoustique : L'article formalise l'alignement des SpeechLMs comme un problème d'optimisation où des requêtes parlées sémantiquement identiques doivent induire des politiques de réponse cohérentes à travers les locuteurs, les accents, la prosodie, le bruit et les disfluences.
2. Cadre VIRBA : Introduction d'un cadre d'apprentissage par renforcement qui construit des groupes d'instructions parlées multi-vues et combine des récompenses de préférence, de correction vérifiable, d'invariance inter-acoustique et de raisonnement adaptatif.
3. Objectif CA-GRPO : Une méthode novatrice d'optimisation de politique relative de groupe qui exploite la distribution complète des récompenses sur les vues de parole et les échantillons de réponses, plutôt que de réduire la supervision à une seule paire meilleure-pire.
4. Évaluation complète : Une évaluation rigoureuse couvrant le suivi des instructions parlées, la robustesse aux disfluences, les questions-réponses parlées, le raisonnement audio et la traduction parole-texte, démontrant que les gains proviennent du mécanisme d'alignement plutôt que de l'échelle des données synthétiques uniquement.

Résultats expérimentaux

Les auteurs ont évalué VIRBA en utilisant Qwen2-Audio-7B comme colonne vertébrale principale et Qwen2.5-Omni-7B comme colonne vertébrale secondaire.

• Suivi des instructions et robustesse : VIRBA a obtenu les taux de victoire les plus élevés contrôlés en longueur (LC) sur des benchmarks tels que Spoken-Alpaca, Speech-IFEval et DOWIS. Notamment, il a montré les plus grands gains sur les invites disfluents et perturbés acoustiquement par rapport à des bases de référence telles que TTS-SFT, Group-DPO et RL mono-vue.
• Raisonnement et questions-réponses : Sur des benchmarks axés sur le raisonnement (SpeechR, SoundMind, MMAR), VIRBA a surpassé le RL mono-vue et égalé ou dépassé des modèles spécialisés en raisonnement audio comme Step-Audio-R1. L'étude d'ablation a confirmé que les récompenses vérifiables et les récompenses d'invariance sont essentielles pour ces gains.
• Contrôles de robustesse : Les expériences ont montré que l'alignement direct des SpeechLMs (VIRBA) surpasse les systèmes en « cascade » (ASR + LLM texte) sur les invites disfluents et enregistrés par des humains, car les systèmes en cascade souffrent d'erreurs ASR et de la perte d'indices paralinguistiques.
• Transfert de traduction : Bien que l'objectif principal soit l'alignement des instructions, VIRBA a démontré que son entraînement préserve les capacités de traduction parole-texte, montrant des améliorations modestes mais cohérentes par rapport aux bases de référence sur FLEURS, CoVoST2 et MuST-C.
• Études d'ablation : La suppression de la récompense d'invariance a fortement réduit la robustesse et la cohérence. La suppression des récompenses vérifiables a nui aux performances de raisonnement et de questions-réponses. Le remplacement de CA-GRPO par des mises à jour DPO par paires a entraîné une baisse de performance sur toutes les métriques, validant l'avantage d'utiliser la distribution complète des récompenses du groupe.

Importance et affirmations

L'article affirme que l'écart persistant entre les modèles de langage textuels et parlés n'est pas uniquement un problème d'ASR mais un problème d'alignement comportemental. En traitant le « groupe acoustique » comme unité d'optimisation, VIRBA force le modèle à apprendre des politiques de raisonnement stables et invariantes face aux variations réalistes de la parole.

Les auteurs soulignent que leur approche fait passer l'alignement des SpeechLMs au-delà de la simple imitation de l'enseignant vers des politiques de raisonnement robustes. Les résultats suggèrent que les récompenses vérifiables et l'invariance inter-acoustique sont essentielles pour gérer la complexité de l'interaction parlée réelle, en particulier là où les disfluences et la variabilité des locuteurs déstabiliseraient autrement le modèle. Ce travail offre une voie évolutive vers l'avant en utilisant des données de parole auto-synthétisées, à condition que l'objectif d'entraînement récompense explicitement la cohérence à travers les vues acoustiques.