💬 NLP

Alignment Is All You Need: Instruction-Free Training for General Audio-Language Models

Cet article présente un cadre d'alignement uniquement, sans instruction, pour l'entraînement de modèles audio-langage généraux qui maintient à la fois l'encodeur audio et le LLM gelés tout en apprenant seulement un projecteur léger sur des données auto-générées, démontrant qu'une performance multimodale compétitive peut être atteinte sans supervision spécifique à la tâche ou ajustement fin extensif.

Auteurs originaux : Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Publié 2026-08-20

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Xuanru Zhou, Yiwen Shao, Jiahong Li, Dong Yu

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde en évolution rapide de l'intelligence artificielle, un type spécifique de programme informatique a émergé, capable de lire du texte, de regarder des images et d'écouter des sons, puis de répondre à des questions à leur sujet. Ces systèmes, connus sous le nom de modèles de langage de grande taille multimodaux, sont construits en prenant un puissant moteur de traitement de texte et en lui apprenant à comprendre d'autres formes de données, comme l'audio. Traditionnellement, ce processus d'apprentissage est long et laborieux. Il implique généralement trois étapes distinctes : premièrement, connecter les nouvelles données sonores au moteur de texte ; deuxièmement, entraîner le système sur des milliers de tâches spécifiques avec des instructions écrites par des humains ; et troisièmement, affiner son comportement en fonction des préférences humaines pour qu'il paraisse plus naturel. La croyance dominante a été que sans cette supervision lourde et multi-étapes, le système n'apprendrait pas à écouter efficacement.

Cependant, une nouvelle étude remet en question cette hypothèse en posant une question plus simple : si le moteur de texte sait déjà comment suivre des instructions et raisonner, a-t-il vraiment besoin d'être réentraîné de zéro pour comprendre le son ? Les chercheurs proposent que le travail de force consistant à enseigner au modèle des tâches spécifiques soit inutile. Au lieu de cela, ils suggèrent que le simple alignement des données sonores avec les connaissances existantes du moteur de texte pourrait suffire. Cette approche traite l'audio non pas comme une nouvelle langue à apprendre, mais comme une façon différente de présenter l'information que le moteur est déjà capable de comprendre, à condition que la connexion entre les deux soit claire.

Les chercheurs ont entrepris de tester cette idée en construisant un système qui saute les étapes d'entraînement traditionnelles. Ils ont pris un modèle de texte préexistant et puissant ainsi qu'un encodeur audio préexistant, qui est un outil convertissant les ondes sonores brutes en un format que l'ordinateur peut traiter. Crucialement, ils ont « gelé » ces deux composants, ce qui signifie qu'ils n'ont pas modifié un seul paramètre interne du moteur de texte ou de l'outil audio pendant le processus d'entraînement. La seule partie du système qu'ils ont autorisée à apprendre était un connecteur, ou projecteur, petit et léger, qui se situe entre l'audio et le moteur de texte. La seule tâche de ce connecteur était de traduire les caractéristiques audio dans un langage que le moteur de texte pouvait comprendre, sans jamais être informé de la tâche spécifique à accomplir.

Pour entraîner ce connecteur sans instructions humaines, l'équipe a développé une méthode appelée construction de données auto-générées. Au lieu de demander à des humains d'écrire des questions et des réponses pour chaque clip audio, ils ont utilisé le moteur de texte lui-même pour créer le matériel d'entraînement. Ils ont pris des descriptions simples de clips audio, telles qu'une phrase déclarant « un chien qui aboie », et les ont injectées dans le moteur de texte gelé sans aucune instruction ni incitation. Le moteur, agissant comme un écrivain créatif, développait ensuite cette description simple en une réponse longue et libre, imaginant ce qu'il dirait s'il entendait réellement le son. Ces réponses générées sont devenues les réponses cibles. Le système a ensuite appris à faire en sorte que l'audio ressemble à ces descriptions en ajustant uniquement le petit connecteur, enseignant ainsi à l'audio à parler le même langage que les pensées internes du moteur de texte.

Lorsqu'ils ont été testés contre une grande variété de benchmarks couvrant la parole, la musique et les sons environnementaux, cette approche sans instruction a performé de manière remarquable. Le modèle a égalé ou même surpassé les systèmes ayant subi l'entraînement traditionnel et coûteux à plusieurs étapes, malgré l'utilisation de beaucoup moins de données. Lors de tests mesurant la capacité à suivre des instructions complexes, le nouveau modèle a surpassé de nombreux concurrents open-source, conservant la capacité naturelle du moteur de texte original à suivre des commandes, car ce dernier n'a jamais été altéré. L'étude suggère que le goulot d'étranglement dans la construction de ces systèmes audio n'est pas le manque d'ensembles d'instructions massifs, mais plutôt la qualité de la connexion entre le son et le moteur de texte.

Les chercheurs ont également exploré comment différents facteurs influençaient les résultats. Ils ont découvert que la performance du système était limitée par deux éléments principaux : la quantité d'informations que l'outil audio pouvait extraire du son, et la capacité du moteur de texte à raisonner. Si l'outil audio était bon pour capturer les détails sonores mais que le moteur de texte était faible en raisonnement, le système ne performait pas bien, et vice versa. Ils ont découvert que le simple ajout de données n'aidait pas toujours ; pour les tâches nécessitant la reconnaissance de sons spécifiques, le système atteignait rapidement un plafond de performance. Cependant, pour les tâches exigeant un raisonnement ouvert ou des descriptions créatives, l'ajout de données continuait d'améliorer les résultats. Cela indique que le potentiel du système est défini par les capacités de ses composants de base plutôt que par le volume des exemples d'entraînement.

Une découverte intéressante fut que le système fonctionnait mieux lorsque le moteur de texte utilisé pour générer les réponses d'entraînement était le même que celui utilisé pour la tâche d'écoute finale. Si les chercheurs utilisaient un moteur différent pour créer les données d'entraînement, la performance chutait considérablement. Cela suggère que le système ne se contente pas d'apprendre à reconnaître des sons, mais apprend à s'aligner sur la logique interne spécifique d'un moteur de texte particulier. De plus, l'étude a montré que le système pouvait s'adapter à de nouvelles générations de moteurs de texte simplement en réentraînant le petit connecteur, sans avoir besoin de réentraîner les moteurs massifs eux-mêmes. Cela implique qu'à mesure que les modèles de texte s'améliorent, les modèles audio pourraient être mis à jour instantanément en changeant simplement le connecteur, plutôt qu'en reconstruisant tout le système.

L'étude conclut que la construction d'un modèle de langage et d'audio compétitif ne nécessite pas les pipelines complexes à plusieurs étapes qui sont devenus la norme. En gelant les composants de base et en se concentrant uniquement sur l'alignement de l'audio avec les connaissances existantes du moteur de texte, les chercheurs peuvent créer des systèmes qui sont efficaces, adaptables et hautement capables. Cette approche préserve les forces originales du moteur de texte, telles que sa capacité à suivre des instructions, qui sont souvent perdues lorsque les modèles sont lourdement affinés pour des tâches spécifiques. Les résultats suggèrent que la voie vers une compréhension audio plus avancée réside non pas dans l'enseignement de nouvelles compétences au modèle, mais dans la recherche de la manière la plus efficace de lui permettre d'utiliser les compétences qu'il possède déjà.

Résumé technique : L'alignement est tout ce dont vous avez besoin pour les modèles audio-langage généraux

Énoncé du problème

Les modèles de langage de grande taille multimodaux (MLLM) actuels, y compris les grands modèles audio-langage (LALM), reposent généralement sur un pipeline d'entraînement à plusieurs étapes : alignement cross-modal, ajustement fin supervisé (SFT) avec des instructions spécifiques aux tâches, et optimisation des préférences (par exemple, DPO). Ce paradigme suppose que l'adaptation d'un grand modèle de langage (LLM) préentraîné à une nouvelle modalité nécessite une supervision étendue et spécifique à chaque tâche. Cependant, cette approche présente deux inconvénients majeurs :

Érosion de la généralisation : Le SFT intensif et l'optimisation des préférences adaptent le LLM à des distributions d'instructions spécifiques, ce qui peut éroder ses capacités natives et universelles de suivi d'instructions, provoquant un surapprentissage des modèles de formation plutôt qu'une compréhension du signal d'entrée sous-jacent.
Inefficacité et scalabilité : Chaque nouvelle génération de LLM nécessite de relancer des pipelines de post-entraînement coûteux sur un nouveau socle, rendant le processus lourd en calcul et lent à adapter.

La question centrale posée par les auteurs est de savoir si l'alignement seul est suffisant pour construire un modèle multimodal compétitif, en exploitant les capacités de raisonnement et de suivi d'instructions préexistantes du LLM sans réentraîner le LLM ou l'encodeur audio.

Méthodologie

Le papier propose un cadre d'entraînement de type Alignement-Seul sans Instruction (Instruction-Free Alignment-Only). La philosophie centrale est qu'un projecteur bien aligné peut connecter un encodeur audio gelé à un LLM gelé, permettant au LLM d'interpréter l'audio de la même manière qu'il interprète le texte, sans avoir besoin d'être réentraîné sur des tâches spécifiques.

1. Architecture

Le modèle se compose de trois éléments :

Encodeur Audio Gelé ( $E$ ) : Cartographie l'audio brut $x$ en vecteurs de caractéristiques. Le papier évalue cinq encodeurs selon trois paradigmes : discriminatif (AudioSet-Zipformer), supervisé par ASR (Whisper-large-v2), et pré-entraînement audio-langage conjoint (famille Qwen).
LLM Gelé ( $L$ ) : Un modèle autorégressif préentraîné (par exemple, Qwen2.5-7B-Instruct) qui agit comme un décodeur universel.
Projecteur Entraînable ( $P_\theta$ ) : Un module léger et apprenable (un simple MLP à deux couches) qui projette la sortie de l'encodeur dans l'espace d'embedding d'entrée du LLM. Seuls les paramètres du projecteur sont mis à jour.

2. Construction de Données Auto-Générées

Pour éviter le biais induit par les instructions, les auteurs éliminent les instructions de tâches explicites et les paires QA. À la place, ils utilisent un pipeline de Construction de Données Auto-Générées :

Surrogate Sémantique : Une légende en langage naturel $c$ (soit la vérité terrain, soit générée synthétiquement par un légendeur) sert de substitut sémantique pour l'audio $x$ .
Expansion de Réponse : Un expandeur LLM gelé $g$ prend la légende $c$ et génère une réponse libre $r = g(c)$ comme s'il percevait directement l'audio.
Cible d'Entraînement : Le jeu de données résultant consiste en des paires $(x, r)$ , où $r$ est la réponse cible générée à partir de la légende substitut.

3. Entraînement d'Alignement Sans Instruction

L'objectif d'entraînement minimise la perte de modélisation de langage causale sur les tokens de la réponse $y$ (dérivés de $r$ ), étant donné le préfixe audio $h = P_\theta(E(x))$ :
$\mathcal{L}_{align}(\theta) = -\mathbb{E}_{(x,y) \sim \mathcal{D}_{align}} \sum_{t=1}^{n} \log p_L(y_t | y_{<t}, P_\theta(E(x)))$
Crucialement, aucune instruction n'est ajoutée en préfixe à l'entrée pendant l'entraînement. Le préfixe audio seul doit déclencher la réponse souhaitée. L'instance de LLM utilisée pour l'entraînement doit être identique à celle utilisée comme expandeur $g$ pour garantir la cohérence distributionnelle.

4. Base Théorique

L'approche repose sur l'hypothèse que les LLM modernes sont des décodeurs universels. Si le projecteur atteint un alignement complet (où le préfixe audio suscite la même distribution de réponse que la légende textuelle en l'absence d'instructions), le modèle généralise à toute instruction lors de l'inférence. La performance est théoriquement bornée par $\min(I(E), C(L))$ , où $I(E)$ est l'information conservée par l'encodeur et $C(L)$ est l'espace de réponse du LLM gelé.

Contributions Clés

LALM par Alignement-Seul sans Instruction : Les auteurs démontrent qu'un LALM compétitif peut être construit en entraîant uniquement un projecteur léger tout en gardant l'encodeur audio et le LLM entièrement gelés. Cette approche égale ou surpasse les bases de référence fortement post-entraînées en utilisant beaucoup moins de données.
Préservation du Suivi d'Instructions : En gelant le LLM, le modèle conserve sa compétence native de suivi d'instructions, atteignant des performances de pointe sur les benchmarks de suivi d'instructions parmi les LALM open-source sans SFT ni optimisation de préférence.
Pipeline Totalement Automatique : Ce travail étend le cadre de Construction de Données Auto-Générées de la parole vers l'audio général, permettant un pipeline d'entraînement qui ne nécessite ni paires QA manuellement curatées, ni taxonomies de tâches, ni modèles d'instructions.
Ablations et Insights de Mise à l'Échelle : L'étude fournit des ablations étendues montrant que la performance est conjointement contrainte par les représentations de l'encodeur et la capacité du LLM. Elle révèle que l'augmentation des données d'alignement bénéficie principalement aux tâches de raisonnement ouvert, tandis que la reconnaissance en ensemble fermé sature rapidement en fonction des limites de l'encodeur.

Résultats Expérimentaux

Le modèle a été évalué sur quatre benchmarks : MMAU, MMAR, MMSU, et MMAU-Pro.

Performance vs Baselines : La variante AudioSet-Zipformer (7 milliards de paramètres, entraînée sur ~576k échantillons) a obtenu 80.8/77.4 sur MMAU (Son), dépassant le précédent meilleur modèle open-source (Audio-Flamingo 3) qui utilisait 46 $\times$ plus de données. Sur MMAU-Pro, elle a marqué 52.8 (moyenne), surpassant les autres modèles open-source (ex: Qwen2.5-Omni: 52.2, Kimi-Audio: 46.6) et égalant des systèmes propriétaires comme GPT-4o-Audio (52.5).
Suivi d'Instructions : Le modèle a obtenu 62.9 sur la partie "instruction-following" de MMAU-Pro, le score le plus élevé parmi les LALM open-source listés, validant la préservation des capacités du LLM gelé.
Sensibilité de l'Encodeur : L'encodeur discriminatif AudioSet-Zipformer a excellé dans les tâches de son et de musique, tandis que l'encodeur supervisé par ASR Whisper-large-v2 a mieux performé sur les tâches centrées sur la parole (MMSU, MMAU Speech).
Comportement de Mise à l'Échelle : Augmenter les données d'entraînement de 400k à 4M d'échantillons montre des rendements décroissants sur les benchmarks en ensemble fermé (MMAU), qui saturent rapidement. Cependant, les tâches de raisonnement ouvert (MMAU-Pro Open-ended, MMAR) continuent de progresser avec plus de données.
Sources de Légendes : Les légendes synthétiques générées par des LLM sont compétitives avec les légendes de vérité terrain, particulièrement pour les tâches centrées sur la parole, bien que les légendes de vérité terrain conservent un léger avantage pour certains encodeurs.

Signification et Revendications

Le papier affirme que l'alignement seul est suffisant pour construire des modèles multimodaux compétitifs, remettant en question la nécessité d'un SFT et d'une optimisation des préférences étendus. En réduisant l'extension multimodale à un problème d'entraînement de projecteur léger, l'approche offre :

Efficacité : Convergence rapide et coûts de calcul nettement inférieurs par rapport au fine-tuning complet.
Portabilité : La recette peut être transférée de manière transparente aux nouvelles générations de LLM en réentraînant simplement le projecteur, préservant le comportement de décodage universel du LLM.
Généralisation : Le modèle évite le biais induit par les instructions, permettant de généraliser à des instructions arbitraires lors de l'inférence sans adaptation supplémentaire.

Les auteurs reconnaissent des limites, notant que la performance est fondamentalement bornée par les capacités de l'encodeur et du LLM de base, et que l'étude actuelle est limitée au domaine audio et aux modèles à l'échelle 7B. Ils suggèrent que si l'alignement capture bien la sémantique, des signaux plus riches que la sémantique pourraient encore nécessiter une supervision spécialisée.