⚡ electrical engineering

Reducing Prompt Sensitivity in LLM-based Speech Recognition Through Learnable Projection

Ce papier traite de l'instabilité des performances causée par des conceptions de prompts fixes dans la reconnaissance vocale basée sur les LLM en proposant un module « projecteur de prompts » simple et agnostique au modèle qui apprend à optimiser les représentations des prompts, améliorant ainsi de manière constante la précision et réduisant la variabilité sur des ensembles de données diversifiés.

Auteurs originaux : Sergio Burdisso, Esaú Villatoro-Tello, Shashi Kumar, Srikanth Madikeri, Andrés Carofilis, Pradeep Rangappa, Manjunath K E, Kadri Hacioglu, Petr Motlicek, Andreas Stolcke

Publié 2026-05-12

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Sergio Burdisso, Esaú Villatoro-Tello, Shashi Kumar, Srikanth Madikeri, Andrés Carofilis, Pradeep Rangappa, Manjunath K E, Kadri Hacioglu, Petr Motlicek, Andreas Stolcke

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous possédez un traducteur brillant et multilingue (le Modèle de Langage à Grande Échelle ou LLM) qui est incroyablement intelligent mais qui n'a jamais entendu de voix humaine. Pour faire en sorte que ce traducteur comprenne la parole, vous le connectez à un système de microphone (le Encodeur de Parole) en utilisant un adaptateur spécial (le Projecteur de Parole). Cet adaptateur traduit les ondes sonores dans une langue que le traducteur comprend.

Pendant longtemps, les chercheurs ont pensé que la seule chose qui comptait était de construire un bon adaptateur. Ils supposaient que l'"instruction" ou le prompt que vous donniez au traducteur (comme une note disant : "Veuillez noter ce que vous entendez") n'avait pas beaucoup d'importance, tant qu'il était cohérent. Ils utilisaient la même note manuscrite pour chaque test.

Ce papier déclare : "C'est un problème. La note que vous écrivez compte réellement beaucoup, et elle rend le système instable."

Voici une analyse de leurs découvertes et de leur solution utilisant des analogies simples :

1. Le Problème : La Loterie de la "Note Manuscrite"

Les chercheurs ont testé 10 "notes" (prompts) différentes pour voir laquelle fonctionnait le mieux. Ils ont constaté que :

La note change le score : Tout comme un étudiant pourrait obtenir une meilleure note selon la manière dont le professeur formule la question d'examen, le système de reconnaissance vocale obtenait des résultats significativement meilleurs ou pires basés uniquement sur la formulation du prompt.
Pas de "Note Parfaite" : Il n'existait aucune note unique qui fonctionnait le mieux pour chaque situation. Une note qui fonctionnait très bien pour un appel téléphonique sonnait terriblement mal pour un enregistrement de réunion.
L'Instabilité : Parce que la "meilleure" note changeait selon les données, le système était imprévisible. Si vous choisissiez accidentellement la mauvaise note, votre transcription pouvait être remplie d'erreurs.

L'Analogie : Imaginez essayer de régler une radio. Pendant des années, tout le monde a supposé que la station de radio (le prompt) n'avait pas d'importance tant que l'antenne (l'encodeur de parole) était bonne. Mais ce papier a découvert que si vous réglez sur la mauvaise station, la musique ressemble à du bruit statique, même si l'antenne est parfaite. Et il n'existe aucune "station magique" unique qui diffuse une bonne musique pour chaque auditeur.

2. La Solution : Le "Traducteur Intelligent" pour la Note

Au lieu d'essayer de trouver la note parfaite (ce qui est difficile et inconstant), les auteurs ont construit un nouvel outil appelé un Projecteur de Prompt.

Pensez au prompt original comme à un croquis grossier. Le Projecteur de Prompt est comme un filtre intelligent ou un "traducteur" qui prend ce croquis grossier et le transforme automatiquement en une instruction parfaite et haute définition avant qu'elle n'atteigne le traducteur principal (le LLM).

Comment ça marche : Il apprend à prendre n'importe quel prompt que vous lui donnez et à le remodeler dans la version la plus efficace pour que le LLM le comprenne.
C'est une Mise à Jour "Plug-and-Play" : Vous n'avez pas à reconstruire tout le système. Vous ajoutez simplement cette petite couche apprenable par-dessus la configuration existante.
Le Résultat : Il n'importe plus si vous donnez au système une mauvaise note ou une bonne note. Le "Traducteur Intelligent" corrige la note automatiquement.

L'Analogie : Imaginez que vous donnez des directions à un GPS.

Avant : Vous deviez mémoriser la formulation exacte et parfaite pour que le GPS fonctionne. Si vous disiez "Tournez à gauche au grand arbre" au lieu de "Tournez à gauche au chêne", le GPS pouvait se confondre.
Après : Vous ajoutez un "Interprète Intelligent" entre vous et le GPS. Maintenant, que vous disiez "Tournez à gauche au grand arbre", "Allez à gauche près de la chose verte" ou même que vous marmonniez, l'Interprète traduit instantanément votre instruction désordonnée en la commande parfaite dont le GPS a besoin. Le GPS fonctionne parfaitement à chaque fois, indépendamment de la façon dont vous avez parlé.

3. Les Résultats

Les chercheurs ont testé cela sur quatre types d'audio différents (livres lus, appels téléphoniques, réunions et chats de centres de contact).

Cohérence : Le système est devenu beaucoup plus stable. Les "mauvaises" notes ont cessé de provoquer de mauvais résultats.
Performance : Même en utilisant la "pire" note originale, le système avec le Projecteur de Prompt a mieux performé que le système utilisant la "meilleure" note originale sans le projecteur.
Simplicité : Ils n'avaient pas besoin de changer le cerveau principal (le LLM) ni le microphone (l'Encodeur de Parole). Ils ont simplement ajouté cette petite couche intelligente pour gérer les instructions.

Résumé

Le papier soutient que s'appuyer sur une instruction fixe, écrite par un humain, pour la reconnaissance vocale par IA est risqué car de petits changements dans la formulation provoquent de grandes fluctuations de performance. Leur solution est un module simple et apprenable qui agit comme un "traducteur universel" pour les instructions, garantissant que l'IA comprend la tâche parfaitement, quelle que soit la façon dont l'instruction est formulée. Cela rend le système plus robuste, plus fiable et moins dépendant des humains qui tentent de deviner la "façon parfaite" de demander une transcription.

Résumé Technique : Réduction de la Sensibilité aux Prompts dans la Reconnaissance Automatique de la Parole Basée sur les LLM via une Projection Apprenable

1. Énoncé du Problème

Bien que la Reconnaissance Automatique de la Parole (ASR) basée sur les Modèles de Langage à Grande Échelle (LLM) ait émergé comme une architecture prometteuse — reliant des modèles de fondation de la parole aux LLMs via un projecteur parole-LLM — les implémentations actuelles reposent fortement sur des prompts fixes et définis manuellement pour l'entraînement et l'inférence.

L'article identifie une vulnérabilité critique et sous-explorée dans cette conception : la sensibilité aux prompts. Les auteurs démontrent que :

Le choix du prompt impacte significativement les performances de l'ASR (mesurées par le Taux d'Erreur de Mots, WER).
Aucun prompt unique ne fonctionne de manière optimale sur tous les jeux de données ou scénarios.
De légères variations dans la formulation ou le placement des embeddings de parole au sein du prompt peuvent entraîner des différences drastiques dans la qualité de la transcription.
Dans certains cas, des prompts spécifiques performent moins bien que l'absence totale de prompt (un prompt « vide »), introduisant une instabilité et limitant la robustesse des systèmes ASR pratiques.

2. Méthodologie

2.1. Architecture de Base

L'étude utilise l'architecture SLAM-ASR comme fondation. Ce modèle se compose de :

Encodeur de parole : WavLM-large (entraîné sur 94 000 heures de données non étiquetées).
Projecteur de parole : Un module léger ( $sp(\cdot)$ ) qui mappe les caractéristiques audio sous-échantillonnées vers l'espace d'entrée du LLM.
LLM : Vicuna-7B (affiné à partir de Llama).
Stratégie d'entraînement : L'encodeur de parole et le LLM sont figés ; seul le projecteur de parole est entraîné.

2.2. Solution Proposée : Le Projecteur de Prompt

Pour répondre à la sensibilité aux prompts sans modifier le LLM sous-jacent ni l'encodeur de parole, les auteurs proposent un module Projecteur de Prompt, noté $pp(\cdot)$ .

Concept : Inspiré par le succès du projecteur de parole, le projecteur de prompt apprend une fonction de projection commune pour transformer les embeddings de prompts fixes et définis manuellement en une région plus efficace de l'espace d'entrée du LLM.
Architecture : Il partage la même architecture que le projecteur de parole (un réseau linéaire à deux couches avec activation ReLU) mais opère sur les embeddings de tokens du LLM plutôt que sur les caractéristiques de parole.
Protocole d'entraînement :
1. Entraîner le modèle de base « vanilla » (encodeur/LLM figés, projecteur de parole appris).
2. Geler tous les composants du modèle de base entraîné.
3. Entraîner uniquement le nouveau projecteur de prompt ( $pp(\cdot)$ ) au-dessus du modèle figé.
- Note : Les auteurs ont explicitement testé le dégel des modèles sous-jacents mais ont constaté que cela menait à un entraînement instable et à une dégradation des performances.

2.3. Configuration Expérimentale

Jeux de données : Quatre jeux de données diversifiés ont été utilisés :
- LibriSpeech (LS-C/LS-O) : Livres audio anglais lus.
- CallHome (CH) : Conversations téléphoniques spontanées.
- AMI : Enregistrements de réunions multimodales.
- ContactCenter (CC) : Conversations propriétaires spécifiques à un domaine (santé/finance).
Variations de prompts : Dix modèles de prompts distincts ont été évalués, allant du prompt « base » standard à des variations de formulation et de placement d'embeddings, plus un prompt « vide » (contenant uniquement les embeddings de parole).
Références : Les comparaisons incluaient des modèles vanilla avec différents prompts, des modèles avec affinement LoRA, et des systèmes ASR basés sur des LLMs récents de l'état de l'art.

3. Résultats Clés

3.1. Impact des Prompts Manuels

L'évaluation du modèle vanilla sur dix prompts a révélé une forte variabilité :

Variance des performances : Différents prompts ont produit des WERs significativement différents même dans des conditions identiques de modèle et de données. Par exemple, sur le jeu de données ContactCenter, le WER variait de 11,81 % à 13,00 % selon uniquement le prompt.
Défauts sous-optimaux : Le prompt « base » standard sous-performait souvent par rapport à d'autres prompts conçus manuellement et, dans certains cas (par exemple CallHome), perforait moins bien que le prompt « vide ».
Dépendance au jeu de données : Un prompt excellent sur un jeu de données (par exemple CallHome) sous-performait souvent sur un autre (par exemple AMI), confirmant qu'aucun prompt unique n'est universellement optimal.

3.2. Efficacité du Projecteur de Prompt

L'ajout du projecteur de prompt ( $pp(\cdot)$ ) a produit des améliorations constantes :

Robustesse : Le projecteur a considérablement réduit la variance des performances. Il a atténué l'impact négatif des prompts sous-optimaux, garantissant que même le « pire » prompt manuel, lorsqu'il était augmenté de $pp(\cdot)$ , surpassait le meilleur prompt manuel utilisé sans le projecteur.
Gains de performance : Sur les quatre jeux de données, l'extension $pp(\cdot)$ $pp (\cdot)$ a systématiquement réduit le WER par rapport à la référence vanilla.
- Exemple : Sur LibriSpeech-Clean, le meilleur prompt manuel a atteint un WER de 2,72 %, tandis que le prompt « base » a atteint 3,09 %. Avec $pp(\cdot)$ , le prompt « base » s'est amélioré à 2,34 %, et le meilleur prompt s'est amélioré à 2,28 %.
Significativité statistique : Des tests statistiques appariés ont confirmé que les améliorations étaient statistiquement significatives ( $p < 0,05$ ) sur tous les jeux de données.
Comparaison avec l'état de l'art : La méthode proposée, en particulier lorsqu'elle est combinée à un affinement LoRA, a obtenu des résultats compétitifs ou supérieurs par rapport aux systèmes récents de l'état de l'art (par exemple Qwen-Audio, SALMONN) sur des benchmarks spécifiques.

4. Importance et Contributions

L'article revendique les contributions et l'importance suivantes :

Première analyse systématique : Il fournit la première étude complète de la sensibilité aux prompts dans l'ASR basée sur les LLM, révélant que le choix du prompt est un facteur critique, souvent négligé, dans les performances du système.
Architecture novatrice : Il introduit le Projecteur de Prompt, une extension simple et agnostique au modèle qui apprend à aligner les embeddings de prompts avec l'espace d'entrée du LLM sans nécessiter de modifications au LLM sous-jacent ou à l'encodeur de parole.
Robustesse sans complexité : L'approche améliore la robustesse et réduit la variance des performances sans introduire de paramètres ou de tokens complexes d'ingénierie de prompts. Elle fonctionne comme une extension « plug-and-play » des architectures existantes.
Insight diagnostique : Les résultats suggèrent que les recherches futures devraient inclure une référence de « prompt vide » comme outil diagnostique pour détecter précocement les prompts manuels peu performants au début du développement.

5. Limites et Travaux Futurs

Les auteurs adoptent une position modeste concernant la portée de leur travail :

Exploration initiale : Ceci est présenté comme une première étape vers la compréhension de la robustesse des prompts.
Écart de comparaison : L'article ne compare pas directement le Projecteur de Prompt avec les méthodes d'apprentissage de prompts souples (qui apprennent des tokens spécifiques à la tâche), notant qu'une comparaison équitable nécessiterait un réglage extensif des hyperparamètres sur plusieurs prompts et jeux de données, ce qui dépasse la portée actuelle.
Généralisation : Des questions ouvertes subsistent concernant la capacité d'un projecteur unique à se généraliser à travers différentes tâches, langues ou architectures de LLM.
Portée : Le travail actuel se concentre strictement sur la transcription ; l'applicabilité à d'autres tâches en aval est un sujet pour de futures investigations.