Résumé technique : Devons-nous taper ou parler aux agents LLM ?

Énoncé du problème

L'interaction humaine avec les modèles de langage de grande taille (LLM) déployés s'effectue principalement par deux canaux : la frappe sur un clavier QWERTY et l'utilisation d'une interface vocale. Aucun de ces deux canaux ne délivre une entrée « propre ». La frappe introduit un bruit orthographique (ex. : substitutions de touches voisines, transpositions), tandis que la parole atteint le modèle via une couche de transcription qui introduit des disfluences (mots de remplissage, faux départs), des substitutions d'homophones et, de plus en plus, des réécritures intégrales par des outils de dictée assistés par l'IA. Bien que la robustesse au bruit typographique et à la disfluence verbale ait été étudiée isolément, il manque une comparaison systématique entre ces modalités, particulièrement concernant l'impact des réécritures de transcription pilotées par l'IA moderne. De plus, les benchmarks existants reposent souvent sur un bruit synthétique qui ne reflète pas les erreurs motrices spécifiques de la frappe ou les réécritures structurelles des outils de dictée.

Méthodologie : Le moteur HIVE

Pour combler ces lacunes, les auteurs introduisent HIVE (Human Input-Variation Engine), une suite de perturbations conçue pour reproduire les erreurs spécifiques inhérentes aux canaux d'entrée humaine.

• Architecture : HIVE se compose de 17 opérateurs et de 2 contrôles, implémentés via des transformations basées sur des règles avec graine (seed) ou par transfert de style via few-shot LLM (utilisant Qwen2.5-7B-Instruct).
• Opérateurs Vocaux (11) : Ils modélisent le pipeline de transcription.
  • Registres : « Spoken-casual » (type podcast avec un taux élevé de mots de remplissage) et « Spoken-formal » (discours préparé).
  • Réécritures : « Spoken-succinct » (compresse et réordonne) et « Spoken-clean » (resserre la formulation tout en préservant la structure).
  • Facteurs déterministes : Isoler des propriétés de surface spécifiques comme l'injection de mots de remplissage, la conversion nombres-en-mots, la suppression de mots fonctionnels, la perte de casse/ponctuation et la substitution d'homophones.
• Opérateurs de Clavier (6) : Ils modélisent les erreurs motrices sur une disposition QWERTY.
  • Inclut les substitutions de touches voisines, les transpositions, les répétitions de touches, les insertions de touches connectées, les espaces manquants et un contrôle de remplacement aléatoire.
  • Les éditions sont appliquées sur une base Damerau–Levenshtein avec des distances fixes par mot.
• Configuration expérimentale :
  • Modèles : Cinq modèles ajustés pour l'instruction (Llama-3.1-8B, Qwen2.5-7B, Mistral-7B-v0.3, Qwen3-8B, phi-4).
  • Benchmarks : Six jeux de données couvrant l'arithmétique (GSM8K, GSM-Symbolic, GSM1k), la synthèse de code (HumanEval) et le raisonnement à choix multiples (MMLU-Pro, TruthfulQA).
  • Protocole : Décodage glouton (greedy decoding) avec évaluation par paires appariées (propre vs perturbé) sur 5 graines pour isoler les effets de la perturbation du bruit d'échantillonnage.

Principales conclusions

1. La transcription vocale coûte en précision ; la structure importe plus que les mots de remplissage

Les perturbations de transcription vocale diminuent systématiquement la précision pour tous les modèles testés. L'opérateur le plus dommageable est « spoken-succinct » (compression et réordonnancement), qui réduit la précision d'environ 24 points de pourcentage. Crucialement, la pénalité est pilotée par la structure de la transcription plutôt que par la présence de mots de remplissage.

• Supprimer les mots de remplissage d'un transcript parlé (« spoken-filler-stripped ») ne permet pas de récupérer la précision.
• Ajouter des mots de remplissage à un texte propre (« clean+fillers ») diminue la précision, mais de façon moins sévère que le registre parlé complet.
• Cela suggère que la pénalité est « surdéterminée » : les mots de remplissage sont suffisants pour causer du tort, mais ne sont pas nécessaires, car la restructuration du registre (ex. : phrases interminables, enchaînements de clauses) endommage indépendamment la performance.

2. Les perturbations de clavier sont moins dommageables

Les erreurs de clavier QWERTY sont nettement moins coûteuses que les erreurs vocales, avec une baisse de précision moyenne de ~3,0 points contre ~9,7 points pour la voix.

• Les modèles absorbent un nombre surprenant d'erreurs de frappe avant que la performance ne s'effondre. La précision reste stable jusqu'à ce qu'environ 12 % des mots contiennent des erreurs, après quoi elle chute brutalement.
• Concentration vs Dispersion : Trois éditions dans 20 % des mots sont deux fois plus dommageables qu'une édition répartie sur 50 % des mots, car les mots lourdement édités deviennent irrécupérables dans le contexte.
• Les erreurs spécifiques au QWERTY (substitutions de voisins) sont légèrement moins dommageables que les remplacements aléatoires arbitraires, car les substitutions de voisins aboutissent souvent à des jetons alternatifs moins plausibles.

3. L'écart de modalité est un effet lié aux tâches de raisonnement

L'écart de performance entre la voix et la frappe apparaît presque exclusivement dans les tâches exigeant que le modèle construise ou déduise une réponse (ex. : arithmétique, génération de code).

• Sur les tâches à choix multiples où la réponse est sélectionnée parmi des options fournies, l'écart entre la voix et la frappe est négligeable.
• Sur les tâches de génération, les entrées vocales entraînent une précision de 6 à 7 points de pourcentage inférieure à celle de la frappe.

4. La survie des jetons est le principal prédicteur de préjudice

La cause fondamentale de la dégradation des performances est la destruction des jetons originaux.

• Il existe une forte corrélation positive ($r=+0,79$) entre le pourcentage de jetons de la question originale survivant à la perturbation et la précision résultante.
• L'ajout de nouveaux jetons (inflation de jetons) a un impact négatif minimal comparé à la destruction des jetons existants.
• Les opérateurs qui préservent la séquence de jetons originale (même avec l'ajout de mots de remplissage) sont beaucoup moins dommageables que ceux qui réécrivent ou compressent le texte, ce qui détruit la tokenisation originale.

5. Le préjudice n'est pas uniquement dû à la contamination du jeu de test

La pénalité de performance persiste sur les jeux de données décontaminés (GSM-Symbolic et GSM1k), qui régénèrent des problèmes avec de nouvelles formes de surface tout en préservant la logique de raisonnement. Cela indique que le préjudice n'est pas simplement dû aux modèles récupérant des solutions mémorisées de leurs données d'entraînement, mais reflète une réelle incapacité à traiter la structure perturbée de l'entrée.

6. L'adaptation légère ne peut atténuer le préjudice

Les tentatives d'entraînement des modèles pour absorber ces perturbations via l'auto-distillation (adaptateurs LoRA) ont été largement infructueuses.

• Les réglages d'adaptation de rang élevé pourraient combler l'écart pour la parole conversationnelle, mais seulement en tirant vers le bas la performance sur les entrées propres, ce qui viole la contrainte selon laquelle la robustesse ne doit pas se faire au détriment de la performance de base.
• Les réglages de rang faible préservent la précision sur les entrées propres mais échouent à améliorer la performance sur les entrées perturbées.
• L'ajout de termes pour pénaliser l'attention aux mots de remplissage ou aligner les états cachés n'a pas permis de combler l'écart. Le préjudice semble intrinsèque à l'architecture actuelle du modèle et à sa distribution d'entraînement.

7. Les budgets de « réflexion » restaurent le clavier mais pas la voix

L'activation d'un mode de « réflexion » (raisonnement par chaîne de pensée / chain-of-thought) dans Qwen3-8B restaure presque entièrement la performance sur les perturbations de clavier, mais laisse les registres parlés essentiellement intacts.

• Le raisonnement aide à reconstruire le texte brouillé où les jetons originaux sont préservés (erreurs de clavier).
• Il échoue à récupérer la performance lorsque la structure de l'entrée est fondamentalement altérée ou compressée (réécritures vocales) ; notablement, la performance de la parole compressée empire lorsqu'un budget de réflexion est activé.
• Cela suggère que le raisonnement peut réparer le bruit au niveau des jetons, mais ne peut compenser la perte de la séquence de jetons originale et de l'intégrité structurelle inhérente aux réécritures vocales.

Signification et revendications

L'article affirme que la parole est actuellement le « canal coûteux » pour interagir avec les LLM, principalement en raison des réécritures structurelles introduites par les outils de dictée assistés par l'IA. Les auteurs soutiennent que le dommage n'est pas une simple question de bruit, mais une perte de la séquence de jetons originale et de l'intégrité structurelle requise pour le raisonnement.

Implications pratiques :

• Pour les utilisateurs : Lors de l'utilisation d'interfaces vocales, la formulation prononcée est la formulation dont le modèle doit travailler ; les utilisateurs doivent éviter de divaguer ou de compter sur les outils en aval pour « nettoyer » le texte, car un retrait minimal des disfluences est préférable à une réécriture structurelle.
• Pour les développeurs : Les interfaces de dictée devraient minimiser le reformatage et la restructuration de l'entrée utilisateur. Le préjudice le plus important mesuré provient de la couche de « réécriture » des outils de dictée, qui est aussi la chose la plus « facile » à changer.
• Pour la recherche : La robustesse à la perturbation d'entrée est spécifique à la modalité. Les modèles robustes aux fautes de frappe ne sont pas nécessairement robustes aux disfluences de la parole, et l'adaptation légère est insuffisante pour combler cet écart.

L'étude conclut que si les erreurs de clavier sont absorbables par les modèles de raisonnement, les altérations structurelles inhérentes à la transcription vocale (particulièrement les réécritures par l'IA) posent un défi fondamental que les modèles actuels et les stratégies d'adaptation légère ne peuvent pleinement surmonter.