Résumé Technique : FormalASR

1. Énoncé du Problème

Les systèmes de Reconnaissance Automatique de la Parole (ASR) sont traditionnellement optimisés pour la transcription littérale, reproduisant fidèlement la forme de surface parlée. Bien que efficaces pour les benchmarks mesurant le Taux d'Erreur de Caractères (CER), cette sortie inclut souvent des disfluences (par exemple, "euh", "hum"), des débuts de phrases erronés, des répétitions et des structures de phrases informelles. Ces caractéristiques rendent la sortie inadaptée aux applications en aval orientées vers l'écriture, telles que la génération de comptes rendus de réunion, la dictée de documents ou les éditeurs contrôlés par la voix, qui nécessitent un texte formel et bien structuré.

Les solutions de contournement actuelles impliquent généralement un pipeline en deux étapes : un modèle ASR génère une transcription littérale, suivie d'un Modèle de Langage (LLM) distinct pour réécrire le texte dans un style formel. Cependant, cette approche introduit une latence significative, double l'empreinte mémoire et complique le déploiement sur appareil en raison de la nécessité d'exécuter deux modèles simultanément. À l'inverse, les grands modèles multimodaux capables de transcription formelle en un seul passage reposent souvent sur des API cloud, engendrant des coûts et soulevant des préoccupations en matière de confidentialité qui excluent le déploiement en périphérie (edge).

2. Méthodologie

Les auteurs proposent FormalASR, une approche de bout en bout qui mappe directement l'audio chinois parlé vers un texte écrit formel en utilisant un modèle compact unique, éliminant ainsi le besoin de LLM auxiliaires au moment de l'inférence.

2.1. Construction du Jeu de Données

Pour permettre un entraînement supervisé pour cette tâche, les auteurs ont construit deux jeux de données à grande échelle en réécrivant des corpus littéraux existants :

• WenetSpeech-Formal : Dérivé du corpus WenetSpeech, contenant 969 201 échantillons d'entraînement.
• Speechio-Formal : Dérivé du benchmark Speechio, contenant 43 178 échantillons de test répartis sur 27 sous-ensembles spécifiques à un domaine (conférences, interviews, réunions, etc.).

Pipeline de Construction :

1. Entrée : Audio original et transcriptions littérales.
2. Réécriture par LLM : Le modèle DeepSeek-V3.2 a été sollicité pour réécrire les transcriptions littérales en chinois écrit formel. Ce processus a impliqué la suppression des mots de remplissage, la restructuration des phrases pour suivre les conventions écrites, la normalisation de la ponctuation et la correction des erreurs de reconnaissance tout en préservant le contenu sémantique.
3. Filtrage de Qualité : Un filtrage automatique a écarté les réécritures de faible qualité basées sur la similarité des embeddings (cohérence sémantique), la distance d'édition (assurant une formalisation significative sans hallucination) et la présence d'artefacts évidents.

2.2. Architecture du Modèle et Entraînement

Les auteurs ont affiné Qwen3-ASR (un modèle audio-langage avec un encodeur de style Whisper et un décodeur Qwen autorégressif) à deux échelles : 0,6 Md et 1,7 Md de paramètres.

• Objectif d'Entraînement : Affinement supervisé (SFT) standard utilisant l'estimation de vraisemblance maximale. Le modèle apprend à effectuer conjointement l'alignement audio-vers-texte, la suppression des disfluences et le transfert de style au sein d'un seul processus de génération conditionnelle.
• Inférence : Le décodage est effectué directement sur l'entrée audio pour produire un texte formel, maintenant une complexité système identique aux déploiements ASR standard à modèle unique.

3. Contributions Clés

1. Jeux de Données : La mise à disposition open-source de WenetSpeech-Formal et Speechio-Formal, les premiers jeux de données chinois parl-vers-formel à grande échelle construits via une réécriture basée sur LLM et un filtrage de qualité. Ceux-ci permettent un entraînement de bout en bout sans modèles auxiliaires lors de l'inférence.
2. Modèles : La publication de FormalASR-0,6B et FormalASR-1,7B, des modèles audio-langage compacts affinés pour la transcription directe parl-vers-formel.
3. Performance : Démonstration que des modèles compacts peuvent réaliser des améliorations significatives de la qualité de formalisation par rapport aux bases de référence littérales tout en restant adaptés au déploiement sur appareil.

4. Résultats Expérimentaux

Les expériences ont été menées sur des benchmarks à la fois intra-domaine (jeu de test WenetSpeech-Formal) et inter-domaines (jeu de test Speechio-Formal).

4.1. Métriques de Précision

FormalASR a systématiquement surpassé les bases de référence littérales (Qwen3-ASR et Whisper large-v3) sur toutes les métriques :

• Taux d'Erreur de Caractères (CER) : FormalASR a atteint une réduction relative du CER de 37,4 % par rapport aux bases de référence littérales sur le benchmark inter-domaines Speechio-Formal (par exemple, le modèle 1,7B a réduit le CER de 0,2393 à 0,1499).
• ROUGE-L et BERTScore : Les deux métriques se sont améliorées, confirmant que le modèle préserve le contenu sémantique tout en supprimant les disfluences. Par exemple, sur WenetSpeech-Formal, le modèle 1,7B a amélioré ROUGE-L de 0,8571 à 0,8896 et BERTScore de 0,9268 à 0,9439.
• Effet d'Échelle : Le modèle 1,7B a systématiquement surpassé le modèle 0,6B, suggérant que des décodeurs plus grands offrent une capacité plus forte pour la formalisation linguistique.

4.2. Efficacité de l'Inférence

• Réduction des Tokens : En supprimant les mots de remplissage et les disfluences, FormalASR produit des séquences de sortie plus courtes. En moyenne, FormalASR-1,7B a réduit les tokens de sortie de 22,8 % sur WenetSpeech-Formal et de 14,3 % sur Speechio-Formal par rapport à la base de référence littérale.
• Latence : La réduction de la longueur de la séquence a conduit à une latence de décodage plus faible. L'avantage en latence a augmenté de manière super-linéaire avec la longueur de la phrase ; pour les énoncés longs (40–49 tokens), FormalASR-1,7B a réduit la latence d'environ 388 ms par rapport à la base de référence littérale.

4.3. Quantification et Faisabilité sur Appareil

Les auteurs ont évalué la quantification GGUF pour valider le potentiel sur appareil :

• 8 bits (Q8 0) : Compression quasi sans perte. La taille du modèle a été réduite d'environ 47 % (par exemple, le modèle 1,7B de 3,80 Go à 2,03 Go) avec une dégradation de qualité négligeable (augmentation du CER de seulement 0,0001).
• 4 bits (Q4 K) : Forte compression (~72 % de réduction de taille) avec des compromis de qualité modérés. Notamment, le modèle 1,7B de 1,08 Go en 4 bits surpassait toujours le modèle 0,6B de 1,46 Go en précision complète, indiquant que la capacité du modèle, plutôt que la précision numérique, est le déterminant principal de la qualité de formalisation.

5. Signification et Revendications

L'article revendique que FormalASR est le premier travail à affiner un modèle audio-langage compact de bout en bout pour la transcription chinoise parl-vers-formel. Sa signification principale réside dans la démonstration que les modèles ASR modernes possèdent la capacité latente de formalisation linguistique ; ils nécessitent simplement une supervision appropriée pour activer cette capacité sans augmenter la taille du modèle ni la complexité au moment de l'inférence.

En réalisant une formalisation de haute qualité en un seul passage avant, FormalASR comble le fossé critique entre la sortie ASR littérale et le texte formel requis par les applications en aval. Il offre une solution légère et sur appareil qui évite la latence, les coûts mémoire et les préoccupations en matière de confidentialité associées aux pipelines en deux étapes ou aux modèles multimodaux basés sur le cloud. Les auteurs concluent que leur approche permet un déploiement pratique pour la transcription en temps réel dans des environnements sensibles à la confidentialité ou contraints en ressources.