Résumé technique : Guider les alignements CTC au niveau des trames via la distillation de connaissance de soi

Problématique

Les modèles de reconnaissance automatique de la parole (ASR) utilisant le cadre de la classification temporelle connexionniste (CTC) sont souvent confrontés à des défis importants lors de l'application de la distillation de connaissances (KD). Bien que la KD conventionnelle exploite un modèle « enseignant » de grande taille pour entraîner un modèle « étudiant » plus petit, cette approche souffre d'un désaccord d'alignement au niveau des trames.

Parce que le CTC permet de multiples alignements valides entre une séquence d'entrée et une séquence d'étiquettes, l'alignement estimé par un modèle enseignant peut diverger de celui d'un modèle étudiant. Ce désaccord introduit du bruit dans le processus de distillation, entravant la convergence et les performances de l'étudiant. De plus, la nature éparse des « timings de pics » (spikes) du CTC (où de nombreuses trames sont remplies de jetons « blank » fictifs) a conduit des travaux précédents à employer un masquage des trames blank pour filtrer les trames non informatives. Cependant, cette stratégie de masquage risque de rejeter des informations utiles, et l'hypothèse sous-jacente selon laquelle la faible densité temporelle est le principal goulot d'étranglement reste non vérifiée dans le contexte du désaccord d'alignement.

Méthodologie

Le document propose un cadre de Distillation de Connaissance de Soi (SKD) au niveau des trames conçu pour atténuer le désaccord d'alignement et améliorer l'efficacité des ressources.

1. Architecture : Couches d'encodeur partagées

Contrairement à la KD conventionnelle, qui utilise des modèles enseignant et étudiant indépendants, la méthode SKD proposée intègre les deux rôles au sein d'une architecture unique :

• Auto-enseignant (Self-Teacher) : Consiste en l'encodeur complet de $L$ couches et la tête CTC finale.
• Auto-étudiant (Self-Student) : Consiste en les $l$ premières couches ($1 \le l < L$) de l'encodeur partagé et une tête CTC intermédiaire.
• Mécanisme : L'étudiant partage les couches inférieures avec l'enseignant, garantissant que les distributions d'alignement sont intrinsèquement plus cohérentes que dans les cadres indépendants.

2. Fonction de perte

La perte totale de l'entraînement combine la perte CTC standard, une perte CTC intermédiaire et la perte SKD au niveau des trames :
$$L = (1 - \alpha)L_{CTC} + \alpha(L_{iCTC} + L_{frame}^{SKD})$$
Où $L_{frame}^{SKK}$ est la perte d'entropie croisée entre la sortie de l'enseignant ($x^L$) et la sortie de l'étudiant ($x^l$) au niveau des trames. Une opération de stop-gradient est appliquée à la sortie de l'enseignant pour empêcher la rétropropagation à travers le chemin de l'enseignant.

3. Stratégie de planification (Scheduling)

Pour éviter l'« oubli catastrophique » du modèle auto-enseignant (qui pourrait se produire si les couches partagées sont optimisées uniquement pour la perte de l'étudiant), les auteurs introduisent une planification linéaire tronquée pour l'hyperparamètre $\alpha$.

• $\alpha$ est planifié de 1 à 0 sur les époques d'entraînement, mais il est tronqué pour garantir que $\tau(e, E) < 1$.
• Cela garantit que le modèle auto-enseignant continue de recevoir des signaux d'entraînement pendant que l'étudiant apprend, maintenant un équilibre où la valeur moyenne de $\alpha$ est fixée à 0,5.

4. Gestion des trames Blank

Un changement méthodologique clé est la suppression du masquage des trames blank. Les auteurs émettent l'hypothèse que le masquage est inutile dans la SKD car le désaccord d'alignement est déjà atténué par l'architecture partagée. Par conséquent, la méthode distille l'information de toutes les trames, y compris les trames blank, afin de maximiser le transfert d'information.

Principales contributions

1. Distillation de connaissance de soi pour le CTC : Le papier introduit un cadre de SKD simple et efficace qui partage les couches de l'encodeur entre l'enseignant et l'étudiant, réduisant intrinsèquement le désaccord d'alignement par rapport aux configurations enseignant-étudiant indépendantes.
2. Réévaluation du masquage des trames Blank : L'étude remet en question la nécessité du masquage des trames blank dans la KD. Les résultats expérimentaux suggèrent que le masquage est préjudiciable lorsque le désaccord d'alignement est faible, car il rejette des informations d'alignement utiles contenues dans les trames blank.
3. Efficacité des ressources : La méthode améliore à la fois les performances et l'efficacité des ressources en ne nécessitant qu'une seule architecture et une tête CTC linéaire supplémentaire, éliminant ainsi le besoin d'entraîner et de stocker des modèles enseignants distincts.

Résultats expérimentaux

Les expériences ont été menées sur le jeu de données LibriSpeech en utilisant des modèles pré-entraînés HuBERT Base et WavLM Base+ .

• Performances : La méthode SKD proposée a systématiquement surpassé les méthodes de KD conventionnelles (Guide-CTC, Softmax-KD) et les bases de comparaison de l'élagage de couches (Layer Pruning) à travers diverses configurations de modèles (ex: de 12 couches à 6 couches, de 18 couches à 12 couches).
  • Exemple : Dans la configuration WavLM à 8 couches, la SKD a atteint un taux d'erreur de mots (WER) de 13,4 % sur l'ensemble test-clean, surpassant l'élagage de couches (14,3 %) et Guide-CTC (18,5 %).
• Analyse de l'alignement : Les mesures de précision au niveau des trames ont montré que la SKD sans masquage atteignait une précision de trame totale et une précision de trame active plus élevées que Guide-CTC avec masquage.
• Impact du masquage : Dans le cadre de la SKD, l'application du masquage des trames blank a entraîné des WER plus élevés par rapport à l'absence de masquage. Cela confirme que lorsque le désaccord d'alignement est minimisé, les trames blank contiennent des informations de distillation précieuses.

Signification et affirmations

Le papier affirme que le principal goulot d'étranglement de la distillation de connaissances basée sur le CTC est le désaccord d'alignement, et non la parcité des timings de pics. En utilisant un cadre de distillation de connaissance de soi, les auteurs démontrent que :

1. Le désaccord d'alignement peut être intrinsèquement atténué par le partage des couches du modèle, conduisant à un entraînement plus stable.
2. Le masquage des trames blank, précédemment considéré comme essentiel pour la KD, est en fait contre-productif dans les scénarios de distillation de connaissance de soi car il supprime des signaux d'alignement valides.
3. La méthode proposée offre une alternative efficace en termes de calcul par rapport à la KD traditionnelle, atteignant des résultats de pointe pour les modèles étudiants sans la surcharge de maintenance de réseaux enseignants séparés.

Les auteurs concluent que leur approche améliore efficacement les performances de l'ASR tout en réduisant la perte d'information et les coûts de calcul, fournissant une solution robuste pour l'entraînement de modèles CTC compacts.