CMTD: Cascaded Multi-Token Disambiguation Model for Lip Reading
Le papier propose le Modèle de Désambiguïsation Multi-Tokens en Cascade (CMDT), qui améliore les performances de la lecture labiale en intégrant la modélisation du contexte futur directement dans le processus de décodage via une structure de prédiction multi-tokens en cascade et un objectif d'entraînement hiérarchique, résolvant ainsi efficacement les ambiguïtés visuelles et réduisant les taux d'erreur sur les ensembles de données de référence.