133 articles
Cet article propose S2S-ZEST, un cadre de transfert de style émotionnel speech-to-speech sans texte et non parallèle qui permet de transférer les émotions d'une parole de référence à une parole source tout en préservant l'identité du locuteur et le contenu sémantique.
Cet article propose l'algorithme TI-DANSE+, une amélioration de TI-DANSE qui accélère la convergence de l'estimation de signal dans les réseaux de capteurs acoustiques sans fil en exploitant les sommes partielles des voisins et une stratégie d'élagage d'arbre, tout en conservant la robustesse aux pannes de liens et en réduisant la bande passante de communication.
Ce papier présente Human-CLAP, un modèle préentraîné par contraste texte-audio optimisé sur des évaluations subjectives humaines, qui améliore significativement la corrélation entre les scores d'évaluation automatique et le jugement humain par rapport aux méthodes CLAP conventionnelles.
Cette étude propose un paradigme systématique pour comparer la compréhension de la parole en multilingue chez les humains et les machines, révélant que si les modèles de langage surpassent les humains dans des conditions acoustiques propres, ils peinent à imiter la capacité humaine d'attention sélective dans des scènes complexes, contrairement aux humains dont la performance dépend fortement de la langue maternelle.
Cette étude évalue de manière exhaustive 17 systèmes d'incorporation de parole préentraînés sur six jeux de données hétérogènes pour la détection de la dysarthrie, révélant des variations significatives des performances selon les jeux de données et des difficultés de généralisation inter-jeux qui soulèvent des questions sur la validité clinique des modèles entraînés et testés sur les mêmes données.
Ce papier présente VSSFlow, un cadre unifié basé sur l'appariement de flux et un mécanisme d'agrégation de conditions désengagé qui résout simultanément et avec une performance supérieure les tâches de génération de sons et de parole à partir de vidéos, démontrant ainsi le potentiel des modèles génératifs unifiés.
Ce papier présente VoiceBridge, un modèle de pont latent en une seule étape capable de restaurer efficacement la parole large bande de haute qualité à partir de diverses distorsions grâce à un auto-encodeur variationnel préservant l'énergie, un prior neuronal conjoint et un entraînement unifié transformant le modèle en générateur sans distillation.
Le papier présente le Latent Speech-Text Transformer (LST), une architecture qui améliore l'efficacité computationnelle et les performances des modèles multimodaux en regroupant les tokens de parole en patches latents pour aligner leur granularité avec celle du texte, permettant ainsi des gains significatifs de précision à la fois pour la parole et le texte.
Cet article propose un cadre de vérification de locuteur robuste basé sur un mélange d'experts conditionné par le bruit, qui décompose l'espace des caractéristiques en sous-espaces spécialisés via un routage automatique, une spécialisation d'experts universels et un apprentissage par curriculum à SNR décroissant pour améliorer la généralisation dans des conditions bruyantes.
Cette étude compare les stratégies d'amélioration de la parole dans l'espace latent de codecs audio neuronaux, démontrant que la prédiction de représentations continues avec un modèle non-autoregressif et un fine-tuning de l'encodeur offre les meilleures performances globales, malgré un compromis sur la reconstruction du codec.
Le papier présente WhisperVC, un cadre à trois étapes qui découple l'alignement inter-domaines et la génération vocale pour convertir efficacement la parole chuchotée en parole normale avec peu de données, en utilisant une VAE basée sur Conformer et un générateur de mélodies conditionné par le locuteur.
Ce papier propose une nouvelle approche de multiplexage, incluant des stratégies parallèles et séquentielles ainsi que le modèle MaskNet, qui combine plusieurs techniques de tatouage audio pour surmonter les limites des schémas uniques et offrir une protection robuste contre les distorsions sophistiquées et les attaques neuronales.
Cette étude démontre que, lors de conversations dyadiques en milieu bruyant, les locuteurs augmentent la complexité de leurs gestes et la modulation de leurs mouvements de tête et de tronc pour soutenir la communication, tandis que les auditeurs intensifient leurs rétroactions, le tout s'accompagnant d'une légère diminution de la synchronie main-parole.
Cet article présente la première étude systématique de l'encodage de l'information accentuelle dans les tokens de représentation de parole discrète (DSRT), révélant que le choix des couches est déterminant pour conserver ces informations, que la supervision par la reconnaissance automatique de la parole les réduit considérablement, et que la simple réduction de la taille du codebook ne permet pas de les dissocier efficacement des informations phonétiques et de locuteur.
Cette étude présente une nouvelle approche basée sur un transformateur à goulot d'étranglement pour prédire la métrique STOI de manière non intrusive, surpassant les modèles de l'état de l'art en termes de corrélation et d'erreur quadratique moyenne grâce à une architecture combinant blocs convolutifs et attention multi-têtes.
Le papier présente VoxEmo, un benchmark complet pour l'évaluation des modèles de langage audio dans la reconnaissance des émotions, qui propose un protocole d'étiquetage souple et des stratégies d'ensemble pour mieux capturer l'ambiguïté inhérente aux émotions humaines et la subjectivité des annotations.
Cet article présente le premier benchmark d'apprentissage continu sans exemples pour la segmentation audio-visuelle, accompagné de la méthode ATLAS qui intègre un conditionnement pré-fusion guidé par l'audio et une ancrage de faible rang pour atténuer l'oubli catastrophique dans des environnements dynamiques.
L'article propose l'USCF, une méthode linéaire simple et inversible qui extrait une représentation speech de faible rang en supprimant le timbre de l'orateur tout en préservant le contenu phonétique, permettant ainsi une conversion vocale en zéro-shot et un entraînement efficace de modèles de synthèse vocale textuelle.
Cette étude démontre que l'ajustement de la profondeur de la quantification vectorielle résiduelle dans les codecs audio neuronaux permet de trouver un compromis optimal entre la préservation du contenu linguistique et la robustesse aux attaques adverses, surpassant ainsi les méthodes de compression traditionnelles.
Cet article propose une méthode de préfixe sensible aux émotions qui améliore considérablement le contrôle explicite des émotions dans la conversion vocale, doublant la précision de conversion tout en préservant l'identité du locuteur et la qualité de la parole.