152 articles
Cet article propose S2S-ZEST, un cadre de transfert de style émotionnel speech-to-speech sans texte et non parallèle qui permet de transférer les émotions d'une parole de référence à une parole source tout en préservant l'identité du locuteur et le contenu sémantique.
Cet article propose l'algorithme TI-DANSE+, une amélioration de TI-DANSE qui accélère la convergence de l'estimation de signal dans les réseaux de capteurs acoustiques sans fil en exploitant les sommes partielles des voisins et une stratégie d'élagage d'arbre, tout en conservant la robustesse aux pannes de liens et en réduisant la bande passante de communication.
Ce papier présente Human-CLAP, un modèle préentraîné par contraste texte-audio optimisé sur des évaluations subjectives humaines, qui améliore significativement la corrélation entre les scores d'évaluation automatique et le jugement humain par rapport aux méthodes CLAP conventionnelles.
Ce papier présente VSSFlow, un cadre unifié basé sur l'appariement de flux et un mécanisme d'agrégation de conditions désengagé qui résout simultanément et avec une performance supérieure les tâches de génération de sons et de parole à partir de vidéos, démontrant ainsi le potentiel des modèles génératifs unifiés.
Ce papier présente VoiceBridge, un modèle de pont latent en une seule étape capable de restaurer efficacement la parole large bande de haute qualité à partir de diverses distorsions grâce à un auto-encodeur variationnel préservant l'énergie, un prior neuronal conjoint et un entraînement unifié transformant le modèle en générateur sans distillation.
LARA-Gen est un cadre innovant qui permet un contrôle continu et fin des émotions dans la génération musicale en alignant les états internes du modèle sur une représentation affective latente, en découplant les attributs émotionnels du contenu textuel via un espace valence-arousal, et en offrant une évaluation objective grâce à un nouveau benchmark.
Cet article propose un cadre de vérification de locuteur robuste basé sur un mélange d'experts conditionné par le bruit, qui décompose l'espace des caractéristiques en sous-espaces spécialisés via un routage automatique, une spécialisation d'experts universels et un apprentissage par curriculum à SNR décroissant pour améliorer la généralisation dans des conditions bruyantes.
Cette étude compare les stratégies d'amélioration de la parole dans l'espace latent de codecs audio neuronaux, démontrant que la prédiction de représentations continues avec un modèle non-autoregressif et un fine-tuning de l'encodeur offre les meilleures performances globales, malgré un compromis sur la reconstruction du codec.
Cet article présente le premier cadre formel pour les modèles de monde audiovisuels (AVWM), introduisant le jeu de données AVW-4k et le modèle AV-CDiT basé sur la diffusion pour simuler de manière synchronisée les dynamiques visuelles et sonores, améliorant ainsi significativement la navigation des agents.
Cette étude démontre que, lors de conversations dyadiques en milieu bruyant, les locuteurs augmentent la complexité de leurs gestes et la modulation de leurs mouvements de tête et de tronc pour soutenir la communication, tandis que les auditeurs intensifient leurs rétroactions, le tout s'accompagnant d'une légère diminution de la synchronie main-parole.
Cet article présente la première étude systématique de l'encodage de l'information accentuelle dans les tokens de représentation de parole discrète (DSRT), révélant que le choix des couches est déterminant pour conserver ces informations, que la supervision par la reconnaissance automatique de la parole les réduit considérablement, et que la simple réduction de la taille du codebook ne permet pas de les dissocier efficacement des informations phonétiques et de locuteur.
L'article présente EDMFormer, un modèle de type transformer utilisant un apprentissage auto-supervisé sur un nouveau jeu de données annoté (EDM-98) pour améliorer la segmentation structurelle de la musique électronique, en se concentrant spécifiquement sur des caractéristiques comme l'énergie et le rythme plutôt que sur la mélodie ou les paroles.
Ce rapport technique présente Fish Audio S2, un système de synthèse vocale open-source capable de suivre des instructions en langage naturel pour générer de la parole multi-parleurs et multi-tours, accompagné d'un moteur d'inférence optimisé pour la production.
Le papier présente VoxEmo, un benchmark complet pour l'évaluation des modèles de langage audio dans la reconnaissance des émotions, qui propose un protocole d'étiquetage souple et des stratégies d'ensemble pour mieux capturer l'ambiguïté inhérente aux émotions humaines et la subjectivité des annotations.
L'article propose l'USCF, une méthode linéaire simple et inversible qui extrait une représentation speech de faible rang en supprimant le timbre de l'orateur tout en préservant le contenu phonétique, permettant ainsi une conversion vocale en zéro-shot et un entraînement efficace de modèles de synthèse vocale textuelle.
Cette étude analyse les disparités de genre dans la détection des deepfakes audio en démontrant que l'évaluation basée uniquement sur des métriques globales comme le taux d'erreur égalisé masque des biais démographiques significatifs, soulignant ainsi la nécessité d'adopter des mesures d'équité spécifiques pour développer des systèmes plus justes et fiables.
Cette étude démontre que l'ajustement de la profondeur de la quantification vectorielle résiduelle dans les codecs audio neuronaux permet de trouver un compromis optimal entre la préservation du contenu linguistique et la robustesse aux attaques adverses, surpassant ainsi les méthodes de compression traditionnelles.
Cette étude tente de reproduire le modèle BSRNN pour la séparation de sources musicales, révélant les coûts de la non-reproductibilité tout en proposant une version optimisée du modèle et en plaidant pour des pratiques de recherche plus transparentes.
Cette étude évalue systématiquement quatre stratégies de décodage contrastif pour améliorer les grands modèles de langage audio, identifiant les méthodes les plus efficaces et introduisant un cadre de matrice de transition pour expliquer comment ces techniques corrigent spécifiquement les erreurs d'absence d'audio ou d'incertitude tout en échouant à réparer les raisonnements défectueux, offrant ainsi des directives pour adapter l'amélioration aux profils d'erreurs des modèles.
Cette étude propose un modèle combinant des indices paralinguistiques et des informations émotionnelles pour détecter le moment optimal d'une validation empathique dans le dialogue parlé japonais, sans recourir au contexte textuel, afin d'améliorer les interactions humain-robot.