163 articles
Cette étude démontre que les modèles de parole auto-supervisés encodent l'information phonétique sous forme de vecteurs interprétables et compositionnels, permettant d'effectuer des opérations arithmétiques vectorielles pour modéliser les traits phonologiques et leurs réalisations acoustiques continues à travers 96 langues.
Ce papier présente V2A-DPO, un cadre d'optimisation directe des préférences innovant conçu pour aligner les modèles de génération vidéo-vers-audio sur les préférences humaines grâce à un système de notation AudioScore, une pipeline automatisée de données de préférence et une stratégie d'apprentissage par curriculum, surpassant ainsi les méthodes existantes sur le jeu de données VGGSound.
Cet article propose un cadre basé sur les Transformers pour la reconnaissance des émotions audio-visuelles qui résout le décalage de fréquence d'acquisition entre les modalités grâce à l'utilisation d'encodages de position rotatifs temporellement alignés (TaRoPE) et d'une fonction de perte de correspondance inter-temporelle (CTM) pour améliorer l'alignement et la fusion des caractéristiques.
Le papier présente Uni-ASR, un cadre unifié basé sur les grands modèles de langage qui intègre la reconnaissance automatique de la parole en flux et hors flux grâce à un entraînement conjoint et des stratégies de décodage adaptatives, permettant ainsi de maintenir une haute précision sans compromettre la latence dans les scénarios en temps réel.
Cette étude présente une approche systématique pour la reconnaissance automatique de la parole dans la maladie de Huntington, démontrant que l'adaptation spécifique à la pathologie et l'utilisation d'une supervision auxiliaire basée sur des biomarqueurs améliorent significativement les performances et modèlent les erreurs de manière dépendante de la sévérité de la maladie.
Cette étude explore l'utilisation d'un modèle de langage entraîné sur la parole pour localiser des mots falsifiés dans un discours partiellement truqué, révélant que le modèle s'appuie principalement sur des motifs d'édition spécifiques appris lors de l'entraînement, ce qui soulève des questions sur sa capacité à généraliser à des styles d'édition non vus.
Cette étude propose l'utilisation de modèles pré-entraînés, en particulier une configuration optimisée de XLS-R, pour détecter avec une grande précision les segments de toux dans des enregistrements audio provenant de patients suspects de tuberculose en Afrique, démontrant ainsi la faisabilité d'intégrer ces outils dans des applications de dépistage automatisé sur smartphone.
Le papier présente Fair-Gate, un cadre de contrôle de risque interprétable qui atténue les biais liés au sexe dans la biométrie vocale en combinant l'extrapolation du risque et un mécanisme de routage de caractéristiques pour améliorer l'équité sans sacrifier la précision.
Cette étude démontre que le préentraînement continu du modèle wav2vec2-bert-2.0, combinant données non étiquetées et un jeu de données limité, permet d'atteindre des performances de reconnaissance automatique de la parole en swahili inédites avec une réduction de 82 % du taux d'erreur par rapport à la ligne de base.
Le papier présente SAGE, un cadre d'estimation de la valence et de l'arousal continu qui améliore la robustesse multimodale en adaptant dynamiquement la fusion audio-visuelle à la fiabilité variable des signaux selon les étapes d'interaction.
Ce papier présente AnimeScore, un cadre d'évaluation basé sur les préférences et un jeu de données de 15 000 jugements par paires qui permettent d'automatiser l'évaluation du style vocal « anime » en identifiant que la perception de ce style repose sur la résonance, la continuité prosodique et l'articulation plutôt que sur la simple hauteur de voix, atteignant jusqu'à 90,8 % de précision avec des modèles de ranking basés sur l'apprentissage auto-supervisé.
Ce papier présente ComVo, un vocodeur neuronal complexe natif qui améliore la qualité de la génération d'audio et réduit le temps d'entraînement grâce à l'utilisation d'arithmétique complexe, d'une quantification de phase et d'un schéma de calcul matriciel par blocs.
Le papier présente SEMamba++, un cadre général de restauration de la parole qui améliore les performances tout en restant efficace sur le plan computationnel en intégrant des biais inductifs spécifiques à la parole, notamment via une extraction de caractéristiques fréquentielles (Frequency GLP) et un traitement dual temps-fréquence multi-résolution pour capturer les motifs spectraux globaux, locaux et périodiques.
Ce papier propose RAF (Relativistic Adversarial Feedback), une nouvelle fonction de objectif d'entraînement pour les vocodeurs GAN qui améliore la fidélité et la généralisation en exploitant des modèles d'apprentissage auto-supervisé de la parole et un appariement relativiste, permettant ainsi d'obtenir une qualité perceptuelle supérieure avec une fraction réduite de paramètres.
Ce papier propose un cadre novateur d'inférence causale pour la synthèse vocale text-to-speech, basé sur l'entraînement contrefactuel des paramètres prosodiques dans FastSpeech2, afin de mieux dissocier l'émotion du contenu linguistique et d'améliorer le contrôle et l'expressivité de la parole générée.
Cette étude présente un nouveau jeu de données et démontre que l'analyse de l'activité musculaire faciale et cervicale via l'EMG de surface permet de décoder avec fiabilité les états affectifs, notamment la frustration, tant dans la parole phonée que silencieuse, ouvrant ainsi la voie à des interfaces de parole silencieuse sensibles aux émotions.
Cet article propose un protocole d'affinement fin nommé PE-FT, qui combine un affinage sélectif par couches et une tête de classification auxiliaire pour réactiver l'awareness des indices paralinguistiques dans les modèles de langage audio, surpassant ainsi les stratégies d'affinement traditionnelles sur l'ensemble des couches.
Le papier présente Dr. SHAP-AV, un cadre basé sur les valeurs de Shapley qui révèle que, bien que les modèles de reconnaissance de la parole audiovisuelle augmentent leur dépendance visuelle en présence de bruit, ils conservent une forte contribution audio, soulignant ainsi la nécessité de mécanismes d'équilibrage des modalités et d'outils d'attribution diagnostiques.
Cet article propose SGMD, une méthode de diffusion de mouvement guidée par le style qui intègre des caractéristiques musicales et des invites stylistiques pour générer des danses réalistes et contrôlables, tout en introduisant de nouveaux benchmarks pour des tâches de génération, d'interpolation et d'inpainting chorégraphiques.
Cet article présente ExSampling, un système intégré combinant une application d'enregistrement et un environnement d'apprentissage profond pour permettre la performance musicale en temps réel de sons environnementaux, grâce à une cartographie automatisée vers Ableton Live qui favorise l'interaction entre enregistreurs, compositeurs et interprètes.