163 articles
Cette étude démontre que le fine-tuning LoRA d'un modèle de langage compact (Qwen-0.5B) améliore significativement la fidélité vocale, la qualité perceptive et le rapport signal sur bruit dans les systèmes TTS, à condition que les données d'entraînement présentent une diversité acoustique suffisante.
Cet article propose une méthode d'inférence multi-étapes sans entraînement pour l'extraction de locuteur cible, qui affine itérativement la sortie d'un modèle pré-entraîné figé et introduit une optimisation conjointe de métriques pour équilibrer les performances avec ou sans vérité terrain.
Le papier présente V2M-Zero, une méthode de génération de musique à partir de vidéo sans données appariées qui assure un alignement temporel en exploitant les structures de changement communes entre les modalités via des courbes d'événements intra-modales, surpassant ainsi les approches basées sur des données appariées.
Cet article propose CSP-FT, une stratégie de micro-ajustement partiel spécifique aux caractéristiques qui améliore l'adaptation des émotions et des locuteurs dans les modèles TTS basés sur les LLM en ne mettant à jour que 8 % des paramètres, tout en accélérant l'entraînement et en préservant la précision de la prononciation.
Ce papier présente HVAC-EAR, un système capable de reconstruire intelligiblement la parole humaine à partir de données de pression bruyantes et de faible résolution provenant de capteurs HVAC, révélant ainsi de nouvelles vulnérabilités de confidentialité jusqu'à 1,2 mètre de distance.
Cet article propose un cadre de reconnaissance automatique de la parole audiovisuelle (AVSR) robuste au bruit qui, en éliminant les masques explicites et en utilisant une fusion de type Conformer assistée par la vidéo, améliore les performances de reconnaissance dans des environnements bruyants tout en préservant l'intégrité sémantique de la parole.
Cet article propose un cadre acoustique compact combinant un encodeur CNN multi-branches, une unité de mémoire Legendre (LMU) pour la modélisation temporelle efficace et une fusion d'ensemble postérieure calibrée, afin d'améliorer la classification des cris de nourrissons dans des scénarios inter-domaines malgré les défis liés aux signaux non stationnaires et aux décalages de distribution.
Ce papier présente Whisper-RIR-Mega, un nouveau jeu de données apparié de parole propre et réverbérée basé sur LibriSpeech et le corpus RIR-Mega, conçu pour évaluer et améliorer la robustesse des modèles de reconnaissance automatique de la parole face aux acoustiques de salle.
Ce papier présente Omni-C, un encodeur Transformer dense unique qui compresse des modalités hétérogènes (images, audio, texte) en apprenant des représentations partagées via un pré-entraînement contrastif, permettant ainsi de réduire considérablement la complexité computationnelle et l'empreinte mémoire par rapport aux architectures multimodales traditionnelles.
Cet article propose le DKSD-AE, un autoencodeur structuré combinant un opérateur de Koopman et une normalisation d'instance pour apprendre des représentations de locuteur décorrélées du contenu linguistique sans supervision textuelle, tout en surpassant ou égalant les performances des méthodes de l'état de l'art avec moins de paramètres.
Cette étude propose une méthode de sélection de données basée sur des embeddings pour l'ASR, démontrant qu'un sous-ensemble stratégique de 5 % des données, choisi selon l'identité du locuteur, le contenu phonétique et le sens sémantique, peut réduire le taux d'erreur de mots relatif de 36,8 % sur des domaines cibles par rapport à l'entraînement sur l'ensemble complet des données.
Ce papier présente le jeu de données multilingue ML-ITW et démontre que les méthodes actuelles de détection de deepfakes vocaux souffrent d'une forte dégradation des performances lorsqu'elles sont confrontées à des conditions acoustiques réalistes et à une diversité linguistique, révélant ainsi leurs limites de généralisation.
Ce papier présente TempoSyncDiff, un cadre de diffusion latente conditionné par la référence qui utilise une distillation enseignant-élève pour générer des têtes parlantes pilotées par l'audio avec une faible latence et une stabilité temporelle accrue, visant ainsi à rendre cette technologie viable pour un déploiement sur des dispositifs aux ressources limitées.
L'étude RAPTOR démontre que la trajectoire de pré-entraînement en apprentissage auto-supervisé, et non l'échelle du modèle, est le facteur déterminant pour la robustesse et l'étalonnage des détecteurs de deepfakes audio, permettant à des modèles compacts multilingues de rivaliser avec des systèmes commerciaux plus volumineux.
Le papier présente Whisper-CD, un cadre de décodage contrastif sans entraînement qui élimine les hallucinations et les boucles de répétition dans la reconnaissance vocale longue en comparant les logits d'audio propre à ceux générés par des perturbations acoustiques négatives, réduisant ainsi le taux d'erreur de 24,3 points tout en accélérant la génération de 48 %.
Cette étude empirique démontre que l'adaptation des modèles de reconnaissance vocale aux langues autochtones du Pacifique, bien que cruciale pour pallier le manque de données, se heurte à un dilemme entre plasticité et stabilité, où des méthodes comme LoRA échouent à éviter l'oubli catastrophique lors de l'apprentissage continu de multiples langues.
Ce papier propose une stratégie d'adaptation post-entraînement pour les modèles TTS basés sur les LLM, permettant une génération fluide et expressive à partir de texte en flux continu grâce à une détection proactive des frontières prosodiques et un contexte glissant, surclassant ainsi les méthodes existantes tant sur les textes courts que longs.
Le papier présente RAMoEA-QA, un modèle génératif hiérarchique utilisant un routage conditionnel à deux étapes (experts audio et adaptateurs de langage) pour surmonter l'hétérogénéité des données respiratoires et améliorer la précision ainsi que la généralisation des systèmes de réponse aux questions sur l'audio médical.
Cet article présente la première revue systématique des modèles audio-langage, offrant une couverture complète de leurs architectures, objectifs d'entraînement et paysages de recherche pour guider les développements futurs dans la compréhension des scènes audio complexes.
Cet article propose une méthode d'adaptation légère et sans modification architecturale des systèmes de reconnaissance automatique de la parole basés sur les grands modèles de langage à de nouveaux domaines en utilisant uniquement des données textuelles, en formulant l'adaptation comme une tâche de débruitage de texte qui préserve l'alignement intermodal tout en surpassant les méthodes actuelles.