159 articles
Cet article propose un cadre d'adaptation léger pour les modèles d'amélioration de la parole, utilisant des adaptateurs de faible rang mis à jour de manière auto-supervisée, qui permet d'améliorer la robustesse dans des environnements acoustiques dynamiques avec moins de 1 % des paramètres mis à jour et une convergence stable.
Cette étude démontre que la détection du Parkinson via la parole anonymisée est viable en utilisant la méthode kNN-VC, qui préserve les informations pathologiques essentielles tout en garantissant la confidentialité, contrairement à la méthode STT-TTS qui altère trop les données diagnostiques.
Cet article présente un cadre de « poisoning » ciblé pour les modèles de synthèse vocale zéro-shot, visant à empêcher la génération de voix spécifiques tout en préservant l'utilité du modèle, et met en évidence des limites d'évolutivité lorsque le nombre de voix à oublier augmente.
Cet article présente Nwāchā Munā, un corpus de parole de 5,39 heures en écriture devanagari pour la langue népalaise (Newari), et démontre que l'adaptation fine d'un modèle à partir du népalais voisin permet d'atteindre des performances de reconnaissance automatique de la parole comparables à celles des grands modèles multilingues, offrant ainsi une solution efficace pour cette langue en danger.
Cet article présente un cadre de génération procédurale d'un dataset de sons de moteur annoté avec précision, qui extrait les structures harmoniques de vrais enregistrements pour alimenter un synthétiseur paramétrique et fournir des données standardisées essentielles à la recherche en conception sonore automobile.
Le papier présente VoiceSHIELD-Small, un modèle léger et open source capable de détecter en temps réel les commandes vocales malveillantes tout en transcrivant la parole, offrant ainsi une sécurité supérieure aux méthodes traditionnelles avec une précision de 99,16 %.
SoundWeaver est un système de service sans entraînement et agnostique au modèle qui accélère la génération d'audio par diffusion texte-son en amorçant le processus à partir d'audios mis en cache sémantiquement similaires, réduisant ainsi la latence de 1,8 à 3 fois tout en préservant la qualité perceptive.
Ce papier présente un pipeline modulaire d'adaptation de domaine non supervisé, combinant des embeddings Wav2Vec 2.0 pré-entraînés à des transformations statistiques pour améliorer la détection de deepfakes audio entre différents domaines sans données étiquetées cibles, tout en garantissant l'interprétabilité des décisions.
Cet article présente MambaDance, une nouvelle méthode de génération de danse qui remplace les Transformers par un modèle de diffusion basé sur Mamba et utilise une représentation des battements musicaux pour produire des mouvements synchronisés et expressifs, surpassant les approches existantes sur des séquences de toutes durées.
L'article présente WhispEar, un cadre bidirectionnel qui améliore la conversion de la parole chuchotée en parole normale en exploitant des représentations sémantiques unifiées et en générant des données parallèles pseudo-issues de la parole normale pour surmonter le manque de données d'entraînement.
Ce papier présente PathBench, un benchmark unifié pour l'évaluation automatique de l'intelligibilité de la parole pathologique basé sur des jeux de données publics, qui établit des références systématiques et introduit la méthode DArtP pour surpasser les approches existantes.
Le papier présente FoleyFlow, une méthode innovante qui améliore la génération audio coordonnée à partir de vidéos en alignant les encodeurs audio-visuels via un apprentissage par masquage pour garantir la cohérence sémantique et rythmique, puis en utilisant un flux conditionnel dynamique pour générer l'audio.
Cette étude présente une méthode novatrice de classification multietiquette des sons sud-asiatiques basée sur les spectrogrammes et les réseaux de neurones convolutifs, qui surpasse les techniques traditionnelles utilisant les coefficients MFCC en termes de précision sur les ensembles de données SAS-KIIT et UrbanSound8K.
Cet article propose ESC, une méthode de calibration basée sur les stratégies d'évolution qui résout les défis spécifiques de la quantification des modèles de parole en permettant des performances quasi sans perte en INT4 et INT8, comblant ainsi le fossé laissé par les techniques existantes conçues pour la vision et le NLP.
Le papier présente DualTurn, un modèle préentraîné sur des conversations audio à double canal qui génère de manière autonome les futures paroles des deux interlocuteurs pour apprendre implicitement la dynamique conversationnelle et prédire avec précision les signaux de prise de parole, surpassant ainsi les approches existantes en réduisant les interruptions et en anticipant plus tôt les transitions.
Cet article présente une étude systématique sur le raisonnement des modèles audio-langage face aux émotions ambiguës, en reformulant la reconnaissance comme un problème de distribution et en proposant un cadre d'apprentissage combinant un objectif aligné sur les perceptions humaines et une supervision structurée par chaîne de pensée, ce qui améliore les performances sur les jeux de données IEMOCAP et CREMA-D.
Cet article propose un nouveau vocodeur neuronal évolutif dans le domaine temps-fréquence qui intègre la décomposition espace-image/espace-nul pour améliorer la reconstruction spectrale, tout en offrant une structure légère, une inférence adaptable à diverses configurations et des performances de pointe.
Ce papier présente Trilobyte, une méthode de tokenisation au niveau du byte permettant pour la première fois la compression audio sans perte par modèles de langage sur des fichiers haute fidélité (jusqu'à 24 bits), bien que les gains de compression par rapport aux codecs existants diminuent à mesure que la profondeur de bits augmente.
Cette étude démontre que des modèles de suppression de bruit profond, pourtant largement utilisés dans des applications critiques, peuvent être rendus inintelligibles par l'ajout de bruit adversaire psychoacoustiquement masqué, soulignant ainsi la nécessité de contre-mesures avant leur déploiement dans des environnements sûrs.
Ce papier propose une méthode robuste d'extraction de locuteur cible audio-visuelle qui, en s'entraînant avec un taux élevé de données manquantes, maintient des performances stables même en cas de perte de modalités lors du test, démontrant notamment l'efficacité de la fusion d'une image de visage avec des caractéristiques labiales.