163 articles
Cet article propose une méthode d'apprentissage par curriculum multi-facteurs dynamique pour l'extraction de locuteur cible, qui utilise le cadre de visualisation TSE-Datamap pour adapter l'entraînement aux dynamiques observées du modèle et améliorer les performances dans des scénarios complexes.
Ce papier présente TW-Sound580K, un jeu de données audio-texte taïwanais curé via un protocole de vérification et d'expansion, qui permet d'entraîner le modèle Tai-LALM à atteindre des performances significativement améliorées sur les tâches de langage audio localisé grâce à une stratégie d'arbitrage dynamique.
Ce papier présente PolyBench, un benchmark conçu pour évaluer le raisonnement compositionnel des grands modèles linguistiques audio dans des environnements polyphoniques, révélant ainsi une dégradation systématique de leurs performances face à la coexistence de multiples événements sonores.
Ce papier présente ASR-TRA, un cadre d'adaptation test-temps par apprentissage par renforcement qui améliore la robustesse des systèmes de reconnaissance vocale face aux bruits et accents grâce à des récompenses sémantiques audio-texte, évitant ainsi les biais de confirmation des méthodes existantes.
SarcasmMiner est un cadre d'entraînement postérieur basé sur l'apprentissage par renforcement qui améliore la détection de la sarcasme audio-visuelle en reformulant la tâche comme un raisonnement structuré et en utilisant une stratégie de distillation à double piste avec un modèle de récompense génératif pour optimiser à la fois la précision et la qualité du raisonnement.
Ce papier présente WavSLM, un modèle de langage vocal qui, grâce à la distillation de WavLM et à une prédiction autoregressive sur un seul flux de tokens, parvient à générer de la parole cohérente en modélisant conjointement les informations sémantiques et acoustiques sans aucune supervision textuelle.
Ce papier propose SLICE, une méthode d'amélioration de la parole qui injecte des embeddings de conditionnement liés aux dégradations à chaque couche d'un modèle de diffusion plutôt qu'au seul niveau d'entrée, permettant ainsi de surmonter les limitations des approches précédentes face aux corruptions composées et d'obtenir des performances supérieures sur des enregistrements réels.
Latent-Mark est un nouveau cadre de tatouage audio zéro-bit qui garantit une robustesse inédite face à la resynthèse neuronale en intégrant le filigrane dans l'espace latent invariant des codecs, tout en préservant l'inaudibilité grâce à une optimisation conjointe sur plusieurs codecs.
L'article présente MSpoof-TTS, un cadre d'inférence sans entraînement qui améliore la synthèse vocale discrète en intégrant une détection de falsification multi-résolution dans une stratégie de décodage hiérarchique pour éliminer les artefacts et réévaluer les hypothèses sans modifier les paramètres du modèle.
Ce tutoriel technique explique comment construire un agent vocal en temps réel de niveau entreprise en adoptant une architecture en cascade (STT LLM TTS) avec des flux de données continus plutôt que des modèles natifs de parole à parole, permettant ainsi d'atteindre une latence de premier audio inférieure à une seconde tout en fournissant un code complet et fonctionnel.
Cet article présente une architecture de réseau neuronal pour la séparation et l'amélioration de la parole dotée d'une sortie précoce probabiliste et incertaine, permettant d'économiser des ressources de calcul sur des appareils embarqués sans compromettre la qualité de reconstruction.
Le papier présente MeanFlowSE, un modèle génératif conditionnel pour l'amélioration de la parole qui apprend le déplacement moyen sur des intervalles finis afin de permettre une génération en une seule étape, surmontant ainsi les goulots d'étranglement de calcul des méthodes multisteps tout en maintenant une haute qualité perceptuelle.
Ce papier présente LadderSym, un nouveau modèle Transformer multimodal qui améliore considérablement la détection des erreurs de pratique musicale en remplaçant la fusion tardive par un encodeur à deux flux alignés et en intégrant des représentations symboliques comme prompts pour réduire l'ambiguïté spectrale.
Cette étude démontre que les modèles audio auto-supervisés performants dans des tâches de perception auditive développent des représentations internes plus proches de l'activité cérébrale humaine, suggérant que cette similarité biologique émerge naturellement de l'apprentissage de la reconstruction de données audio.
Ce papier présente OASI, une méthode d'initialisation de surrogate consciente des objectifs qui améliore l'optimisation bayésienne multi-objectif pour le repérage de mots-clés sur microcontrôleurs en générant des solutions initiales biaisées vers le compromis précision-mémoire, garantissant ainsi des modèles déployables sans violer les contraintes de ressources.
Ce papier présente CMI-RewardBench, un écosystème complet incluant des jeux de données, un benchmark et des modèles de récompense conçus pour évaluer et aligner les modèles de génération musicale sur des instructions multimodales composées.
Cette étude présente SMMA, un cadre d'apprentissage profond automatisé permettant une mesure précise et évolutive de l'épaisseur du muscle géniohyoïdien lors de la parole, validée par une forte corrélation avec l'annotation manuelle et révélant des variations systématiques liées aux voyelles et au sexe.
Le papier présente ACES, une méthode d'audit centrée sur les représentations qui identifie des sous-espaces discriminants d'accents dans les systèmes de reconnaissance vocale, révélant que ces caractéristiques sont profondément entrelacées avec les indices de reconnaissance essentiels, ce qui les rend utiles pour le diagnostic mais inefficaces pour réduire les disparités par simple atténuation.
Ce rapport technique présente le système de l'équipe CP-JKU pour le défi MSR ICASSP 2025, qui restaure les sources musicales en combinant une séparation multi-étapes par BandSplit-RoFormer et une restauration de forme d'onde par un GAN HiFi++ spécialisé.
Le papier présente FastWave, un modèle de diffusion optimisé et léger pour la super-résolution audio jusqu'à 48 kHz, qui surpasse NU-Wave 2 tout en réduisant considérablement les coûts computationnels et les temps d'entraînement par rapport aux solutions existantes.