140 articles
Le papier présente LongAudio-RAG, un cadre hybride qui répond aux questions sur des enregistrements audio de plusieurs heures en ancrant les réponses d'un grand modèle de langage dans des événements acoustiques structurés et horodatés, permettant ainsi une extraction efficace en périphérie et un raisonnement de haute qualité dans le cloud.
Ce rapport présente le système TCG CREST pour le défi DISPLACE-M, qui a atteint la sixième place en obtenant un taux d'erreur de diarisation de 9,21 % sur l'ensemble d'évaluation grâce à l'utilisation du système hybride Diarizen basé sur WavLM couplé à un algorithme de clustering hiérarchique agglomératif optimisé.
Cet article présente un nouveau jeu de données multimodal pour l'analyse des défauts industriels, comprenant des signaux audio et vibratoires d'un convoyeur à chaîne, conçu pour faciliter la recherche sur la détection de pannes et la fusion multimodale dans des conditions de production réalistes.
Cette étude présente un pipeline automatisé utilisant un capteur acoustique portable et un modèle de transformateur audio pour segmenter et classifier les bruits intestinaux, permettant une évaluation objective de l'activité digestive avec une haute précision et une réduction significative du temps d'annotation manuelle.
En étendant la couverture linguistique d'un modèle de reconnaissance automatique de la parole auto-supervisé de 126 à 4 017 langues, cette étude révèle un changement qualitatif non linéaire permettant de capturer des signaux généalogiques profonds et des contacts linguistiques à long terme, notamment au sein d'un macro-cluster robuste du Pacifique.
Ce papier présente VASR, une approche de reconnaissance de parole qui intègre un raisonnement multimodal de type « chaîne de pensée » pour exploiter le contexte visuel riche au-delà du mouvement des lèvres, surmontant ainsi les limites des méthodes actuelles et atteignant des performances de pointe.
Ce papier présente un modèle d'extension de bande passante audio basé sur Vocos qui génère des contenus haute fréquence manquants pour étendre la plage de 8 à 48 kHz avec une qualité compétitive et un débit extrême, permettant un traitement en temps réel sur des GPU et CPU standards.
Cet article propose un cadre d'adaptation léger pour les modèles d'amélioration de la parole, utilisant des adaptateurs de faible rang mis à jour de manière auto-supervisée, qui permet d'améliorer la robustesse dans des environnements acoustiques dynamiques avec moins de 1 % des paramètres mis à jour et une convergence stable.
Cette étude démontre que la détection du Parkinson via la parole anonymisée est viable en utilisant la méthode kNN-VC, qui préserve les informations pathologiques essentielles tout en garantissant la confidentialité, contrairement à la méthode STT-TTS qui altère trop les données diagnostiques.
Cet article présente un cadre de génération procédurale d'un dataset de sons de moteur annoté avec précision, qui extrait les structures harmoniques de vrais enregistrements pour alimenter un synthétiseur paramétrique et fournir des données standardisées essentielles à la recherche en conception sonore automobile.
SoundWeaver est un système de service sans entraînement et agnostique au modèle qui accélère la génération d'audio par diffusion texte-son en amorçant le processus à partir d'audios mis en cache sémantiquement similaires, réduisant ainsi la latence de 1,8 à 3 fois tout en préservant la qualité perceptive.
L'article présente WhispEar, un cadre bidirectionnel qui améliore la conversion de la parole chuchotée en parole normale en exploitant des représentations sémantiques unifiées et en générant des données parallèles pseudo-issues de la parole normale pour surmonter le manque de données d'entraînement.
Le papier présente FoleyFlow, une méthode innovante qui améliore la génération audio coordonnée à partir de vidéos en alignant les encodeurs audio-visuels via un apprentissage par masquage pour garantir la cohérence sémantique et rythmique, puis en utilisant un flux conditionnel dynamique pour générer l'audio.
Le papier présente DualTurn, un modèle préentraîné sur des conversations audio à double canal qui génère de manière autonome les futures paroles des deux interlocuteurs pour apprendre implicitement la dynamique conversationnelle et prédire avec précision les signaux de prise de parole, surpassant ainsi les approches existantes en réduisant les interruptions et en anticipant plus tôt les transitions.
Cet article présente une étude systématique sur le raisonnement des modèles audio-langage face aux émotions ambiguës, en reformulant la reconnaissance comme un problème de distribution et en proposant un cadre d'apprentissage combinant un objectif aligné sur les perceptions humaines et une supervision structurée par chaîne de pensée, ce qui améliore les performances sur les jeux de données IEMOCAP et CREMA-D.
Cet article introduit la Matrice de Transfert Interlinguistique (CLTM), une méthode systématique pour quantifier les interactions entre paires de langues dans des tâches paralinguistiques, révélant que l'impact des données d'une langue source sur les performances d'une langue cible varie de manière significative selon la tâche et la langue, contredisant ainsi l'idée que ces tâches sont purement agnostiques à la langue.
Ce papier propose un cadre d'apprentissage de la reconnaissance audiovisuelle de la parole pour des langues sans ressources, en générant des flux visuels synthétiques par synchronisation labiale d'images statiques avec de l'audio réel, permettant d'entraîner un modèle performant sur le catalan sans corpus vidéo annoté.
Ce chapitre examine comment les modèles computationnels auto-supervisés et ancrés dans le visuel permettent d'expliquer l'acquisition précoce du langage à partir de la parole et de l'input audiovisuel sans recourir à des prérequis linguistiques forts, en reliant ces simulations de plus en plus réalistes aux données empiriques sur le développement infantile.
Ce papier présente Trilobyte, une méthode de tokenisation au niveau du byte permettant pour la première fois la compression audio sans perte par modèles de langage sur des fichiers haute fidélité (jusqu'à 24 bits), bien que les gains de compression par rapport aux codecs existants diminuent à mesure que la profondeur de bits augmente.
Cette étude démontre que des modèles de suppression de bruit profond, pourtant largement utilisés dans des applications critiques, peuvent être rendus inintelligibles par l'ajout de bruit adversaire psychoacoustiquement masqué, soulignant ainsi la nécessité de contre-mesures avant leur déploiement dans des environnements sûrs.