163 articles
Cet article présente une étude approfondie des séquences binaires (0,1) sous l'angle de la théorie quantique, en étendant le modèle GenomeBits pour révéler des caractéristiques ondulatoires dans les séquences génomiques via une fonction d'onde complexe.
Cette étude démontre que, chez les patients atteints de cancers de la tête et du cou, les mesures objectives et subjectives de l'intelligibilité sont fortement corrélées, suggérant qu'une seule mesure d'intelligibilité suffit pour le suivi clinique de ces patients traités par chimioradiothérapie concomitante.
Cette étude à grande échelle analyse comment 11 modèles d'apprentissage auto-supervisé du discours encodent les attributs spécifiques à l'orateur, révélant une hiérarchie des couches où les modèles plus grands récupèrent paradoxalement l'identité de l'orateur dans leurs couches profondes et où les représentations intermédiaires capturent mieux la prosodie dynamique que les embeddings spécialisés.
L'article présente InterActHuman, un cadre novateur permettant l'animation humaine multi-concepts avec des interactions riches en générant des vidéos alignées spatialement grâce à une liaison conditionnelle spécifique aux régions et à l'injection de conditions audio locales.
Le papier présente Vevo2, un cadre unifié et contrôlable pour la génération de voix parlée et chantée qui surmonte le manque de données annotées grâce à deux tokenizeurs audio innovants et des stratégies d'apprentissage combinées, permettant ainsi une maîtrise flexible de la prosodie, du style et du timbre pour diverses tâches de synthèse et d'édition.
Ce papier présente TSPC, une architecture novatrice à deux étapes centrée sur les phonèmes qui améliore significativement la reconnaissance de la parole en code-switching vietnamien-anglais en atteignant un taux d'erreur de mots de 19,06 % avec des ressources de calcul réduites.
Cet article présente BabyHuBERT, un modèle d'apprentissage auto-supervisé multilingue entraîné sur 13 000 heures d'enregistrements d'enfants, qui surpasse les modèles existants pour la segmentation des locuteurs dans des contextes linguistiques diversifiés et sous-représentés.
Le papier présente SAM, un modèle audio-langage basé sur Mamba-2 qui, grâce à un réglage fin conjoint de l'encodeur audio et à une supervision par instructions, atteint des performances compétitives avec des modèles plus grands tout en établissant des principes de conception pour les modèles à espace d'état.
Ce travail propose Noise-to-Notes (N2N), un cadre de transcription automatique de batterie basé sur la diffusion qui reformule la tâche comme un problème génératif conditionnel, intègre des modèles de fondation musicale pour améliorer la robustesse et utilise une nouvelle fonction de perte pour optimiser conjointement les onsets binaires et les vitesses continues, établissant ainsi un nouvel état de l'art sur plusieurs benchmarks.
Cet article présente Schrödinger Bridge Mamba (SBM), un modèle novateur qui combine la théorie du pont de Schrödinger et l'architecture Mamba pour réaliser une amélioration de la parole en une seule étape, surpassant les méthodes existantes tout en garantissant une efficacité temps réel.
Cet article propose un cadre d'apprentissage multi-pertes intégrant un mixup adaptatif à l'énergie et une attention au niveau des trames pour améliorer la reconnaissance des émotions dans la parole, atteignant ainsi des performances de pointe sur quatre jeux de données majeurs.
Ce papier présente MultiAPI Spoof, un nouveau jeu de données audio anti-spoofing basé sur 30 API distinctes, ainsi que le modèle Nes2Net-LA qui améliore la détection et l'attribution fine des fausses voix grâce à une attention locale.
Cet article présente RA-QA, un nouveau système d'évaluation standardisé qui harmonise des données publiques pour créer un ensemble de 9 millions de paires question-réponse multimodales, permettant de mesurer les performances et les limites des modèles d'IA dans le contexte hétérogène du monde réel du diagnostic respiratoire.
Ce papier présente Aurchestra, le premier système permettant un contrôle fin et en temps réel des paysages sonores sur des appareils auditifs contraints, grâce à une interface dynamique et un réseau d'extraction multi-sorties qui génère des flux audio séparés pour jusqu'à cinq sources sonores simultanées afin de permettre un mélange personnalisé de l'environnement acoustique.
Cet article présente VoxKnesset, un ensemble de données ouvert et longitudinal de 2 300 heures de discours parlementaire hébreu couvrant 15 ans, conçu pour modéliser les changements vocaux liés au vieillissement et évaluer la robustesse des systèmes de reconnaissance vocale face au vieillissement des locuteurs.
Cet article propose une évaluation systématique des stratégies de regroupement temporel pour la détection de sons anormaux sans entraînement, introduisant une méthode hybride innovante qui surpasse les performances des systèmes existants sur plusieurs jeux de données de référence.
Cette étude démontre que l'utilisation de SAM-Audio pour débruiter la parole avant la transcription par Whisper, bien qu'améliorant la qualité acoustique, dégrade systématiquement les performances de reconnaissance automatique de la parole en mode zéro-shot, révélant ainsi un décalage fondamental entre la clarté perceptive pour l'humain et la robustesse pour la machine.
Ce papier présente WhisperAlign, une solution combinant un découpage audio basé sur WhisperX et un affinage spécifique du domaine de Pyannote, pour améliorer la reconnaissance automatique de la parole et la diarisation dans des enregistrements bengalis longs et multi-locuteurs.
L'article présente Focus-Then-Listen (FTL), un enhanceur audio plug-and-play qui améliore la robustesse au bruit des grands modèles de langage audio en séparant la parole du bruit et en fusionnant les modalités de manière adaptative sans nécessiter de réentraînement.
Ce papier présente les résultats de la première édition du défi de détection de deepfakes de sons environnementaux, en détaillant la construction du jeu de données, les protocoles d'évaluation, les systèmes de référence et les enseignements clés tirés des 1 748 soumissions de 97 équipes pour orienter les recherches futures dans ce domaine.