141 articles
Ce papier propose une méthode robuste d'extraction de locuteur cible audio-visuelle qui, en s'entraînant avec un taux élevé de données manquantes, maintient des performances stables même en cas de perte de modalités lors du test, démontrant notamment l'efficacité de la fusion d'une image de visage avec des caractéristiques labiales.
Cette étude démontre que le choix des encodages de caractéristiques dans les représentations en réseau de la musique crée un compromis fondamental entre la richesse structurelle et l'efficacité de la communication, où les représentations simples favorisent une incertitude globale élevée mais un faible erreur de modèle, tandis que les représentations complexes préservent des distinctions fines au prix d'une expansion de l'espace d'états et d'une erreur accrue, façonnant ainsi la plausibilité des attentes perceptives des auditeurs.
Le papier propose HyWA, une méthode de détection d'activité vocale personnalisée qui utilise un hyper-réseau pour générer des poids adaptés à un locuteur cible, surpassant les techniques existantes en améliorant la précision moyenne et en facilitant le déploiement grâce à une architecture VAD réutilisable.
Cet article propose le cadre Multi-View Tensor Fusion (MVTF), qui exploite les vidéos synchronisées de plusieurs angles pour apprendre des corrélations inter-visions et améliorer significativement l'extraction de la parole d'un locuteur cible, que le système soit utilisé en mode mono- ou multi-visions.
Cet article présente un nouveau cadre de post-entraînement pour les modèles linguistiques audio qui, en combinant une étape d'étalonnage et un apprentissage par renforcement avec GRPO, améliore considérablement l'évaluation descriptive de la qualité de la parole en permettant une analyse multidimensionnelle, une localisation temporelle précise des artefacts et une prédiction plus fiable des scores MOS.
Le papier présente \texttt{nlm}, un ensemble d'externes Max open-source en C++ permettant la synthèse modale non linéaire en temps réel pour les cordes, les membranes et les plaques, offrant ainsi un contrôle interactif des paramètres physiques et une sortie multicanal pour faciliter l'exploration de cette technique par les créateurs sonores.
Cette étude révèle que les tokeniseurs de parole actuels capturent principalement des informations phonétiques plutôt que sémantiques, ce qui soulève des défis pour leur intégration dans les modèles de langage multimodaux et guide la conception de futures méthodes de tokenisation.
Ce papier présente FireRedASR2S, un système de reconnaissance automatique de la parole (ASR) industriel de pointe intégrant quatre modules unifiés (ASR, détection d'activité vocale, identification de langue parlée et prédiction de ponctuation) qui atteignent des performances state-of-the-art sur divers benchmarks multilingues et dialectaux.
Le papier présente G-STAR, un système de reconnaissance automatique de la parole attribué aux locuteurs de bout en bout qui couple un module de suivi temporel des locuteurs avec un modèle de langage pour assurer une cohérence des identités à l'échelle de la réunion tout en générant des transcriptions étiquetées et horodatées.
Ce papier présente Geo-ATBench, un nouveau benchmark et une tâche d'étiquetage audio géospatial qui intègrent le contexte sémantique géographique pour améliorer la reconnaissance des événements sonores, en démontrant que cette approche réduit les ambiguïtés acoustiques et atteint des performances alignées avec l'écoute humaine.
Cette étude révèle que le Mean Opinion Score (MOS) présente un biais systématique de genre où les hommes attribuent des scores plus élevés que les femmes, et propose un modèle sensible au genre apprenant des schémas d'évaluation spécifiques pour améliorer la précision et l'équité de l'évaluation de la qualité de la parole.
Cet article propose CSP-FT, une stratégie de micro-ajustement partiel spécifique aux caractéristiques qui améliore l'adaptation des émotions et des locuteurs dans les modèles TTS basés sur les LLM en ne mettant à jour que 8 % des paramètres, tout en accélérant l'entraînement et en préservant la précision de la prononciation.
Ce papier présente la base de données trajectoRIR, une collection unique de réponses impulsionnelles de salle et d'enregistrements audio dynamiques le long d'une trajectoire contrôlée, capturés par diverses configurations de microphones mobiles et stationnaires pour soutenir des tâches avancées de traitement du signal acoustique.
Ce papier présente ParaS2S, un cadre d'apprentissage par renforcement et un benchmark associés conçus pour optimiser les modèles de parole-à-parole afin qu'ils répondent de manière appropriée tant sur le fond que sur le style en intégrant les indices paralinguistiques, surpassant ainsi les méthodes d'ajustement supervisé traditionnel.
Cet article propose un cadre de reconnaissance automatique de la parole audiovisuelle (AVSR) robuste au bruit qui, en éliminant les masques explicites et en utilisant une fusion de type Conformer assistée par la vidéo, améliore les performances de reconnaissance dans des environnements bruyants tout en préservant l'intégrité sémantique de la parole.
Cette étude démontre que les modèles de langage vocaux actuels se comportent souvent comme des chaînes ASR-LLM coûteuses et moins performantes en présence de bruit, car leurs représentations internes révèlent une dépendance causale aux transcriptions textuelles plutôt qu'à l'audio brut.
Cet article propose un cadre acoustique compact combinant un encodeur CNN multi-branches, une unité de mémoire Legendre (LMU) pour la modélisation temporelle efficace et une fusion d'ensemble postérieure calibrée, afin d'améliorer la classification des cris de nourrissons dans des scénarios inter-domaines malgré les défis liés aux signaux non stationnaires et aux décalages de distribution.
Ce papier présente Whisper-RIR-Mega, un nouveau jeu de données apparié de parole propre et réverbérée basé sur LibriSpeech et le corpus RIR-Mega, conçu pour évaluer et améliorer la robustesse des modèles de reconnaissance automatique de la parole face aux acoustiques de salle.
Ce papier présente Omni-C, un encodeur Transformer dense unique qui compresse des modalités hétérogènes (images, audio, texte) en apprenant des représentations partagées via un pré-entraînement contrastif, permettant ainsi de réduire considérablement la complexité computationnelle et l'empreinte mémoire par rapport aux architectures multimodales traditionnelles.
Cet article propose une méthode d'adaptation d'accent sans paramétrage pour les modèles de base de la parole, qui identifie et contrôle les variations d'accent en injectant des vecteurs de décalage dans une couche spécifique des représentations cachées, réduisant ainsi le taux d'erreur mot sur huit accents différents.