141 artículos
Este artículo presenta un método robusto para la extracción de hablantes objetivo audio-visuales que, mediante el entrenamiento con altas tasas de ausencia de modalidades, mantiene un rendimiento estable al fusionar características de labios y una única imagen facial incluso ante la pérdida intermitente de señales en escenarios reales.
Este estudio demuestra que la elección de la codificación de características en las representaciones en red de la música genera una compensación fundamental entre la riqueza estructural y la eficiencia comunicativa, determinando cómo se distribuye la incertidumbre y la viabilidad de que dicha incertidumbre sirva como un proxy plausible para las expectativas perceptuales humanas.
El artículo presenta HyWA, un enfoque de detección de actividad vocal personalizada que utiliza una hiperred para generar pesos adaptados a un hablante específico en capas seleccionadas de un modelo estándar, logrando mejoras consistentes en el rendimiento y facilitando el despliegue al reutilizar la misma arquitectura.
Este trabajo propone MVTF, un marco novedoso que utiliza videos de labios sincronizados desde múltiples perspectivas durante el entrenamiento para extraer correlaciones cruzadas y mejorar significativamente la extracción de la voz del hablante objetivo, tanto en escenarios de una sola vista como de múltiples vistas.
Este artículo presenta un marco de calibración y razonamiento que, mediante un ajuste post-entrenamiento con aprendizaje por refuerzo (GRPO), adapta modelos de lenguaje de audio grandes para superar las puntuaciones de opinión media y lograr un estado del arte en la evaluación descriptiva multidimensional, la localización temporal y la clasificación de artefactos en el habla.
El artículo presenta \texttt{nlm}, un conjunto de extensiones de código abierto en C++ para el entorno Max que habilitan la síntesis modal no lineal en tiempo real para cuerdas, membranas y placas, facilitando el control interactivo de parámetros físicos y la carga de datos modales personalizados para compositores y diseñadores sonoros.
Este artículo demuestra mediante análisis sistemáticos que los tokenizadores de voz actuales capturan principalmente información fonética en lugar de semántica léxica, revelando una discrepancia crítica con la semántica basada en texto que afecta el rendimiento de los modelos de lenguaje multimodales y proponiendo implicaciones para el diseño de futuros tokenizadores.
El artículo presenta FireRedASR2S, un sistema industrial de reconocimiento automático del habla de última generación que integra módulos unificados de detección de actividad vocal, identificación de lenguaje hablado, predicción de puntuación y transcripción de habla y canto en múltiples idiomas y dialectos, superando el estado del arte en diversos benchmarks.
El artículo presenta G-STAR, un sistema de reconocimiento automático de habla (ASR) con atribución de hablantes de extremo a extremo que combina un módulo de seguimiento temporal con un modelo de lenguaje grande (Speech-LLM) para generar transcripciones etiquetadas por hablante con consistencia global en conversaciones largas y superpuestas.
El artículo presenta Geo-ATBench, un nuevo conjunto de datos y marco de referencia para la etiquetado de audio geoespacial que demuestra cómo integrar el contexto semántico geográfico mejora la precisión en la identificación de eventos sonoros, especialmente cuando la información acústica por sí sola es ambigua.
Este estudio revela un sesgo de género sistemático en las puntuaciones de opinión media (MOS) donde los oyentes masculinos otorgan calificaciones más altas que las femeninas, especialmente en audio de baja calidad, y propone un modelo consciente del género que aprende patrones de puntuación específicos para mejorar la equidad y precisión en la evaluación de la calidad del habla.
El artículo propone CSP-FT, una estrategia de ajuste fino parcial específica de características que, al seleccionar dinámicamente solo dos capas de un modelo TTS basado en LLM, logra una fidelidad emocional y de voz comparable al ajuste completo con el 8% de parámetros actualizados, acelerando el entrenamiento y mitigando el olvido catastrófico.
Este artículo presenta la base de datos trajectoRIR, una colección única de grabaciones acústicas estáticas y en movimiento a lo largo de una trayectoria controlada en una habitación, diseñada para apoyar tareas avanzadas de procesamiento de señales como la localización de fuentes sonoras y la reconstrucción de campos sonoros dinámicos.
El artículo presenta ParaS2S, un nuevo marco de aprendizaje por refuerzo y un benchmark (ParaS2SBench) que optimizan la capacidad de los modelos de voz a voz para responder adecuadamente tanto en contenido como en estilo paralingüístico, superando a los enfoques anteriores con menos datos de entrenamiento.
Este trabajo propone un marco de reconocimiento de habla audiovisual (AVSR) robusto y sin máscaras que integra un módulo de fusión basado en Conformer para refinar implícitamente las características de audio ruidosas mediante asistencia visual, preservando la integridad semántica y superando a los métodos basados en máscaras en el benchmark LRS3.
Este artículo demuestra mediante una metodología de evaluación y análisis mecanicista que, en la mayoría de los casos de uso, los modelos de lenguaje grandes de voz (Speech LLMs) actuales funcionan como cascadas costosas e ineficientes bajo ruido, perdiendo su ventaja sobre los sistemas tradicionales de reconocimiento de voz seguidos de LLM.
Este trabajo propone un marco acústico compacto que fusiona características multirrama y una unidad de memoria Legendre (LMU) con una fusión de ensamble posterior calibrada para mejorar la clasificación de llantos infantiles en escenarios de dominio cruzado, logrando una generalización superior y una implementación eficiente en dispositivos.
Este trabajo presenta Whisper-RIR-Mega, un nuevo conjunto de datos de referencia que empareja grabaciones de habla limpias con sus versiones reverberantes utilizando respuestas de impulso reales, diseñado para evaluar y mejorar la robustez de los modelos de reconocimiento automático de voz frente a las condiciones acústicas de las habitaciones.
El artículo presenta Omni-C, un único codificador Transformer denso que comprime modalidades heterogéneas en representaciones compartidas mediante preentrenamiento contrastivo, logrando un rendimiento competitivo y una mayor eficiencia de memoria al eliminar la necesidad de arquitecturas complejas como la de expertos múltiples (MoE) o supervisiones emparejadas.
Este artículo propone un método de adaptación de acento sin parámetros para modelos de fundamentación de voz que identifica y controla la variación de acento como un subespacio interpretable en las activaciones ocultas, logrando reducir consistentemente la tasa de error de palabras al inyectar direcciones de desplazamiento en una banda estrecha de capas intermedias durante la inferencia.