132 artículos
Esta tesis propone un marco integral que modela conjuntamente la información acústica y semántica para mejorar la comprensión y síntesis de emociones en el habla, abarcando desde el aprendizaje de representaciones mediante pre-entrenamiento y el reconocimiento en conversaciones hasta la transferencia de estilo emocional sin texto.
El documento presenta SPAR-K, un marco de salida temprana periódica y alterna que acelera la inferencia de modelos de lenguaje hablado intercalados reduciendo la profundidad de decodificación sin comprometer la calidad perceptual ni la precisión, demostrando además que las estrategias de salida temprana basadas en confianza son subóptimas para este tipo de modelos.
Este estudio evalúa sistemáticamente cuatro estrategias de Decodificación Contrastiva en Modelos de Lenguaje Audio Grandes, identificando que aunque la Decodificación Consciente del Audio y la Decodificación Contrastiva de Audio son las más efectivas, su éxito depende de la arquitectura del modelo y se limita a corregir errores de ausencia de audio o conjeturas inciertas, sin poder subsanar razonamientos defectuosos o afirmaciones erróneas confiables.
El artículo presenta StuPASE, un modelo de mejora de voz generativo que combina la robustez contra alucinaciones de PASE con un módulo de flujo de coincidencia y objetivos de secuencias secas para lograr una calidad de estudio superior incluso en condiciones adversas.
El artículo presenta el modelo Pulse-Train-Resonator (PTR), una arquitectura de síntesis diferenciable que utiliza inductores físicos para generar sonidos de motor mediante trenes de pulsos y resonadores Karplus-Strong, logrando una reconstrucción armónica superior y parámetros interpretables en comparación con los métodos basales.
Este artículo presenta un marco de detección de palabras clave (KWS) de extremo a extremo y multicanal que integra un codificador espacial y priores direccionales para lograr una mayor robustez ante el ruido y superar las limitaciones de los sistemas convencionales en entornos acústicos complejos.
Este trabajo presenta un formalismo de ecuaciones diferenciales estocásticas de interpolación (iSDE) y un solucionador rápido que permite la restauración de voz con tan solo 10 evaluaciones de red neuronal, superando las limitaciones de muestreo lento de modelos como SGMSE+.
Este trabajo presenta Speech-Omni-Lite, un marco eficiente en costos que extiende modelos de visión y lenguaje preentrenados con capacidades de comprensión y generación de voz mediante módulos ligeros y congelados, logrando un rendimiento comparable a los modelos omni a gran escala utilizando datos de entrenamiento significativamente menores.
Este artículo presenta un enfoque novedoso para la generación de respuestas al impulso de sala (RIR) mediante el ajuste fino de un modelo preentrenado de texto a audio, utilizando descripciones acústicas extraídas por modelos de visión-lingüística para superar la escasez de datos y demostrar su eficacia en la simulación acústica y la augmentación de datos de voz.
El paper introduce MUGEN, un benchmark integral que revela las limitaciones actuales de los modelos de audio-idioma en la comprensión de múltiples audios simultáneos y demuestra que estrategias de inferencia sin entrenamiento, como la autoconsistencia permutacional y el razonamiento en cadena, mejoran significativamente su rendimiento.
Este trabajo presenta DRES, un conjunto de datos de habla realista en neerlandés grabado en entornos ruidosos, y demuestra que, a pesar del buen rendimiento de varios modelos de reconocimiento automático del habla en estas condiciones, la aplicación de algoritmos de mejora de habla de un solo canal no mejora significativamente su precisión.
Este artículo propone el filtro de Wiener multicanal distribuido (dMWF), un algoritmo no iterativo y óptimo para redes de sensores acústicos inalámbricos que supera las limitaciones de convergencia y los supuestos de fuentes comunes de métodos existentes como DANSE, logrando un rendimiento equivalente al de un sistema centralizado con menor uso de ancho de banda.
Este trabajo presenta el Sistema de Análisis Multimodal de Video Laringoscópico (MLVAS), una herramienta innovadora que combina datos de audio y video mediante detección de glotis, refinamiento de segmentación basado en difusión y extracción de características acústicas y visuales para asistir en el diagnóstico objetivo y automatizado de la parálisis de las cuerdas vocales.
El artículo presenta ExpGest, un marco innovador basado en modelos de difusión que utiliza información sincronizada de audio y texto para generar gestos corporales completos, expresivos y controlables, superando las limitaciones de rigidez y falta de contenido semántico de los métodos existentes.
Este trabajo presenta la Tarea 5 del Desafío DCASE 2025, un nuevo benchmark de respuesta a preguntas sobre audio que abarca múltiples dominios acústicos para evaluar y mejorar las capacidades de razonamiento de los modelos de audio-lenguaje.
Este artículo presenta BemaGANv2, un vocador basado en GAN optimizado para la generación de audio de larga duración que introduce innovaciones arquitectónicas como el módulo AMP y el Discriminador de Sobres Multi-Envolvente (MED), evaluando sistemáticamente diversas estrategias de combinación de discriminadores para mejorar la coherencia temporal y la fidelidad del audio.
El artículo presenta WaLi, un ataque que demuestra cómo los sensores de presión de los sistemas HVAC pueden ser explotados para reconstruir conversaciones humanas inteligibles a partir de datos ruidosos y de baja resolución mediante el uso de una red neuronal compleja, revelando así una nueva amenaza significativa para la privacidad.
El artículo presenta SUBARU, un enfoque práctico que reduce el consumo energético en dispositivos auditivos mediante el muestreo sub-Nyquist y baja resolución de bits, logrando una reconstrucción de audio de banda ancha y mejora de la voz en tiempo real con una eficiencia de potencia 3,31 veces superior.
Este trabajo presenta ECHO, un modelo fundacional de aprendizaje profundo que utiliza una arquitectura de división de bandas y embebidos posicionales de frecuencia para procesar señales de máquinas de longitud variable y tasas de muestreo arbitrarias, logrando un rendimiento superior en la detección de anomalías y clasificación de fallos industriales.
Este trabajo presenta LibriTTS-VI, el primer corpus público para el control de impresiones vocales numéricas, y propone métodos novedosos de entrenamiento desenredado y sin referencia que mitigan la fuga de impresiones y mejoran significativamente la precisión del control en la síntesis de voz.