157 artículos
El artículo presenta TimberAgent, un sistema de recuperación guiado por gramáticas que utiliza representaciones de textura basadas en matrices de Gram (TRR) para cerrar la brecha semántica entre la intención perceptual del usuario y los parámetros de efectos de audio editables, demostrando mediante un benchmark y estudios perceptuales que este enfoque minimiza el error de parámetros en comparación con métodos existentes.
El artículo presenta el modelo Pulse-Train-Resonator (PTR), una arquitectura de síntesis diferenciable que utiliza inductores físicos para generar sonidos de motor mediante trenes de pulsos y resonadores Karplus-Strong, logrando una reconstrucción armónica superior y parámetros interpretables en comparación con los métodos basales.
El paper introduce MUGEN, un benchmark integral que revela las limitaciones actuales de los modelos de audio-idioma en la comprensión de múltiples audios simultáneos y demuestra que estrategias de inferencia sin entrenamiento, como la autoconsistencia permutacional y el razonamiento en cadena, mejoran significativamente su rendimiento.
El artículo presenta EmoSURA, un nuevo marco de evaluación que supera las limitaciones de las métricas tradicionales y los jueces basados en LLM al descomponer las descripciones emocionales de voz en unidades perceptuales atómicas para verificarlas directamente contra la señal de audio, ofreciendo así una evaluación más precisa y correlacionada con el juicio humano para textos largos.
Este artículo presenta SCENEBench, un nuevo conjunto de pruebas diseñado para evaluar la comprensión auditiva de modelos de lenguaje de audio avanzados más allá del reconocimiento de voz, centrándose en casos de uso reales como la accesibilidad y la monitorización industrial mediante la medición del rendimiento y la latencia en tareas de sonido ambiental, localización de ruido, comprensión multilingüe y reconocimiento de características vocales.
Este trabajo presenta el Sistema de Análisis Multimodal de Video Laringoscópico (MLVAS), una herramienta innovadora que combina datos de audio y video mediante detección de glotis, refinamiento de segmentación basado en difusión y extracción de características acústicas y visuales para asistir en el diagnóstico objetivo y automatizado de la parálisis de las cuerdas vocales.
El artículo presenta ExpGest, un marco innovador basado en modelos de difusión que utiliza información sincronizada de audio y texto para generar gestos corporales completos, expresivos y controlables, superando las limitaciones de rigidez y falta de contenido semántico de los métodos existentes.
Este trabajo presenta la Tarea 5 del Desafío DCASE 2025, un nuevo benchmark de respuesta a preguntas sobre audio que abarca múltiples dominios acústicos para evaluar y mejorar las capacidades de razonamiento de los modelos de audio-lenguaje.
Este artículo presenta BemaGANv2, un vocador basado en GAN optimizado para la generación de audio de larga duración que introduce innovaciones arquitectónicas como el módulo AMP y el Discriminador de Sobres Multi-Envolvente (MED), evaluando sistemáticamente diversas estrategias de combinación de discriminadores para mejorar la coherencia temporal y la fidelidad del audio.
El artículo presenta WaLi, un ataque que demuestra cómo los sensores de presión de los sistemas HVAC pueden ser explotados para reconstruir conversaciones humanas inteligibles a partir de datos ruidosos y de baja resolución mediante el uso de una red neuronal compleja, revelando así una nueva amenaza significativa para la privacidad.
El artículo presenta SUBARU, un enfoque práctico que reduce el consumo energético en dispositivos auditivos mediante el muestreo sub-Nyquist y baja resolución de bits, logrando una reconstrucción de audio de banda ancha y mejora de la voz en tiempo real con una eficiencia de potencia 3,31 veces superior.
Este trabajo presenta ECHO, un modelo fundacional de aprendizaje profundo que utiliza una arquitectura de división de bandas y embebidos posicionales de frecuencia para procesar señales de máquinas de longitud variable y tasas de muestreo arbitrarias, logrando un rendimiento superior en la detección de anomalías y clasificación de fallos industriales.
Este trabajo presenta LibriTTS-VI, el primer corpus público para el control de impresiones vocales numéricas, y propone métodos novedosos de entrenamiento desenredado y sin referencia que mitigan la fuga de impresiones y mejoran significativamente la precisión del control en la síntesis de voz.
Este trabajo mejora el rendimiento y la eficiencia de X-Codec-2.0 para el procesamiento de voz multilingüe al reducir la tasa latente a 25 Hz y aumentar la frecuencia de muestreo a 24 kHz mediante modificaciones simples en el agrupamiento y el salto del decodificador, logrando una mejora significativa en la calidad perceptual sin alterar la arquitectura central.
Este artículo presenta un método de interpretabilidad mecánica para identificar y amplificar mediante intervención en tiempo de inferencia las "cabezas especializadas en audio" dentro de los modelos de lenguaje-audio, logrando así mejorar la precisión de estos modelos en tareas multimodales sin necesidad de actualizar sus parámetros.
Este artículo presenta un método que utiliza Modelos de Lenguaje Grandes Multimodales (MLLM) para descubrir de forma adaptativa atributos de audio interpretables, logrando una clasificación de bajo recurso más rápida y precisa que los enfoques tradicionales basados en humanos.
Este artículo presenta un nuevo conjunto de datos multimodal que combina señales de audio y vibración de un transportador de cadena de velocidad única, diseñado para facilitar la investigación sobre detección y clasificación de fallos industriales mediante análisis de canales individuales y fusión multimodal bajo diversas condiciones operativas.
Este estudio presenta un sistema automatizado basado en sensores acústicos portátiles y modelos de aprendizaje profundo que segmenta y clasifica los sonidos intestinales con alta precisión, reduciendo significativamente el tiempo de etiquetado manual y ofreciendo a los clínicos una herramienta objetiva para la evaluación cuantitativa de la función gastrointestinal.
El artículo presenta VASR, un sistema de reconocimiento de voz que utiliza un razonamiento multimodal basado en el pensamiento en cadena (AV-CoT) para integrar y analizar el contexto visual rico más allá de los movimientos labiales, logrando así un rendimiento superior al estado del arte al mitigar el problema de la dominancia de una sola modalidad.
Este trabajo presenta un modelo de extensión de ancho de banda basado en Vocos que genera contenido de alta frecuencia faltante para audio de 8-48 kHz mediante un único red neuronal y un refinador ligero, logrando una calidad competitiva con un rendimiento en tiempo real extremo en GPU y CPU.