163 artículos
Este estudio demuestra que la elección de la codificación de características en las representaciones en red de la música genera una compensación fundamental entre la riqueza estructural y la eficiencia comunicativa, determinando cómo se distribuye la incertidumbre y la viabilidad de que dicha incertidumbre sirva como un proxy plausible para las expectativas perceptuales humanas.
El artículo presenta Dolphin, un método eficiente de separación de habla audiovisual que utiliza un codificador de labios ligero y atención global-local multiescala para superar la calidad de los modelos actuales mientras reduce significativamente los parámetros, el costo computacional y el tiempo de inferencia.
El artículo presenta HyWA, un enfoque de detección de actividad vocal personalizada que utiliza una hiperred para generar pesos adaptados a un hablante específico en capas seleccionadas de un modelo estándar, logrando mejoras consistentes en el rendimiento y facilitando el despliegue al reutilizar la misma arquitectura.
El artículo evalúa varios códecs de compresión de audio comunes mediante mediciones de rendimiento, visualizaciones y puntuaciones PEAQ para demostrar que, al elegir un códec, los usuarios deben considerar no solo la eficiencia de compresión sino también la calidad perceptual sónica.
El artículo presenta AMB-DSGDN, una red neuronal que mejora el reconocimiento de emociones multimodales mediante la construcción de grafos semánticos dinámicos específicos por modalidad y mecanismos de atención diferencial y balanceo adaptativo para eliminar el ruido y equilibrar las contribuciones de texto, audio y visión.
El artículo presenta \texttt{nlm}, un conjunto de extensiones de código abierto en C++ para el entorno Max que habilitan la síntesis modal no lineal en tiempo real para cuerdas, membranas y placas, facilitando el control interactivo de parámetros físicos y la carga de datos modales personalizados para compositores y diseñadores sonoros.
ID-LoRA es un modelo generativo pionero que personaliza simultáneamente la apariencia visual y la voz de un sujeto en un solo paso, utilizando una adaptación eficiente de parámetros (In-Context LoRA) sobre una arquitectura de difusión audio-video para superar las limitaciones de sincronización y control de estilo de los métodos existentes.
El artículo presenta PRoADS, un marco de esteganografía de audio basado en modelos de difusión que logra una seguridad probada y una alta robustez mediante la proyección de mensajes secretos en el ruido inicial y la optimización de la inversión mediante técnicas de Latent Optimization y Backward Euler, logrando una tasa de error de bits extremadamente baja del 0,15% incluso bajo compresión MP3.
El paper presenta NasoVoce, una interfaz montada en la nariz que fusiona señales acústicas y de vibración para capturar el habla silenciosa y susurrada de manera robusta frente al ruido, permitiendo interacciones de voz discretas y siempre disponibles con IA.
El artículo presenta FireRedASR2S, un sistema industrial de reconocimiento automático del habla de última generación que integra módulos unificados de detección de actividad vocal, identificación de lenguaje hablado, predicción de puntuación y transcripción de habla y canto en múltiples idiomas y dialectos, superando el estado del arte en diversos benchmarks.
MoXaRt es un sistema de Realidad Extendida en tiempo real que utiliza una arquitectura en cascada con guías audiovisuales para separar fuentes sonoras concurrentes, mejorando significativamente la inteligibilidad del habla y reduciendo la carga cognitiva en entornos acústicos complejos.
El artículo presenta G-STAR, un sistema de reconocimiento automático de habla (ASR) con atribución de hablantes de extremo a extremo que combina un módulo de seguimiento temporal con un modelo de lenguaje grande (Speech-LLM) para generar transcripciones etiquetadas por hablante con consistencia global en conversaciones largas y superpuestas.
Este trabajo propone un marco de reconocimiento automático de habla multi-parlante basado únicamente en un codificador que destila las priores semánticas de un modelo de lenguaje grande para regularizar las representaciones de habla mezclada y utiliza un cabezal de conteo de hablantes para la selección dinámica de ramas, logrando un rendimiento comparable o superior a los sistemas basados en LLM con una menor complejidad computacional.
El artículo presenta Geo-ATBench, un nuevo conjunto de datos y marco de referencia para la etiquetado de audio geoespacial que demuestra cómo integrar el contexto semántico geográfico mejora la precisión en la identificación de eventos sonoros, especialmente cuando la información acústica por sí sola es ambigua.
El artículo presenta AlphaFlowTSE, un modelo generativo condicional de un solo paso para la extracción de hablantes objetivo que, mediante un objetivo AlphaFlow libre de productos vectoriales-jacobiano y una estrategia de enseñanza-estudiante, mejora la fidelidad del habla y la generalización en escenarios reales sin depender de coordenadas temporales mixtas.
El artículo presenta PV-VASM, un marco probabilístico modelo-agnóstico que verifica formalmente la robustez de los modelos de detección de suplantación de voz frente a técnicas de síntesis de voz no vistas y perturbaciones, proporcionando un límite superior teórico para la probabilidad de error.
Este artículo presenta HIR-SDD, un nuevo marco de detección de deepfakes de voz que combina Modelos de Lenguaje de Audio Grandes con razonamiento de cadena de pensamiento derivado de un conjunto de datos anotado por humanos para mejorar la generalización y la interpretabilidad de las predicciones.
Este artículo presenta un protocolo de evaluación que revela la débil capacidad de verificación de hablantes en los LLMs conscientes del habla y propone una solución de aumento ligera que integra embeddings de hablantes congelados con adaptadores LoRA, logrando un rendimiento comparable a sistemas dedicados en modelos como TinyLLaMA-1.1B.
El artículo presenta OSUM-Pangu, un modelo fundacional de comprensión de voz de código abierto desarrollado completamente en la plataforma Ascend NPU sin CUDA, que integra un codificador de audio con OpenPangu-7B para lograr un rendimiento comparable a los modelos basados en GPU y fomentar la evolución independiente de la inteligencia multimodal.
El estudio presenta VoxCare, un sistema escalable de sensores auditivos corporales que analiza en tiempo real los patrones de comunicación natural de los profesionales sanitarios sin almacenar audio crudo, revelando cómo estas interacciones reflejan la carga de trabajo y el estrés para mejorar la entrega de cuidados.