163 artículos
Este estudio demuestra que los modelos de habla auto-supervisados codifican información fonética mediante vectores composicionales interpretables que permiten realizar operaciones aritméticas lineales para representar y manipular rasgos fonológicos de forma continua en múltiples idiomas.
El artículo presenta V2A-DPO, un marco de optimización directa de preferencias diseñado para modelos de generación de audio a partir de video basados en flujo, que integra un sistema de puntuación alineado con preferencias humanas, una tubería automatizada para datos de preferencia y una estrategia de aprendizaje curricular, logrando un rendimiento superior al estado del arte en el conjunto de datos VGGSound.
Este artículo propone un marco basado en Transformers para el reconocimiento de emociones audio-visuales que aborda la desincronización temporal entre modalidades mediante un codificador de autoatención multimodal, embebimientos posicionales rotatorios alineados temporalmente (TaRoPE) y una función de pérdida de coincidencia cruzada temporal (CTM), logrando mejoras consistentes en los conjuntos de datos CREMA-D y RAVDESS.
El artículo presenta Uni-ASR, un marco unificado basado en grandes modelos de lenguaje que integra capacidades de reconocimiento de voz tanto no en streaming como en streaming mediante un paradigma de entrenamiento conjunto y una estrategia de decodificación de respaldo, logrando un alto rendimiento en escenarios de baja latencia sin sacrificar la precisión ni requerir modificaciones arquitectónicas.
Este estudio presenta un sistema de reconocimiento automático de habla (ASR) optimizado para la enfermedad de Huntington que, mediante un corpus clínico de alta fidelidad y supervisión auxiliar basada en biomarcadores, logra reducir la tasa de error de palabras y analizar patrones de errores específicos de la patología, superando a los modelos baselines tradicionales.
El estudio investiga si un modelo de lenguaje entrenado en texto puede localizar palabras falsas en audio manipulado mediante predicción de tokens, descubriendo que, aunque efectivo en escenarios específicos al detectar patrones de edición aprendidos, el modelo tiene dificultades para generalizar a estilos de edición no vistos debido a su dependencia excesiva de esos patrones particulares.
Este artículo presenta un sistema de detección de actividad de tos basado en el modelo preentrenado XLS-R que logra una alta precisión en la identificación de segmentos de tos para el cribado automático de tuberculosis, superando a otros modelos y demostrando viabilidad para su implementación en dispositivos móviles.
El artículo presenta Fair-Gate, un marco interpretable de control de riesgo que aborda el aprendizaje de atajos demográficos y la entrelazación de características para mejorar la equidad de género en los sistemas biométricos de voz sin sacrificar la precisión.
Este artículo presenta un enfoque de preentrenamiento continuo que combina datos no etiquetados con un conjunto limitado de datos etiquetados para adaptar el modelo wav2vec2-bert-2.0 al reconocimiento automático de voz en swahili, logrando un rendimiento de vanguardia con una reducción del 82% en la tasa de error de palabras en comparación con la línea base y superando significativamente a los sistemas académicos anteriores.
El artículo presenta SAGE, un marco de modelado de fiabilidad adaptativo a las etapas que mejora la estimación continua de valencia y excitación al calibrar dinámicamente la confianza de las modalidades auditivas y visuales según su informatividad en cada fase de interacción, logrando así un rendimiento superior en entornos ruidosos y variables.
El artículo presenta AnimeScore, un marco de evaluación basado en preferencias que supera las limitaciones de las métricas subjetivas tradicionales para medir el estilo de voz "tipo anime", demostrando que los modelos de aprendizaje automático logran una precisión superior al 90% al identificar que este estilo depende de la resonancia controlada y la continuidad prosódica en lugar de simplemente de un tono alto.
El artículo presenta ComVo, un vocodador neuronal complejo que utiliza aritmética nativa de números complejos, cuantización de fase y un esquema de cálculo matricial por bloques para generar formas de onda de audio de mayor calidad y con un 25% menos de tiempo de entrenamiento en comparación con los métodos basados en valores reales.
El artículo presenta SEMamba++, un marco general de restauración de voz que mejora el estado del arte al incorporar sesgos inductivos específicos del habla, como el bloque de extracción de características de frecuencia GLP y un bloque de procesamiento dual tiempo-frecuencia multirresolución, logrando un rendimiento superior con eficiencia computacional.
El artículo propone RAF (Retroalimentación Adversarial Relativista), un nuevo objetivo de entrenamiento para vocoders GAN que mejora la fidelidad y la generalización al utilizar modelos de aprendizaje auto-supervisado y emparejamiento relativista, logrando una calidad perceptual superior con BigVGAN-base usando solo el 12% de los parámetros en comparación con LSGAN.
Este artículo propone un marco novedoso de mediación causal de prosodia para la síntesis de voz (TTS) que, al integrar un modelo causal estructural y objetivos de entrenamiento contrafactual en la arquitectura FastSpeech2, logra disociar la emoción del contenido lingüístico para mejorar la expresividad, la manipulación controlada de la prosodia y la consistencia del hablante sin comprometer la inteligibilidad.
Este estudio presenta un nuevo conjunto de datos y demuestra que la electromiografía de superficie (sEMG) puede decodificar con fiabilidad la frustración tanto en el habla fonada como en la silenciosa, revelando que las señales afectivas persisten en la actividad motora facial incluso sin vocalización.
Este trabajo propone un protocolo de ajuste fino mejorado con paralingüística (PE-FT) que, mediante análisis de capas y componentes específicos, capacita a los Modelos de Lenguaje Audio Grandes (LALMs) para reconocer y responder a las señales paralingüísticas, superando así las estrategias de ajuste fino tradicionales centradas únicamente en el contenido.
El artículo presenta Dr. SHAP-AV, un marco basado en valores de Shapley que analiza las contribuciones de las modalidades en la reconocimiento de habla audiovisual, revelando un sesgo persistente hacia el audio y proponiendo la atribución de Shapley como un estándar diagnóstico para entender el equilibrio modal bajo ruido.
El artículo presenta SGMD, un modelo de difusión de movimiento guiado por estilo que integra características musicales y prompts de estilo para generar secuencias de danza realistas, coherentes y controlables mediante mecanismos de enmascaramiento espacio-temporal.
El artículo presenta ExSampling, un sistema integrado que utiliza aprendizaje profundo para mapear automáticamente grabaciones de campo a pistas de Ableton Live, permitiendo la interpretación musical en tiempo real y la interacción entre grabadores, compositores y músicos.