131 artículos
Este artículo presenta S2S-ZEST, un marco de transferencia de estilo emocional voz-a-voz sin texto y no paralelo que logra imitar la emoción de una referencia preservando el contenido y la identidad del hablante de la fuente mediante un pipeline de análisis-síntesis basado en tokens semánticos y embeddings de emoción.
Este artículo presenta TI-DANSE+, un algoritmo mejorado de estimación de señales distribuida en redes de sensores acústicos inalámbricos que acelera la convergencia al utilizar sumas parciales de señales de los vecinos y una estrategia de poda de árboles, logrando un rendimiento superior en velocidad y eficiencia de ancho de banda en comparación con los métodos DANSE y TI-DANSE existentes.
El artículo presenta Human-CLAP, un modelo de entrenamiento contrastivo lenguaje-audio basado en la percepción humana que, al entrenarse con puntuaciones de evaluación subjetiva, mejora significativamente la correlación entre las métricas automáticas y la evaluación humana en comparación con el CLAP convencional.
Este estudio presenta un paradigma sistemático para comparar a humanos y máquinas en tareas de comprensión del habla multilingüe, revelando que, aunque los modelos de lenguaje basados en audio igualan o superan el rendimiento humano en condiciones limpias, los humanos muestran una ventaja significativa en la atención selectiva a hablantes en entornos ruidosos, especialmente en su lengua materna.
Este estudio evalúa exhaustivamente 17 sistemas de incrustación de voz preentrenados en seis conjuntos de datos heterogéneos para la detección de disartria, revelando una variabilidad significativa en los resultados dentro de cada conjunto y una menor generalización entre conjuntos, lo que cuestiona la validez clínica de los modelos entrenados y probados en los mismos datos.
El artículo presenta VSSFlow, un marco unificado basado en flujo-matching que integra la generación de sonido y habla condicionada por video mediante un mecanismo de agregación de condiciones disociado, demostrando que el aprendizaje conjunto supera a los modelos especializados sin degradar el rendimiento.
El artículo presenta VoiceBridge, un modelo de puente latente de un solo paso que utiliza un autoencoder variacional que preserva la energía y un prior neuronal conjunto para restaurar de manera eficiente y general el habla de alta calidad a partir de diversas distorsiones sin necesidad de destilación.
El artículo presenta el Transformer de Voz-Texto Latente (LST), un modelo que agrupa los tokens de voz en parches latentes para equilibrar la granularidad con el texto y mejorar la eficiencia computacional, logrando así un rendimiento superior tanto en tareas de voz como de texto en comparación con los modelos autoregresivos tradicionales.
Este artículo presenta un marco de mezcla de expertos condicionado por el ruido que mejora la verificación de hablantes en entornos ruidosos mediante el descomposición del espacio de características en subespacios especializados, un mecanismo de enrutamiento inteligente y un protocolo de aprendizaje curricular.
Este trabajo compara estrategias de mejora de voz en el espacio latente de códecs de audio neuronales, revelando que la predicción de representaciones continuas y el ajuste fino del codificador logran los mejores resultados, aunque los modelos no autoregresivos ofrecen un equilibrio más atractivo entre calidad, inteligibilidad y eficiencia.
El artículo presenta WhisperVC, un marco de tres etapas que descompone la alineación entre dominios y la generación de voz para convertir eficazmente el habla susurrada en habla normal con pocos recursos, logrando alta calidad y similitud de voz mientras ofrece aplicaciones en privacidad y rehabilitación.
Este artículo presenta un paradigma de multiplexación de marcas de agua neuronales en audio, que combina técnicas paralelas y secuenciales mediante enfoques como PA-TFM y el modelo MaskNet, logrando una protección robusta contra ataques sofisticados y superando significativamente a los métodos de marca única existentes.
Este estudio demuestra que, en conversaciones cara a cara ruidosas, los hablantes aumentan la complejidad de sus gestos y el volumen de voz, mientras que los oyentes intensifican sus señales de retroalimentación y ajustan sus movimientos corporales para mantener la comunicación, aunque la sincronía entre el habla y los gestos disminuye ligeramente en niveles de ruido moderado.
Este artículo presenta la primera investigación sistemática sobre cómo se codifica la información de acento en los tokens de representación de voz discreta (DSRT), proponiendo un marco de evaluación unificado que revela que la selección de capas es el factor más determinante para retener dicha información, mientras que la supervisión ASR la reduce significativamente y la reducción ingenua del tamaño del código no logra desvincular el acento de la fonética y el hablante.
Este estudio presenta un enfoque novedoso basado en transformadores de cuello de botella que mejora la predicción automática de la métrica STOI al lograr una mayor correlación y menor error cuadrático medio en comparación con los modelos actuales, sin depender de una referencia de habla limpia.
El artículo presenta VoxEmo, un benchmark integral para la evaluación de modelos de lenguaje de voz en el reconocimiento de emociones, que aborda desafíos como la variabilidad de los prompts y la ambigüedad humana mediante un conjunto de datos multilingüe, un protocolo de etiquetas suaves y estrategias de consenso para alinear mejor los resultados generativos con la percepción subjetiva humana.
Este artículo presenta el primer benchmark de aprendizaje continuo sin ejemplos para la segmentación audio-visual, junto con el modelo ATLAS que utiliza condicionamiento guiado por audio y anclaje de bajo rango para mitigar el olvido catastrófico en entornos dinámicos.
El artículo presenta la Factorización Universal de Contenido de Voz (USCF), un método lineal e invertible que extrae representaciones de bajo rango preservando el contenido fonético mientras suprime el timbre del hablante, permitiendo la conversión de voz en ceros disparos y sirviendo como característica eficiente para modelos de texto a voz.
Este artículo demuestra que existe una relación no monótona entre la profundidad de la cuantización vectorial residual en los códecs de audio neuronales y la robustez adversarial, donde configuraciones intermedias logran el mejor equilibrio al suprimir el ruido adversarial sin degradar el contenido del habla, superando así a las defensas de compresión tradicionales.
Los autores proponen el "Emotion-Aware Prefix", un método que mejora significativamente el control explícito de emociones en la conversión de voz al duplicar la precisión de conversión emocional hasta un 85,50% sin comprometer la identidad del hablante ni la calidad del habla.