💻 computer science

From Cascaded Speech Systems to Omni-Modal Agents: A Survey of Speech Interaction for Next-Generation Human-Computer Interaction

Esta encuesta rastrea la evolución de la interacción de voz, desde los sistemas en cascada tradicionales hasta los agentes omnimodales unificados, analizando sistemáticamente las arquitecturas, las estrategias de entrenamiento y la gobernanza de datos de los SpeechLLM y los Omni-MLLM, al tiempo que identifica los desafíos clave y las direcciones futuras para la próxima generación de la interacción humano-computadora.

Autores originales: Sisi Zhu, Yue Zhao, Hao Chen, Wensheng Gu, Tiancai Bai

Publicado 2026-09-24

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Sisi Zhu, Yue Zhao, Hao Chen, Wensheng Gu, Tiancai Bai

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina intentar tener una conversación con una máquina que solo puede oír tus palabras, no tu tono, y que solo puede responder con una voz plana y robótica, sin interrumpirte nunca aunque cambies de opinión a mitad de una frase. Durante años, esta ha sido la realidad de hablar con las computadoras. La tecnología detrás de estas interacciones tradicionalmente ha funcionado como una carrera de relevos con tres corredores separados. Primero, un sistema escucha tu voz y la convierte en texto escrito. Segundo, un cerebro informático separado lee ese texto, comprende lo que quieres decir y escribe una respuesta. Tercero, una máquina diferente toma esa respuesta escrita y te la habla de vuelta. Si bien este método funciona, es lento y torpe. Al convertir tu voz en texto y luego de nuevo en voz, el sistema pierde los matices sutiles que hacen que la conversación humana se sienta natural: la vacilación en tu voz, el ascenso y descenso de tu tono, la emoción detrás de tus palabras y la capacidad de intervenir cuando la otra persona aún está hablando.

Ahora, una nueva generación de tecnología está intentando reemplazar esta carrera de relevos con una mente única y unificada. Los investigadores están construyendo sistemas que pueden escuchar, comprender y hablar todo a la vez, sin necesidad de convertir tu voz en texto primero. Estos sistemas están diseñados para percibir el mundo a través de múltiples sentidos simultáneamente, procesando no solo tu voz, sino también imágenes, videos y sonidos ambientales para comprender el contexto completo de una situación. Una nueva encuesta de este campo que evoluciona rápidamente, publicada por investigadores de la Universidad de Macau y la Universidad de Minzu de China, traza cómo llegamos aquí y hacia dónde vamos. Los autores, Sisi Zhu, Yue Zhao y sus colegas, han recopilado las investigaciones más recientes para mostrar cómo la interacción de voz se está desplazando de un proceso rígido y paso a paso hacia una conversación fluida y continua que se siente más como hablar con una persona que como operar una máquina.

El artículo traza la historia de esta tecnología a través de cuatro etapas distintas. Comenzó con los sistemas "en cascada" tradicionales mencionados anteriormente, donde los tres módulos separados pasaban la información por la línea. Los investigadores explican que, si bien este enfoque era fácil de construir, sufría un fallo fundamental: cada vez que el sistema convertía la voz en texto, perdía parte de la riqueza del sonido original. Si el primer corredor de la carrera de relevos cometía un error, dicho error se transmitía hasta el final. La siguiente etapa introdujo los "Modelos de Lenguaje Grande de Voz" (Speech Large Language Models), que comenzaron a integrar la voz directamente en el cerebro de la computadora, permitiéndole comprender el habla sin tener que convertirla siempre en texto primero. Este fue un salto significativo, preservando más la emoción y el estilo del hablante.

El campo se movió entonces hacia los "Modelos de Lenguaje Grande Multimodales", que añadieron la capacidad de ver y comprender imágenes y videos junto con el habla. Sin embargo, incluso estos sistemas a menudo trataban diferentes tipos de información por separado, luchando por combinarlos de manera fluida. La última y más avanzada etapa descrita en la encuesta es el "Agente Omni-Modal". Estos son los sistemas que más entusiasman a los investigadores. Están diseñados para percibir texto, imágenes, video, voz y sonidos ambientales todos a la vez, dentro de un único marco de trabajo. En lugar de procesar una cosa a la vez, un agente Omni-Modal puede escucharte mientras observa un video que le estás mostrando, comprendiendo cómo el sonido de tu voz coincide con la escena en la pantalla. La encuesta destaca que estos sistemas están comenzando a soportar la interacción de "full-duplex", un término técnico para la capacidad de hablar y escuchar al mismo tiempo, tal como lo hacen los humanos. Esto significa que la computadora puede dejar de decir lo que está diciendo si la interrumpes, o puede escucharte mientras todavía está formulando su respuesta, creando un flujo de conversación mucho más natural.

Los investigadores no solo describieron estas tecnologías; analizaron cómo se construyen y entrenan. Encontraron que la creación de estos sistemas avanzados requiere cantidades masivas de datos que mezclan diferentes tipos de información. El proceso de entrenamiento es complejo, comenzando con la enseñanza al modelo para que comprenda un tipo de dato, como el texto, y luego introduciendo gradualmente imágenes, audio y video. El objetivo es enseñar al modelo las conexiones entre ellos, como por ejemplo cómo un sonido específico se relaciona con un evento visual. La encuesta señala que, aunque estos modelos se están voliendo increíblemente capaces, todavía enfrentan obstáculos significativos. Un desafío importante es el tiempo. En una conversación real, todo sucede en una fracción de segundo. Los investigadores señalan que alinear el tiempo de una palabra hablada con una acción visual en un video es difícil, y lograr que el sistema responda instantáneamente sin un retraso perceptible sigue siendo un trabajo en progreso.

Otro hallazgo crítico en el artículo se refiere a la confiabilidad y seguridad de estos nuevos agentes. Debido a que estos sistemas son tan poderosos, a veces pueden "alucinar", o inventar hechos, especialmente cuando intentan combinar información de diferentes fuentes. Por ejemplo, si un modelo ve la foto de un perro y escucha un sonido que podría ser de un gato, podría describir con confianza un gato en la foto aunque no esté allí. Los autores enfatizan que construir la confianza en estos sistemas es una prioridad absoluta. Argumentan que los modelos futuros necesitan mejores formas de verificar que sus respuestas están fundamentadas en la evidencia real que ven y oyen, en lugar de simplemente adivinar basándose en patrones que han aprendido. La encuesta también aborda el tema de la privacidad, señalando que debido a que estos sistemas están escuchando y observando constantemente, recolectan una gran cantidad de datos personales sensibles, lo que plantea importantes preguntas sobre la seguridad y el control del usuario.

Mirando hacia el futuro, los investigadores sugieren que el siguiente gran paso no es solo hacer que estos sistemas sean más inteligentes, sino hacerlos más humanos en su comportamiento. Imaginan un futuro donde la interacción de voz no sea solo sobre dar comandos, sino sobre tener un diálogo genuino y continuo donde la computadora comprenda tu estado de ánimo, recuerde tus conversaciones pasadas y pueda ayudarte con tareas complejas en el mundo real. La encuesta concluye que, si bien nos estamos alejando del viejo y tosco estilo de carrera de relevos para hablar con las máquinas, el viaje está lejos de terminar. La tecnología está evolucionando rápidamente, pero para lograr verdaderamente una interacción natural, confiable y segura, los investigadores aún necesitan resolver problemas relacionados con la velocidad, la precisión y el uso ético de los datos personales. El camino a seguir implica construir sistemas que no solo sean poderosos, sino también confiables, asegurando que, a medida que las máquinas se vuelven mejores para entendernos, sigan siendo compañeros útiles y seguros en nuestras vidas diarias.

Resumen Técnico: De Sistemas de Voz en Cascada a Agentes Omni-modales

Declaración del Problema

Los sistemas de interacción de voz convencionales dependen predominantemente de una arquitectura en cascada que comprende módulos de Reconocimiento Automático del Habla (ASR), Modelos de Lenguaje Extensos (LLM) y Conversión de Texto a Voz (TTS) (el flujo de trabajo ASR-LLM-TTS). Si bien este enfoque modular ofrece claridad de ingeniería, el artículo identifica tres limitaciones críticas:

Propagación de Errores: El procesamiento secuencial a través de módulos independientes conduce a la acumulación y propagación de errores de reconocimiento.
Pérdida de Información: El uso de texto como representación intermedia comprime y descarta rica información paralingüística, como la entonación, la prosodia, las pausas, las emociones y los estilos de habla, que son cruciales para una interacción humano-computadora (HCI) natural.
Latencia: El procesamiento en múltiples etapas introduce una latencia de respuesta significativa de extremo a extremo, lo que dificulta las capacidades de diálogo en tiempo real, interrumpibles y de dúplex completo.

Además, las encuestas existentes suelen tratar a los Modelos de Lenguaje Extensos de Voz (SpeechLLMs), los Modelos de Lenguaje Extensos Multimodales (MLLMs) y los Modelos de Lenguaje Extensos Omni-modales (Omni-MLLMs) como silos de investigación separados. Con frecuencia carecen de un análisis unificado de las capacidades a nivel de interacción (por ejemplo, generación por flujo continuo, diálogo de dúplex completo) y no logran integrar la evaluación de la capacidad del modelo con el rendimiento del sistema y la calidad de la interacción del usuario en un marco cohesivo.

Metodología

Este artículo presenta una encuesta exhaustiva y una revisión sistemática de la literatura realizada entre enero de 2023 y junio de 2026. La metodología implica:

Fuentes de Datos: Una búsqueda sistemática de literatura en chino e inglés en los principales repositorios, incluyendo arXiv, Google Scholar, IEEE Xplore, ACM Digital Library, ACL Anthology y Web of Science, complementada con informes técnicos oficiales.
Marco Analítico: Los autores construyen un marco de evolución tecnológica centrado en la interacción de voz, trazando la trayectoria desde los sistemas en cascada hasta los agentes omni-modales unificados.
Taxonomía y Síntesis: La revisión sintetiza arquitecturas de modelos representativas, paradigmas de entrenamiento, métodos de construcción/gobernanza de datos y métricas de evaluación. Categoriza los benchmarks en comprensión unimodal y comprensión/generación cross-modal.
Definición del Alcance: La encuesta distingue explícitamente entre modelos fundacionales unificados y sistemas a nivel de producto que simplemente encadenan múltiples modelos especializados, enfocándose en los primeros para analizar la verdadera unificación arquitectónica.

Contribuciones Clave

El artículo realiza cuatro contribuciones primarias al campo de la próxima generación de HCI:

Marco de Evolución Tecnológica: Construye un marco unificado que clarifica las relaciones y distinciones entre los sistemas en cascada ASR-LLM-TTS, los SpeechLLMs, los MLLMs y los Omni-MLLMs. Define cuatro etapas evolutivas:
- Etapa de Cascada: Modular, mediada por texto, alta latencia.
- Etapa de SpeechLLM: Modelado de voz-texto unificado, reducción de la pérdida paralingüística.
- Etapa de MLLM: Alineación cross-modal (audio-visual-texto), transición hacia agentes unificados.
- Etapa de Omni-MLLM: Percepción, razonamiento y generación unificados en texto, imágenes, videos, voz y sonidos ambientales con bucles de interacción en tiempo real.
Síntesis Arquitectónica y de Entrenamiento: El artículo detalla la arquitectura general de los modelos de interacción de voz omni-modales, identificando cinco componentes principales:
- Capa de Entrada Multimodal: Manejo de flujos heterogéneos (texto, voz, video, sonido ambiental).
- Codificador/Tokenizador Multimodal: Conversión de características continuas/discretas en tokens procesables por el LLM (por ejemplo, usando codecs neuronales, cuantización vectorial).
- Conexión/Alineación Cross-modal: Puente entre características no textuales y el espacio semántico del LLM (por ejemplo, vía proyectores, Q-Former, TMRoPE).
- Backbone del LLM: Actúa como el núcleo cognitivo para el razonamiento y la planificación.
- Decodificadores/Generadores de Salida: Generación de texto, voz natural y potencialmente imágenes/video con sincronización de flujo continuo.
  También describe un flujo de entrenamiento progresivo: Alineación X-Texto $\rightarrow$ Expansión Multimodal Progresiva $\rightarrow$ Preentrenamiento Conjunto Omni-modal $\rightarrow$ SFT Multimodal $\rightarrow$ Mejora de Interacción/Alineación de Preferencias.
Perspectiva de Evaluación Integrada: La encuesta establece una perspectiva de evaluación holística que cubre capacidades del modelo, rendimiento del sistema y calidad de la interacción. Organiza métricas para habilidades básicas de modalidad, razonamiento cross-modal, calidad de generación (MOS, inteligibilidad), interacción en tiempo real (latencia, capacidad de dúplex completo), robustez y seguridad. Categoriza los benchmarks existentes (por ejemplo, OmniBench, VoiceBench, AudioBench) y destaca las brechas en la evaluación de la entrada de voz continua, la interrupción semántica y el diálogo de dúplex completo.
Análisis de Desafíos y Direcciones: El artículo identifica cuellos de botella críticos y direcciones de investigación futura, incluyendo:
- Técnicos: Alineación temporal cross-modal, modelado de contexto largo y la inferencia de flujo continuo eficiente.
- Interacción: Lograr un diálogo de dúplex completo estable, manejar el habla superpuesta y la interrupción semántica.
- Confianza y Seguridad: Suprimir las alucinaciones cross-modales, asegurar la privacidad y prevenir los deepfakes de voz.
- Despliegue: Equilibrar el costo computacional con el rendimiento en tiempo real para el despliegue en dispositivos y en el borde (edge).

Resultados y Hallazgos

La encuesta revela que el campo está transitando de sistemas modulares basados en turnos hacia agentes omni-modales unificados, continuos e interruptibles.

Capacidades del Modelo: Modelos recientes (por ejemplo, Qwen2.5-Omni, MiniCPM-o 4.5) han logrado la percepción unificada de texto, imágenes, audio y video. Algunos han comenzado a soportar la generación por flujo continuo y la interacción de dúplex completo, yendo más allá de la simple toma de turnos.
Limitaciones: A pesar del progreso, la mayoría de los modelos aún luchan con el modelado profundo unificado a través de tres o más modalidades simultáneamente, el uso de herramientas de múltiples turnos estable y la interacción de dúplex completo nativa sin coordinación de sistemas externos.
Gobernanza de Datos: El entrenamiento omni-modal efectivo requiere la fusión de datos heterogéneos a gran escala con proporciones de modalidad equilibradas y un ajuste de instrucciones de alta calidad para escenarios de interacción.
Brechas de Evaluación: Los benchmarks actuales son insuficientes para evaluar escenarios dinámicos del mundo real, como el diálogo de múltiples hablantes, la robustez de secuencias largas y los comportamientos proactivos de los agentes.

Significado

El artículo se posiciona como un marco de referencia unificado para la investigación, el diseño, la evaluación y la aplicación de los sistemas de la próxima generación de HCI. Su importancia radica en:

Unificación de Silos: Al integrar los sistemas en cascada, los SpeechLLMs, los MLLMs y los Omni-MLLMs en una sola narrativa evolutiva, proporciona una visión coherente de la trayectoria del campo.
Enfoque Centrado en la Interacción: A diferencia de otras encuestas anteriores centradas principalmente en la arquitectura del modelo o el rendimiento de las tareas, este trabajo enfatiza las capacidades a nivel de interacción (flujo continuo, dúplex completo, capacidad de interrupción) esenciales para una conversación humana natural.
Evaluación Holística: Aboga por un cambio de la precisión de tarea única hacia sistemas de evaluación integrales que consideren la robustez en el mundo real, la seguridad y la experiencia del usuario.
Hoja de Ruta para el Desarrollo: Al identificar desafíos específicos en la sincronización temporal, el modelado paralingüístico y el despliegue ético, el artículo guía la investigación futura hacia la creación de sistemas de interacción de voz que no solo sean técnicamente capaces, sino también confiables, eficientes y centrados en el ser humano.

Los autores concluyen que el progreso futuro en la interacción de voz depende de datos cross-modales de alta calidad, mecanismos de sincronización temporal robustos, arquitecturas de generación de baja latencia y sistemas de evaluación confiables diseñados para escenarios de aplicación práctica.