Resumen Técnico: Lychee-FD – Modelado Acústico-Semántico Jerárquico para SLMs de Full-Duplex

1. Planteamiento del Problema

El desarrollo de modelos de lenguaje hablado (SLM) nativos, inteligentes y de alto rendimiento en modo full-duplex (full-duplex) sigue siendo un desafío crítico. Aunque los modelos "omni-modales" recientes han avanzado en la interacción de voz, están fundamentalmente limitados por la interferencia de modalidades. Esta interferencia se manifiesta como una severa degradación del conocimiento y una integridad semántica comprometida, lo que hace que los SLM full-duplex se sientan antinaturales y poco inteligentes.

Los paradigmas existentes enfrentan un dilema (ilustrado en la Figura 1):

• Modelos nativos de extremo a extremo (End-to-End): Sacrifican la precisión en favor de la eficiencia, sufriendo una degradación significativa de la inteligencia del habla al adaptar bases half-duplex a tareas full-duplex (por ejemplo, Moshi reporta una caída del -12.7% en la inteligencia del habla).
• Arquitecturas Thinker-Talker: Preservan el conocimiento pero introducen costos de inferencia y latencia prohibitivos debido a procesos de entrenamiento de múltiples etapas e intrincados módulos de generación separados.

La pregunta central de investigación es: ¿Cómo se puede resolver la interferencia de modalidades para lograr simultáneamente una alta eficiencia de inferencia y una robusta retención de conocimiento en los SLM full-duplex?

2. Análisis de la Causa Raíz: Dinámica de Optimización

A través de un análisis exhaustivo y detallado de la dinámica de optimización del modelo, los autores identifican la causa raíz de la interferencia de modalidades como los conflictos de gradiente inherentes entre el modelado acústico y el semántico cuando se ven forzados a compartir un espacio de parámetros profundo.

Se cuantificaron dos fenómenos específicos:

1. Divergencia de Optimización: Al calcular la similitud de coseno del gradiente por capa entre los objetivos de texto y habla, los autores encontraron que, mientras las capas superficiales (0-9) exhiben una optimización sinérgica (similitud positiva), las capas más profundas se vuelven cada vez más ortogonales y negativas. Forzar a un conjunto de parámetros unificado a resolver estas direcciones de gradiente opuestas fractura la trayectoria de optimización.
2. Dilución Semántica: Los SLM full-duplex típicamente alinean tokens de texto dispersos (3Hz) con fotogramas de audio densos (25Hz) utilizando tokens de relleno (padding). Los autores observaron que esta configuración de "Alineación" (Aligned) suprime consistentemente la magnitud de los gradientes semánticos en comparación con la supervisión de texto "Densa" (Dense). En consecuencia, el paisaje de optimización queda dominado por la reconstrucción acústica, suprimiendo efectivamente el modelado semántico y provocando la degradación del conocimiento.

3. Metodología: Lychee-FD

Para mitigar estos problemas, los autores introducen Lychee-FD, un marco full-duplex nativo de extremo a extremo que presenta dos innovaciones arquitectónicas principales:

A. Separación Jerárquica de Parámetros

Abordando la divergencia de optimización en las capas profundas, Lychee-FD emplea una arquitectura Transformer jerárquica:

• Backbone Compartido: Las capas superficiales (0-9) permanecen como un backbone Transformer unificado para aprovechar el procesamiento compartido de características de bajo nivel.
• Cabezales Especializados: En las capas más profundas, los parámetros se desacoplan físicamente en tres cabezales independientes que operan en paralelo:
  • Cabezal Semántico: Dedicado a la generación de texto.
  • Cabezal Acústico: Dedicado a la síntesis de voz.
  • Cabezal de Control: Dedicado a la gestión de la interacción (por ejemplo, señales de inicio/parada).
    Esta separación permite al modelo articular respuestas acústicas de alta fidelidad sin corromper el modelado semántico subyacente, manteniendo al mismo tiempo la profundidad original del modelo para preservar la eficiencia de la inferencia.

B. Canal de Alineación Semántica

Para contrarrestar la dilución semántica causada por la alineación dispersa, Lychee-FD introduce un canal de alineación semántica dedicado.

• Durante el entrenamiento, el modelo genera monólogos internos coherentes (flujos de texto) junto con el flujo acústico.
• Estos monólogos sirven como un "ancla semántica", utilizando la supervisión textual continua para mantener un flujo de gradiente de alta magnitud para el objetivo de modelado de lenguaje.
• Esto asegura una robusta retención de conocimiento incluso cuando el flujo acústico es denso y el flujo de texto es disperso.

4. Resultados Experimentales

Experimentos extensos en múltiples evaluaciones demuestran que Lychee-FD avanza significativamente el estado del arte.

Respuesta de Preguntas Orales (Tabla 1)

• Lychee-FD logró la mayor precisión promedio tanto en entornos de Voz-a-Texto (S→T) como de Voz-a-Voz (S→S).
• Comparado con el modelo nativo full-duplex SOTA anterior (Fun-Audio-Chat), Lychee-FD mejoró la precisión de S→S en un 7.4% y la de S→T en un 8.8%.
• Superó a los sistemas de tubería (pipelines) en capacidades de razonamiento mientras mantenía una Tasa de Toma de Control (TOR) perfecta del 100%, indicando una interacción en tiempo real sin fisuras.
• Estudios de Ablación: Eliminar el canal de alineación semántica causó una caída de aproximadamente un 5.5% en la precisión (confirmando la dilución semántica). Eliminar la separación de parámetros causó una caída catastrófica en la precisión del habla al 27.6% (confirmando la interferencia de modalidad).

Chat Full-Duplex (Tabla 2)

• Lychee-FD alcanzó un rendimiento de estado del arte en 10 de 11 métricas de interacción en FDBench, FullDuplexBench 1.0 y 1.5.
• En FullDuplexBench 1.5, entregó una mejora promedio del 28.5% sobre las líneas base de sistemas integrados.
• Demostró una capacidad superior para gestionar interrupciones, retroalimentaciones (backchannels) y toma de turnos dinámica sin un habla agresiva e indiscriminada.
• Latencia: El modelo logró las latencias más bajas de primera respuesta e interrupción (por ejemplo, 570ms de latencia de parada en FullDuplexBench 1.5), demostrando que la separación jerárquica no introduce sobrecarga computacional.

Generación de Voz (Figura 4)

• Lychee-FD logró el puntaje UTMOS más alto (4.50), superando a su backbone half-duplex (StepAudio-2-mini) y a otros modelos nativos como Moshi.
• Esto indica que la separación jerárquica preserva detalles prosódicos finos que a menudo se pierden en arquitecturas compartidas.

5. Significado y Reivindicaciones

El artículo reivindica dos hitos clave:

1. Elucidación de la Causa Raíz: Es el primer trabajo que descubre y explica que la interferencia de modalidad en los SLM full-duplex proviene de conflictos de gradiente inherentes (divergencia y dilución) dentro de espacios de parámetros profundos compartidos. Este hallazgo es validado en diferentes arquitecturas (StepAudio y Moshi).
2. Solución Práctica: Presenta el primer marco full-duplex inteligente y totalmente nativo que reconcilia con éxito la compensación entre eficiencia e inteligencia. Al desacoplar las modalidades en conflicto mediante la separación jerárquica de parámetros y forzar la coherencia semántica, Lychee-FD permite una interacción full-duplex fluida y de alto rendimiento sin las penalizaciones de latencia de los modelos Thinker-Talker o la pérdida de conocimiento de los modelos estándar de extremo a extremo.

Los autores concluyen que este trabajo impulsa sustancialmente la frontera de la investigación en SLM full-duplex, allanando el camino para la próxima generación de interacción humano-máquina natural, fluida e inmersiva.