Resumen Técnico: Latent-IM para Speech LLMs

Declaración del Problema

Los sistemas clásicos de diálogo hablado tradicionalmente separaban la gestión del diálogo (estimación de estado y selección de política) de la realización de la respuesta (generación). En este paradigma, un gestor de diálogo mantenía un estado de creencia y seleccionaba una acción, que luego era realizada por un componente separado. Sin embargo, a medida que los sistemas se desplazan hacia los Modelos de Lenguaje Grandes (LLMs), esta descomposición ha desaparecido en gran medida dentro de las representaciones ocultas del modelo. Los LLMs modernos generan respuestas de extremo a extremo sin módulos de estado explícitos o políticas de acción.

La cuestión central abordada por este trabajo es si un análogo interno de la estimación de estado y el control de acción puede recuperarse de las representaciones ocultas de un speech LLM congelado para gobernar el comportamiento conversacional. Específicamente, los autores investigan si el modelo puede ser guiado para realizar "movimientos" conversacionales específicos (por ejemplo, reconocer, verificar, consultar, explicar, responder) y controlar la toma de turnos (cuándo ceder la palabra) sin realizar un ajuste fino (fine-tuning) del backbone o utilizar políticas simbólicas.

Metodología: Latent-IM

Los autores introducen Latent-IM, un marco que recupera la gestión de la interacción (IM) a partir de las activaciones del flujo residual de un speech LLM congelado. El marco descompone el control de movimientos en dos problemas acoplados: Selección y Realización.

1. Selección: Predicción del Siguiente Movimiento

Un controlador recurrente ligero actúa como un "sidecar" al backbone congelado.

• Entrada: El controlador lee las activaciones del flujo residual promediadas (mean-pooled) del backbone en una capa específica ($\ell^*_{ctrl}$) para cada turno de diálogo.
• Arquitectura: Utiliza un Modelo de Espacio de Estados (SSM) selectivo para mantener un estado de transmisión persistente a través de los turnos, actualizando su estado interno $z_t$ basado en la representación del contexto actual $x_t$.
• Salida: Una cabeza lineal predice el siguiente movimiento conversacional ($\hat{y}_t$) a partir de una taxonomía de cinco movimientos generales del dominio: reconocer (acknowledge), verificar (check), explicar (explain), consultar (query), responder (reply). Una cabeza auxiliar también realiza la regresión de la longitud de la respuesta en logaritmo.
• Entrenamiento: El controlador se entrena utilizando la entropía cruzada del siguiente movimiento y la pérdida smooth-L1 en el conjunto de entrenamiento, mientras que el backbone permanece congelado.

2. Realización: Expresión de Movimiento Causal

Una vez seleccionado un movimiento, el marco utiliza direccionamiento de activación (activation steering) para realizar causalmente dicho movimiento durante la generación.

• Estimación de Dirección: Para cada tipo de movimiento, los autores estiman un vector de "dirección de movimiento" ($v_m$) en el flujo residual. Este se deriva de la diferencia en las activaciones entre el inicio de una respuesta y el token de contexto precedente. La dirección se calcula utilizando un enfoque de discriminante de Fisher (PCA seguido de contracción de Ledoit-Wolf) sobre los datos de entrenamiento (MapTask) para maximizar la separabilidad de las clases.
• Mecanismo de Direccionamiento: Durante la inferencia, la dirección del movimiento seleccionado se inyecta en el flujo residual en una capa específica ($\ell^*_m$) para cada token generado:
  $$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$$
  donde $\alpha$ es un coeficiente de direccionamiento adimensional y $c$ es un factor de normalización basado en la mediana de la norma residual.
• Control de Límite de Turno: Se deriva una dirección de "límite de turno" separada ($v_{EOT}$) para controlar la longitud de la respuesta y cuándo el modelo cede la palabra. Los coeficientes de direccionamiento positivos fomentan la terminación, mientras que los negativos prolongan la respuesta.
• Puerta de Conciencia de la Realización (Realization-Aware Gating): El sistema emplea una regla de puerta que retiene el direccionamiento para movimientos donde el backbone actúa naturalmente bien (por ejemplo, responder) o donde el direccionamiento podría degradar el rendimiento (por ejemplo, acortar movimientos con mucho contenido como explicar).

Contribuciones Clave

1. Marco Latent-IM: Un sistema de gestión de diálogo de extremo a extremo que opera sin etiquetas de movimiento de oro (gold labels) ni actualizaciones del backbone. Combina la selección basada en activación y la realización, superando a otros baselines de control y igualando el rendimiento de SFT en precisión de extremo a extremo.
2. Controlador de Transmisión Ligero: Demuestra que un controlador ligero puede recuperar el estado conversacional de las activaciones de un LLM congelado, superando a los selectores basados en transcripciones a través de tres conjuntos de datos orientados a tareas (MapTask, FindTask, CReST).
3. Direcciones de Movimiento Reutilizables: Deriva direcciones de activación que realizan causalmente acciones conversacionales. Estas direcciones, aprendidas de MapTask, se transfieren sin re-estimación a FindTask y CReST, superando a los baselines de prompting, selección de candidatos y control en tiempo de decodificación.
4. Subespacio de Límite de Turno: Identifica una dirección distinta que controla causalmente la longitud de la respuesta, permitiendo una variación monótona de la longitud media de la respuesta (de 71.3 a 10.4 palabras) e integrándose con el gating consciente de la realización para regular la toma de turnos.

Resultados

El marco fue evaluado en tres modelos de lenguaje multimodales (Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal) a través de tres conjuntos de datos.

• Precisión de Selección: El controlador de activación de transmisión logró una precisión promedio de selección del siguiente movimiento de 0.60, superando a los selectores basados en transcripciones (por ejemplo, TF-IDF + logística con 0.48) y a los clasificadores de pocos disparos (few-shot) de LLM. Se acercó al rendimiento de un baseline de Markov usando la historia de oro (0.65) en el conjunto de datos MapTask.
• Realización Oráculo: Cuando se le proporciona el movimiento objetivo de oro, Latent-IM mejoró la precisión de la realización del movimiento en 10.4 puntos porcentuales sobre el baseline más fuerte (DeAL), logrando una precisión media del 60.0%.
• Control de Extremo a Extremo: En el entorno totalmente autónomo (sin etiquetas de oro en la inferencia), Latent-IM logró una precisión promedio de movimiento de extremo a extremo del 46.9%, superando ligeramente al SFT (46.6%) y superando significativamente al backbone sin direccionamiento (34.4%) y a los baselines de prompting.
• Control de Longitud: El direccionamiento a lo largo de la dirección de límite de turno permitió un control graduado sobre la longitud de la respuesta, reduciendo la longitud media de 71.3 palabras a 10.4 palabras manteniendo la fluidez.

Significado y Reivindicaciones

El artículo afirma que las activaciones de los speech LLM congelados sirven como una interfaz observable y causalmente controlable para la gestión de la interacción local. Al separar la selección de un movimiento conversacional de su realización, Latent-IM recupera una descomposición clásica de estado-acción dentro de los LLMs modernos sin requerir actualizaciones de parámetros.

Los autores enfatizan que su enfoque proporciona un pipeline de inferencia modular y sin etiquetas que puede igualar el rendimiento del ajuste fino supervisado directo. Señalan que, aunque el controlador actualmente imita las elecciones de movimiento humanas, el marco está diseñado para soportar futuras políticas condicionadas por objetivos que seleccionen movimientos basados en la utilidad de la tarea prevista en lugar de la probabilidad de imitación. El trabajo sugiere que el "estado" de un diálogo está disponible linealmente en el flujo residual y puede leerse de manera más fiable de lo que puede ser solicitado mediante prompts, ofreciendo una nueva vía para controlar el comportamiento de los LLMs en sistemas de diálogo hablado.