Resumo Técnico: Latent-IM para Speech LLMs

Declaração do Problema

Os sistemas clássicos de diálogo falado tradicionalmente separavam o gerenciamento de diálogo (estimativa de estado e seleção de política) da realização da resposta (geração). Nesse paradigma, um gerenciador de diálogo mantinha um estado de crença e selecionava uma ação, que era então realizada por um componente separado. No entanto, à medida que os sistemas migram para Grandes Modelos de Linguagem (LLMs), essa decomposição desapareceu em grande parte nas representações ocultas do modelo. Os LLMs modernos geram respostas de ponta a ponta sem módulos de estado explícitos ou políticas de ação.

A questão central abordada por este trabalho é se um análogo interno de estimativa de estado e controle de ação pode ser recuperado das representações ocultas de um speech LLM congelado para governar o comportamento conversacional. Especificamente, os autores investigam se o modelo pode ser guiado para realizar "movimentos" conversacionais específicos (ex: reconhecer, verificar, questionar, explicar, responder) e controlar o turno de fala (quando ceder a vez) sem realizar o ajuste fino (fine-tuning) do backbone ou utilizar políticas simbólicas.

Metodologia: Latent-IM

Os autores introduzem o Latent-IM, um framework que recupera o gerenciamento de interação (IM) a partir das ativações do fluxo residual (residual-stream) de um speech LLM congelado. O framework decompõe o controle de movimento em dois problemas acoplados: Seleção e Realização.

1. Seleção: Prevendo o Próximo Movimento

Um controlador recorrente leve atua como um "sidecar" ao backbone congelado.

• Entrada: O controlador lê as ativações de média agrupada (mean-pooled) do fluxo residual do backbone em uma camada específica ($\ell^*_{ctrl}$) para cada turno de diálogo.
• Arquitetura: Utiliza um Modelo de Espaço de Estados (SSM) seletivo para manter um estado de streaming persistente através dos turnos, atualizando seu estado interno $z_t$ com base na representação do contexto atual $x_t$.
• Saída: Uma cabeça linear prevê o próximo movimento conversacional ($\hat{y}_t$) a partir de uma taxonomia de cinco movimentos de domínio geral: reconhecer (acknowledge), verificar (check), explicar (explain), questionar (query), responder (reply). Uma cabeça auxiliar simultaneamente regride o comprimento da resposta (log-length).
• Treinamento: O controlador é treinado usando entropia cruzada de próximo movimento e perda smooth-L1 no conjunto de treinamento, enquanto o backbone permanece congelado.

2. Realização: Expressão de Movimento Causal

Uma vez selecionado o movimento, o framework utiliza direcionamento de ativação (activation steering) para realizar causalmente esse movimento durante a geração.

• Estimativa de Direção: Para cada tipo de movimento, os autores estimam um vetor de "direção de movimento" ($v_m$) no fluxo residual. Este é derivado da diferença nas ativações entre o início de uma resposta e o token de contexto precedente. A direção é computada usando uma abordagem de discriminante de Fisher (PCA seguido de encolhimento de Ledoit-Wolf) nos dados de treinamento (MapTask) para maximizar a separabilidade das classes.
• Mecanismo de Direcionamento: Durante a inferência, a direção do movimento selecionada é injetada no fluxo residual em uma camada específica ($\ell^*_m$) para cada token gerado:
  $$h^{\ell^*_m}(s) \leftarrow h^{\ell^*_m}(s) + \alpha c^{\ell^*_m} v^{\ell^*_m}_m$$
  onde $\alpha$ é um coeficiente de direcionamento adimensional e $c$ é um fator de normalização baseado na mediana da norma residual.
• Controle de Limite de Turno: Uma "direção de limite de turno" ($v_{EOT}$) separada é derivada para controlar a duração da resposta e quando o modelo cede a vez. Coeficientes de direcionamento positivos incentivam a terminação, enquanto coeficientes negativos prolongam a resposta.
• Gating Consciente da Realização: O sistema emprega uma regra de gating que retém o direcionamento para movimentos onde o backbone naturalmente performa bem (ex: responder) ou onde o direcionamento pode degradar o desempenho (ex: encurtar movimentos densos em conteúdo como explicar).

Principais Contribuições

1. Framework Latent-IM: Um sistema de gerenciamento de diálogo de ponta a ponta que opera sem rótulos de movimento (gold labels) ou atualizações de backbone. Ele combina seleção baseada em ativação e realização, superando outros baselines de controle e igualando-se ao ajuste fino supervisionado (SFT) em precisão de ponta a ponta.
2. Controlador de Streaming Leve: Demonstra que um controlador leve pode recuperar o estado conversacional a partir de ativações de LLM congelados, superando seletores baseados em transcrição através de três conjuntos de dados orientados a tarefas (MapTask, FindTask, CReST).
3. Direções de Movimento Reutilizáveis: Deriva direções de ativação que realizam causalmente ações conversacionais. Essas direções, aprendidas no MapTask, transferem-se sem re-estimação para o FindTask e CReST, superando baselines de prompting, seleção de candidatos e controle em tempo de decodificação.
4. Subespaço de Limite de Turno: Identifica uma direção distinta que controla causalmente o comprimento da resposta, permitindo a variação monotônica do comprimento médio da resposta (de 71.3 para 10.4 palavras) e a integração com o gating consciente da realização para regular a alternância de turnos.

Resultados

O framework foi avaliado em três modelos de linguagem multimodais (Qwen2.5-Omni, Qwen3-Omni, Phi-4-Multimodal) em três datasets.

• Precisão de Seleção: O controlador de streaming por ativação alcançou uma precisão média de seleção do próximo movimento de 0.60, superando seletores baseados em transcrição (ex: TF-IDF + logística com 0.48) e classificadores de LLM de poucos disparos (few-shot). Aproximou-se do desempenho de um baseline de Markov usando histórico real (gold history) (0.65) no dataset MapTask.
• Realização Oracle: Quando fornecido com o movimento alvo real (gold target move), o Latent-IM melhorou a precisão da realização de movimento em 10.4 pontos percentuais sobre o baseline mais forte (DeAL), atingindo uma precisão média de 60.0%.
• Controle de Ponta a Ponta: No cenário totalmente autônomo (sem rótulos reais na inferência), o Latent-IM alcançou uma precisão média de movimento de ponta a ponta de 46.9%, ligeiramente superando o Ajuste Fino Supervisionado (SFT) em 46.6% e superando significativamente o backbone sem direcionamento (34.4%) e os baselines de prompting.
• Controle de Comprimento: O direcionamento ao longo da direção de limite de turno permitiu o controle graduado sobre o comprimento da resposta, reduzindo o comprimento médio de 71.3 palavras para 10.4 palavras, mantendo a fluência.

Significância e Alegações

O artigo afirma que as ativações de um speech LLM congelado servem como uma interface observável e causalmente controlável para o gerenciamento de interação local. Ao separar a seleção de um movimento conversacional de sua realização, o Latent-IM recupera uma decomposição clássica de estado-ação dentro de LLMs modernos sem exigir atualizações de parâmetros.

Os autores enfatizam que sua abordagem fornece um pipeline de inferência modular e livre de rótulos que pode igualar o desempenho do ajuste fino supervisionado direto. Eles observam que, embora o controlador atualmente imite escolhas de movimentos humanos, o framework é projetado para suportar futuras políticas condicionadas a objetivos que selecionam movimentos com base na utilidade da tarefa prevista, em vez de apenas na probabilidade de imitação. O trabalho sugere que o "estado" de um diálogo está linearmente disponível no fluxo residual e pode ser lido de forma mais confiável do que pode ser solicitado via prompt, oferecendo um novo caminho para controlar o comportamento de LLMs em sistemas de diálogo falado.