Resumo Técnico: Controle Latente de Múltiplas Cabeças

Declaração do Problema

Embora os Grandes Modelos de Linguagem (LLMs) e Modelos de Linguagem-Visão (VLMs) estejam sendo cada vez mais implantados como agentes autônomos, o comportamento agêntico confiável exige mais do que a simples previsão do próximo token. Em cenários complexos, de longo horizonte ou aumentados por ferramentas, um agente deve tomar decisões críticas de implementação: se deve continuar com seu raciocínio atual, delegar para um modelo mais forte, solicitar informações adicionais, invocar ferramentas externas ou abster-se caso a tarefa seja inviável.

Abordagens existentes para essas decisões dependem de sinais do lado da entrada (ex: roteamento baseado na categoria da tarefa no nível do prompt) ou de orquestração externa (ex: frameworks de colaboração multi-agente). Esses métodos frequentemente falham em avaliar a adequação do modelo ao nível da instância, levando ao uso ineficiente de recursos (ex: invocar modelos grandes para tarefas simples) ou a falhas subsequentes cumulativas devido a estratégias excessivamente conservadoras ou agressivas. Além disso, à medida que os modelos de fundação evoluem rapidamente, o ajuste fino (fine-tuning) de novos backbones para esses papéis torna-se custoso e insustentável. O artigo postula que as decisões de controle devem, em vez disso, ser inferidas diretamente do processo de geração latente do modelo, permitindo uma interface de controle pós-hoc leve que não requer a modificação do backbone.

Metodologia: Controle Latente de Múltiplas Cabeças

Os autores propõem o Controle Latente de Múltiplas Cabeças, uma interface unificada composta por duas cabeças neurais leves acopladas a um LLM ou VLM congelado. Essas cabeças leem trajetórias de estados ocultos do próprio processo de geração do modelo para produzir sinais de controle acionáveis sem realizar o ajuste fino do backbone.

1. Arquitetura e Entradas

• Backbone Congelado: O modelo primário ($m_1$) permanece congelado. O sistema possui acesso opcional a um modelo de fallback mais forte ($m_2$).
• Traços Latentes: As cabeças operam sobre estados ocultos ($H$) alinhados com os tokens gerados, excluindo o prompt.
  • Cabeça de Capacidade (Capability Head): Lê o traço da camada final ($H^{(L)}$) para avaliar a adequação do modelo.
  • Cabeça de Resolução (Resolution Head): Lê um traço selecionado de uma camada intermediária ($H^{(\ell_{res})}$) para determinar estratégias de intervenção.
• Compressão: Traços de comprimento variável são comprimidos em representações de orçamento fixo ($\tilde{H}$) antes da decodificação.

2. As Duas Cabeças de Controle

• Cabeça de Capacidade: Prediz um score escalar $p_{cap} \in [0, 1]$ indicando se o modelo atual é suficiente para a instância.
  • Lógica de Decisão: Se $p_{cap} < \tau_{cap}$ (padrão 0.8), o controle é passado para o modelo mais forte $m_2$. Caso contrário, a instância permanece com $m_1$.
  • Treinamento: Supervisionado por um score de adequação escalar gerado por um juiz baseado em LLM, comparando a saída do modelo com uma resposta de referência. A mistura de treinamento é deliberadamente heterogênea (QA multimodal, raciocínio, grounding, etc.) para aprender um sinal amplamente transferível.
• Cabeça de Resolução: Prediz um vetor de scores $s_{res} \in [0, 1]^3$ que governa as intervenções caso a instância permaneça com $m_1$.
  • Espaço de Ação: $\{ \text{info (solicitar informação)}, \text{tool (invocar ferramenta)}, \text{cant (abster-se)} \}$. A resposta direta é o padrão implícito (vetor todo zero).
  • Lógica de Decisão: Se $\max(s_{res}) > \tau_{res}$ (padrão 0.5), o sistema executa a ação com o maior score.
  • Treinamento: Supervisionado utilizando o dataset WHEN2CALL, onde os rótulos são derivados da ação necessária real, e não do comportamento superficial do modelo. Isso permite que a cabeça aprenda a decisão correta mesmo quando a saída explícita do modelo está incorreta.

3. Política de Inferência

O sistema opera como um roteador dinâmico:

1. A Cabeça de Capacidade avalia a geração. Se inadequada, o sistema escala para $m_2$.
2. Se adequada, a Cabeça de Resolução avalia a necessidade de intervenção (esclarecimento, uso de ferramenta ou abstenção).
3. Se nenhum sinal de intervenção for forte o suficiente, o modelo prossegue diretamente para a resposta.

Principais Contribuições

1. Camada de Autoconsciência Pós-Hoc: O artigo formula a tomada de decisão em tempo de implantação como um problema de controle de estado latente, introduzindo um mecanismo de dois níveis (Capacidade e Resolução) que permite o controle unificado para seleção de modelo e intervenção sem modificar o backbone.
2. Cabeça de Capacidade para Adequação do Modelo: Uma cabeça leve que prediz a adequação ao nível da instância, permitindo decisões confiáveis sobre manter o controle ou escalar para um modelo mais forte.
3. Cabeça de Resolução para Intervenção: Uma cabeça que determina a intervenção apropriada dentro do modelo (informação, ferramenta, abstenção) condicionada à retenção do controle, melhorando a qualidade das decisões de "quando chamar".
4. Adaptação Mínima: O método alcança ganhos significativos de qualidade-custo com overhead de treinamento mínimo (as cabeças treinam em menos de um dia em uma única GPU) e é aplicável a diversas famílias de modelos (Qwen, Gemma).

Resultados Experimentais

O método foi avaliado em múltiplos benchmarks, famílias de modelos (Qwen3-VL, Qwen3.5, Gemma) e cenários de implantação.

1. Colaboração Eficiente entre Múltiplos Modelos (Roteamento)

Na execução roteada (Modelo Pequeno $\to$ Modelo Grande), o sistema reduz significativamente a dependência de modelos grandes caros enquanto retém o desempenho.

• AndroidWorld: A execução roteada reduziu o uso do modelo grande em 90.7% (Qwen3-VL-4B $\to$ 32B) e 85.8% (Qwen3.5-9B $\to$ 27B), enquanto melhorou as taxas de sucesso (ex: de 0.47 para 0.60).
• Benchmarks Gerais: Em SimpleVQA, MathVerse, MMLU-Pro e outros, o método alcançou reduções de custo médias de 27–53% preservando a maior parte do desempenho do modelo grande.

2. Qualidade de Decisão de Resolução (WHEN2CALL)

A Cabeça de Resolução melhorou as decisões de intervenção estruturada em comparação ao comportamento nativo do backbone.

• Ganhos de Desempenho: No Qwen-VL-2B, o F1 melhorou de 37.3 para 49.0 (+11.7 pontos) e a acurácia de 52.7 para 65.1 (+12.4 pontos).
• Generalização: As melhorias foram consistentes em diferentes backbones, demonstrando que os estados ocultos contêm informações recuperáveis para a intervenção correta, mesmo quando as saídas superficiais estão erradas.

3. Qualidade de Decisão de Uso de Ferramentas (TriviaQA)

O uso da Cabeça de Capacidade para decidir sobre a escalação para busca na web resultou em melhorias significativas na precisão do uso de ferramentas e nos scores da tarefa.

• TriviaQA: No Qwen3-VL-4B, adicionar a cabeça de controle resultou em um ganho de score relativo de +158.9% e reduziu chamadas de ferramentas necessárias perdidas em 65.5%.
• Precisão: A precisão da chamada de ferramenta melhorou de 72.7% para 75.5% no backbone Qwen3-VL-32B.

4. Predição em Tempo de Prefixo

O artigo investigou se os sinais de adequação poderiam ser detectados precocemente (a partir de gerações parciais). Embora os sinais de trajetória completa sejam mais fortes, o treinamento da cabeça especificamente em prefixos (Prefix-200) recuperou uma qualidade de sinal substancial, permitindo decisões de handoff antecipadas que reduzem ainda mais os custos.

Significância e Alegações

O artigo afirma que o Controle de Múltiplas Cabeças Latentes fornece um substrato escalável e leve para equipar modelos de fundação congelados com autoconsciência prática.

• Ortogonal à Otimização de Decodificação: Ao contrário da decodificação especulativa (que acelera a inferência uma vez invocada), este método reduz a frequência com que modelos grandes são invocados.
• Interface Unificada: Oferece uma única camada de controle para diversas decisões (transferência, esclarecimento, uso de ferramenta, abstenção) em vez de mecanismos separados para roteamento ou uso de ferramentas.
• Adaptabilidade Rápida: Como as cabeças são treinadas apenas em traços latentes e não modificam o backbone, elas podem ser rapidamente acopladas a novos modelos de fundação conforme são lançados, resolvendo o gargalo de manutenção dos métodos de orquestração atuais.
• Autoconsciência Intrínseca: Os resultados sugerem que as trajetórias de estados ocultos codificam inerentemente informações sobre a capacidade do modelo e as intervenções necessárias, que podem ser decodificadas por cabeças leves para melhorar o comportamento agêntico sem o retreinamento do núcleo do modelo.