Resumo Técnico: Diagnosticando o Viés Inerente de Super-Ativação em Agentes de LLM

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) evoluíram para utilizar ferramentas externas (por exemplo, motores de busca, APIs), mas exibem um modo de falha sistemático conhecido como super-ativação: a tendência de invocar ferramentas mesmo quando a solicitação do usuário carece de informações necessárias ou quando uma resposta direta é suficiente.

A avaliação no benchmark When2Call revela uma assimetria consistente em seis modelos de três famílias (Qwen3.5, Gemma-3, Ministral-3). Embora esses modelos alcancem alta precisão quando uma chamada de ferramenta é necessária (Precisão de Chamada: 90%–99%), sua precisão cai significativamente quando a ação correta é não chamar uma ferramenta (Precisão de Não-Chamada: 2%–69%). Isso resulta em uma faixa de precisão geral de apenas 55%–70%. Esse viés degrada a experiência do usuário (por exemplo, alucinando chamadas de ferramentas para solicitações subespecificadas) e inflaciona os custos de API em sistemas implantados.

Metodologia

Os autores propõem uma investigação mecanicista do processo de tomada de decisão interna dos agentes de LLM, indo além da observação empírica para uma análise causal.

1. Hipótese de Viés Inerente (IBH)

O artigo postula que a super-ativação não é meramente uma função dos níveis de ativação, mas decorre de um deslocamento de CHAMADA independente de ativação no mapeamento de decisão.

• Hipótese: A decisão de chamar ou não chamar é determinada por uma margem de ativação assinada ($m$) entre as direções de características "CHAMADA" e "NÃO_CHAMADA". No entanto, o limite de decisão é deslocado de tal forma que, mesmo em paridade de ativação ($m=0$), o modelo favorece a chamada. O modelo torna-se neutro na decisão apenas quando a ativação de NÃO_CHAMADA supera significativamente a ativação de CHAMADA.
• Formalismo: A probabilidade de decisão é modelada como $P(\text{CHAMADA} | m) = \sigma(\beta m + \beta_0)$, onde $\beta_0 > 0$ representa o deslocamento de viés inerente.

2. Descoberta de Características via Autoencoders Esparsos (SAEs)

Para testar a IBH, os autores empregam Autoencoders Esparsos para decompor as ativações do fluxo residual em características interpretáveis.

• Treinamento: SAEs TopK são treinados nos fluxos residuais dos modelos-alvo usando um currículo de duas etapas: primeiro em um corpus amplo (OpenWebText2) para aprender a geometria geral e, segundo, no conjunto de dados When2Call para adaptar-se aos contextos de uso de ferramentas.
• Bases de Características: Dois conjuntos de características alinhados ao comportamento são recuperados:
  • $\mathcal{C}$: Características fortemente associadas às decisões de CHAMADA observadas.
  • $\mathcal{N}$: Características fortemente associadas às decisões de NÃO_CHAMADA observadas.
• Validação: Probes lineares treinados em um punhado dessas características (tipicamente $K \le 5$) preveem a decisão de gate com precisão aproximando-se do limite superior do fluxo residual bruto, confirmando que essas características capturam o sinal de gate essencial.

3. Diagnóstico e Quantificação

Usando as bases de características recuperadas, os autores analisam a geometria de ativação:

• Visão Condicionada à Resposta: As respostas de NÃO_CHAMADA concentram-se no semiplano dominado por NÃO_CHAMADA, enquanto as respostas de CHAMADA se estendem através da diagonal de paridade para regiões onde a evidência de NÃO_CHAMADA é comparável ou mais forte.
• Visão Condicionada à Entrada: Entre as respostas de CHAMADA emitidas, "chamadas falsas" (erros de super-ativação) estão mais próximas da diagonal de paridade do que "chamadas verdadeiras", indicando que o viés empurra casos fracos para além do limite de decisão.
• Estimativa de Deslocamento: A regressão logística na margem de ativação assinada confirma um limite neutro negativo ($m^* < 0$) para todos os modelos, quantificando o viés inerente $\beta_0$.

4. Intervenção Causal: Direcionamento Calibrado de Margem Adaptativa (AMCS)

Para validar a IBH causalmente, os autores introduzem o AMCS, um método de direcionamento de forma fechada.

• Mecanismo: O AMCS calcula um vetor de direcionamento ao longo das direções do decodificador SAE de $\mathcal{C}$ e $\mathcal{N}$. Ele aplica um deslocamento de contra-viés $\delta = -\beta_0 / \beta$ à margem de ativação.
• Implementação: O deslocamento é distribuído entre as características de maior ranking com base em suas lacunas de ativação. A intervenção é aplicada como uma única adição de vetor ao fluxo residual no momento da inferência, não exigindo chamadas adicionais ao modelo ou ajuste iterativo.

Principais Resultados

Experimentos foram conduzidos em seis modelos ajustados por instrução (Qwen3.5-4B/9B, Gemma-3-1B/4B, Ministral-3-3B/8B).

• Mitigação da Super-Ativação: Cancelar o deslocamento diagnosticado via AMCS melhora significativamente a Precisão de Não-Chamada em 4 a 17 pontos percentuais em cinco dos seis modelos.
• Preservação de Chamadas Válidas: O método mantém a Precisão de Chamada com uma queda negligenciável (dentro de 5 pontos) em cinco modelos, demonstrando que a intervenção corrige o viés sem suprimir o uso necessário de ferramentas.
• Precisão Geral: O AMCS melhora a precisão geral em até 5 pontos em vários modelos (por exemplo, +5,10% no Qwen3.5-9B).
• Comparação com Baselines:
  • Engenharia de Prompt: Embora eficaz em aumentar a precisão de Não-Chamada, reduz drasticamente a precisão de Chamada (por exemplo, -56% no Ministral-3-8B), levando a uma perda líquida no desempenho geral.
  • Direcionamento Unilateral: Métodos que apenas suprimem características de CHAMADA ou apenas promovem características de NÃO_CHAMADA falham em alcançar o equilíbrio que o AMCS proporciona, resultando em ganhos menores na precisão geral.
• Limitação do Gemma-3: Os modelos Gemma-3 mostraram pouca separação entre chamadas verdadeiras e falsas ao longo dos eixos SAE, resultando em alavancagem mínima para intervenções baseadas em margem. Estes foram tratados como casos de referência em vez de evidência primária.

Significado e Alegações

O artigo alega redefinir a super-ativação de um fenômeno empírico para um objeto mecanicista que pode ser medido, modelado e ajustado causalmente.

1. Insight Mecanicista: O trabalho demonstra que o gate de uso de ferramentas é governado por um viés inerente e independente de ativação, e não apenas pela força relativa das ativações de características.
2. Correção Causal: Ao identificar e cancelar o termo de deslocamento específico ($\beta_0$) via direcionamento baseado em SAE, os autores fornecem uma validação causal da Hipótese de Viés Inerente.
3. Controlabilidade: O deslocamento diagnosticado atua como um "botão" para o esforço de chamada. O AMCS serve como um primeiro passo em direção a uma interface de "esforço de chamada", permitindo que os sistemas ajustem o equilíbrio entre a invocação ágil de ferramentas e a verificação do usuário sem retreinar o modelo.
4. Escopo: O estudo foca na correção no momento da inferência para modelos implantados. Não rastreia as origens no momento do treinamento do viés, nem alega resolver problemas de planejamento de agentes de longo horizonte além da unidade de decisão específica de chamar-versus-verificar.

O código e os dados estão disponíveis em https://github.com/SKURA502/agent-sae/.