💻 computer science

Tunable Tool-Call Rates in LLM Agents via Representation Steering

Este artigo demonstra que as taxas de chamada de ferramentas em agentes de LLM podem ser controladas precisamente no momento da inferência sem retreinamento, aplicando uma única direção de direcionamento linear livre de treinamento extraída do fluxo residual do modelo, que ajusta monotonicamente a propensão de chamada para otimizar o equilíbrio entre precisão e custo através de diversas arquiteturas e tipos de ferramentas.

Autores originais: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Publicado 2026-08-27

📖 5 min de leitura🧠 Leitura aprofundada

CC BY 4.0

Autores originais: Yuqi Chen, Vincent Siu, Yang Liu, Dawn Song, Chenguang Wang

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Os modelos de linguagem de grande escala são motores poderosos de texto, capazes de responder perguntas, escrever histórias e resolver problemas. No entanto, esses sistemas operam com uma limitação fundamental: eles dependem inteiramente das informações armazenadas em sua memória interna. Quando uma pergunta exige fatos que são muito obscuros, recentes demais ou complexos demais para serem memorizados, o modelo frequentemente adivinha com uma confiança perigosa, produzindo respostas que parecem plausíveis, mas que são inteiramente erradas. Para corrigir isso, os desenvolvedores ensinaram esses modelos a usar ferramentas externas, como mecanismos de busca na web ou calculadoras, para pesquisar informações antes de responder. Contudo, ensinar um modelo sobre quando parar e recorrer a uma ferramenta é surpreendentemente difícil. Se o modelo chama uma ferramenta com muita frequência, ele desperdiça tempo e dinheiro, e corre o risco de acionar ações indesejadas. Se ele chama uma ferramenta com pouca frequência, perde a chance de encontrar a resposta correta e permanece confiantemente equivocado.

Pesquisadores buscam há muito tempo maneiras de tornar essas decisões mais confiáveis, geralmente retreinando o modelo com novos exemplos ou reescrevendo cuidadosamente as instruções fornecidas a ele. Esses métodos são caros e rígidos; uma vez que um modelo é treinado ou instruído de uma certa maneira, alterar seu comportamento exige recomeçar o processo. Um novo estudo de pesquisadores da UC Santa Cruz e da UC Berkeley sugere uma abordagem diferente. Eles descobriram que a decisão de usar uma ferramenta não é um processo complexo e oculto que requer retreinamento para ser alterado. Em vez disso, ela é controlada por um sinal único e simples dentro do funcionamento interno do modelo, que pode ser ajustado em tempo real, como girar um botão de controle, sem alterar o treinamento ou as instruções do modelo.

Os pesquisadores começaram observando como um modelo de linguagem se comporta quando lhe é apresentada uma lista de ferramentas disponíveis, como um mecanismo de busca, uma calculadora e um interpretador de código. Eles notaram que, antes de o modelo realmente falar ou escrever uma resposta, ele gera um sinal interno específico que indica se ele pretende usar qualquer ferramenta. Ao comparar o estado interno do modelo quando ele decide usar uma ferramenta versus quando decide responder de memória, a equipe identificou uma direção específica no espaço matemático do modelo que representa o "impulso" para chamar uma ferramenta. Essa direção não está ligada a uma ferramenta específica, como uma calculadora ou um mecanismo de busca; pelo contrário, é um sinal geral que simplesmente significa "use uma ferramenta".

Para testar essa descoberta, os pesquisadores não retreinaram o modelo nem alteraram seus comandos (prompts). Em vez disso, eles pegaram essa direção identificada e a adicionaram ao processamento interno do modelo durante a geração de uma resposta. Ao adicionar uma pequena quantidade desse sinal, eles puderam encorajar o modelo a usar ferramentas com mais frequência. Ao subtraí-lo, puderam suprimir o impulso de usar ferramentas inteiramente. Eles descobriram que esse ajuste funcionava com um rigor notável. À medida que aumentavam a força do sinal, a taxa de chamadas de ferramentas pelo modelo subia suavemente de quase zero para quase cem por cento. Crucialmente, o modelo não começou a chamar ferramentas aleatoriamente. Quando os pesquisadores estimularam o modelo a chamar ferramentas com mais frequência, ele visou especificamente as perguntas que não conseguia responder por conta própria, como fatos históricos obscuros ou cálculos complexos, enquanto ignorava perguntas que já sabia a resposta.

O estudo também revelou que esse mecanismo de controle é altamente adaptável. Os pesquisadores extraíram o sinal de "uso de ferramenta" de uma configuração contendo três ferramentas específicas e o aplicaram a um conjunto completamente diferente de ferramentas, incluindo previsões meteorológicas, consultas de mercado de ações e envio de e-mails. O mesmo sinal conseguiu induzir o modelo a usar essas novas ferramentas com a mesma eficácia como se tivesse sido treinado especificamente para elas. Além disso, este método funcionou em uma ampla variedade de diferentes arquiteturas de modelos, desde sistemas menores e padrão até sistemas massivos e complexos usados na indústria. Em todos os casos, o sinal único permitiu que os pesquisadores controlassem o comportamento de chamada de ferramentas para cima ou para baixo sem quebrar a capacidade do modelo de formar frases corretas ou selecionar a ferramenta apropriada uma vez que uma chamada fosse feita.

Quando os pesquisadores testaram este método em um ambiente real, onde o modelo poderia de fato realizar buscas na web, os resultados foram impressionantes. Em um conjunto de perguntas factuais difíceis, o modelo não ajustado respondeu corretamente apenas cerca de 29 por cento das vezes, muitas vezes adivinhando quando deveria ter pesquisado. Ao aplicar o sinal de controle para incentivar o uso de ferramentas, a precisão saltou para 56 por cento, quase dobrando o desempenho do modelo. Esse aumento veio com um custo gerenciável, pois o modelo realizou aproximadamente uma chamada de busca por pergunta. Os pesquisadores foram capazes de traçar um caminho claro entre o custo de usar ferramentas e a precisão das respostas, mostrando que os operadores poderiam escolher um equilíbrio específico que atendesse às suas necessidades.

Este trabalho desafia a suposição de que controlar o comportamento de uma IA requer retreinamento pesado ou engenharia de prompt complexa. Ele demonstra que um processo crítico de tomada de decisão — saber quando recorrer à ajuda externa — está codificado em uma direção simples e linear dentro do estado interno do modelo. Ao encontrar e ajustar essa direção, os pesquisadores podem tornar os agentes de IA mais confiáveis e eficientes sem alterar seu treinamento fundamental. O método oferece uma maneira leve de ajustar o custo e a precisão dos sistemas de IA, garantindo que eles usem suas ferramentas apenas quando necessário e evitem as armadilhas tanto da dependência excessiva quanto do erro por adivinhação perigosa. Embora a técnica não corrija erros na forma como uma ferramenta é executada, ela fornece uma nova e poderosa alavanca para gerenciar a escolha mais básica e dispendiosa que um agente de IA faz: se age por conta própria ou se busca ajuda.

Resumo Técnico: Taxas Ajustáveis de Chamada de Ferramentas em Agentes LLM via Direcionamento de Representação

Declaração do Problema

Agentes de Grandes Modelos de Linguagem (LLMs) enfrentam um compromisso crítico ao decidir se devem invocar ferramentas externas. Decisões incorretas são dispendiosas:

Subuso: Agentes falham em chamar ferramentas quando necessário, levando a respostas confiantes, porém incorretas, para questões que exigem conhecimento externo (ex: fatos de cauda longa).
Sobreuso: Agentes chamam ferramentas desnecessariamente (ex: para aritmética simples), incorrendo em latência, custos financeiros e potenciais efeitos colaterais irreversíveis (ex: enviar e-mails).

Estratégias de mitigação existentes, como ajuste fino (fine-tuning) ou engenharia de prompt, são computacionalmente caras e difíceis de modificar dinamicamente durante a inferência. Além disso, embora trabalhos anteriores tenham mostrado que qual ferramenta selecionar pode ser representado linearmente, permanece incerto se a decisão binária de se deve chamar uma ferramenta ao todo possui uma representação interna similar, legível e direcionável.

Metodologia

Os autores propõem um método de intervenção em tempo de inferência, livre de treinamento, baseado em direcionamento de representação (representation steering). O pipeline consiste em três componentes principais:

1. Proxy de Propensão

Em vez de depender da geração completa, o método extrai um sinal de "propensão ao uso de ferramenta" de uma única passagem direta (forward pass). Em um ambiente de múltiplas ferramentas, o formato de chamada de ferramenta do modelo começa com um token especial ( $t^\star$ , ex: <tool_call>) compartilhado por todas as ferramentas disponíveis. O escore de propensão $s(q)$ para uma consulta $q$ é definido como o log-probabilidade de emitir este token na primeira posição de geração:
$s(q) = \log p_\theta(t^\star | x(q))$
Esta métrica serve como um sinal fiel de uso real de ferramentas sem exigir a geração propriamente dita.

2. Extração de Direção (Diferença de Médias)

Utilizando um ambiente de múltiplas ferramentas (prompt de sistema neutro, lista de ferramentas disponíveis), os autores:

Ranqueiam as consultas por $s(q)$ .
Formam um conjunto de alta propensão ( $H$ ) e um conjunto de baixa propensão ( $L$ ).
Computam o vetor de direcionamento $v_\ell$ em cada camada do fluxo residual $\ell$ como a diferença das médias entre os dois conjuntos:
$v_\ell = \frac{1}{|H|} \sum_{q \in H} h_\ell(q) - \frac{1}{|L|} \sum_{q \in L} h_\ell(q)$
Este vetor captura um sinal geral de "propensão à chamada", em vez de um sinal específico de uma ferramenta, uma vez que o conjunto de alta propensão contém uma mistura de tipos de questões.

3. Direcionamento em Tempo de Inferência

Durante a inferência, o vetor extraído é adicionado ao fluxo residual em uma camada específica do decodificador $\ell$ :
$h'_\ell = h_\ell + \alpha v_\ell$
onde $\alpha$ é um coeficiente de direcionamento escalar.

$\alpha > 0$ : Incentiva chamadas de ferramentas.
$\alpha < 0$ : Suprime chamadas de ferramentas.
$\alpha = 0$ : Recupera o comportamento original do modelo.

Os autores também testam intervenções de projeção (clivagem e ablação) para verificar se a projeção sobre esta direção controla causalmente a decisão.

Principais Contribuições

Identificação de uma Direção de Controle Linear: O artigo identifica uma única direção linear no fluxo residual que controla a decisão binária de se chamar uma ferramenta. Isso permite o controle contínuo em tempo de inferência sem necessidade de retreinamento ou modificação de prompts.
Seletividade de Conhecimento e Generalidade de Ferramenta:
- Seletivo de Conhecimento: As chamadas induzidas concentram-se em questões que o modelo não consegue responder através de conhecimento paramétrico (ex: entidades de baixa popularidade), em vez de questões que ele já conhece.
- Generalidade de Ferramenta: Uma direção extraída de um ambiente de múltiplas ferramentas direciona efetivamente ferramentas não presentes no conjunto de extração (ex: tradução, clima, SQL) com força comparável a vetores extraídos especificamente para essas ferramentas.
Desvinculação de Decisões: A direção de direcionamento controla se deve chamar uma ferramenta sem alterar substancialmente qual ferramenta é selecionada. A distribuição de roteamento entre as ferramentas permanece dependente do modelo e é amplamente preservada.
Fronteira de Pareto Custo-Acurácia: Com a execução de ferramentas em tempo real, a variação da força de direcionamento traça uma fronteira de Pareto suave, permitindo que operadores ajustem o compromisso entre custo (número de chamadas) e acurácia.

Resultados Experimentais

O método foi avaliado em cinco modelos (variantes Qwen3, Gemma-4, gpt-oss) abrangendo arquiteturas densas, Mixture-of-Experts (MoE) e multimodais, utilizando conjuntos de dados como PopQA (QA de domínio aberto), GSM8K (matemática) e BIG-Bench Hard (manipulação de strings/datas).

Controle Monotônico: Variar $\alpha$ de $-2 $a$ +3$ move a taxa de chamada de ferramenta monotonicamente de quase 0% para mais de 90% (ou 100% para alguns modelos) em diferentes ambientes de ferramentas (busca, calculadora, Python).
Melhoria de Acurácia: No conjunto de dados PopQA com busca web ao vivo, o direcionamento aumentou a acurácia de QA de domínio aberto de 0,29 (baseline) para 0,56 com aproximadamente 1,1 buscas por questão.
Generalização entre Modelos: O mesmo procedimento de extração e direcionamento funcionou em todos os modelos testados, independentemente de sua tendência basal de subuso ou sobreuso de ferramentas.
Especificidade de Camada: O efeito de direcionamento é mais forte e mais monotônico em uma faixa de camadas do decodificador de meio para o final (ex: camadas 21–24 para Qwen3-4B). As camadas iniciais são inertes e as camadas muito tardias apresentam comportamento errático.
Intervenções de Projeção: A clivagem da projeção do fluxo residual sobre o vetor de direcionamento também aumentou monotonicamente o uso de ferramentas, confirmando o elo causal, embora o direcionamento aditivo tenha proporcionado um intervalo de controle mais amplo.

Significância e Alegações

O artigo afirma fornecer um mecanismo leve e livre de treinamento para controlar o comportamento de agentes que aborda a natureza de "caixa preta" das decisões de uso de ferramentas. Ao demonstrar que a decisão de chamar uma ferramenta é codificada em uma única direção linear direcionável, os autores mostram que:

Agentes podem ser ajustados para evitar chamadas desnecessárias e custosas ou para recuperar informações ausentes sem retreinar.
Este controle é robusto através de diversos modelos e conjuntos de ferramentas.
O método permite a otimização dinâmica do compromisso custo-acurácia em implementações do mundo real.

Os autores observam limitações: o método controla a decisão de chamar, não a qualidade da execução; para modelos focados em raciocínio, o intervalo de raciocínio deve ser contornado para acessar a camada de decisão; e o excesso de direcionamento positivo pode corromper o formato da chamada de ferramenta. No entanto, o trabalho estabelece um novo paradigma para o controle de comportamentos agênticos em tempo de inferência.