Don't Adapt Small Language Models for Tools; Adapt Tool Schemas to the Models

1. O Problema: Desalinhamento de Esquema em SLMs

O artigo aborda um desafio crítico na implementação de sistemas de agentes multi-modelo que utilizam Modelos de Linguagem Pequenos (SLMs), geralmente com até 8 bilhões de parâmetros. Embora os SLMs sejam ideais para orquestração distribuída e implantação em dispositivos de borda devido à sua eficiência computacional, eles falham significativamente em tarefas de uso de ferramentas (tool-use), especificamente na seleção de ferramentas e na identificação de parâmetros.

O principal modo de falha identificado é o Desalinhamento de Esquema (Schema Misalignment):

• O Fenômeno: Quando confrontados com um esquema de ferramenta (lista de APIs com nomes e descrições) que utiliza convenções de nomenclatura diferentes das internalizadas durante o pré-treinamento do modelo, os SLMs tendem a "alucinar" nomes de ferramentas plausíveis, mas inexistentes no esquema fornecido.
• A Causa: Os modelos recorrem a padrões de nomenclatura familiares aprendidos durante o pré-treinamento em vez de seguir estritamente o esquema fornecido no contexto.
• A Abordagem Tradicional (Ineficiente): A maioria das soluções tenta adaptar o modelo ao esquema (via fine-tuning ou treinamento), o que é custoso, requer dados e pode levar ao esquecimento catastrófico.

2. Metodologia: PA-Tool (Geração de Esquema Alinhado ao Pré-treinamento)

Os autores propõem uma abordagem inversa: em vez de forçar o modelo a aprender novos nomes, adaptam o esquema de ferramentas para se alinhar ao conhecimento pré-treinado do modelo. Eles introduzem o PA-Tool, um método sem treinamento (training-free) que gera um mapeamento de nomes de ferramentas otimizado.

O método baseia-se no conceito de "Peakedness" (Pico/Concentração), um sinal originalmente utilizado em detecção de contaminação de dados para identificar padrões memorizados. A lógica é que padrões frequentemente encontrados durante o pré-treinamento geram distribuições de saída altamente concentradas (picos) quando o modelo é consultado.

O processo do PA-Tool ocorre em três etapas:

1. Geração de Candidatos (Stage 1):

   • Dada a descrição funcional de um componente da ferramenta (ex: "Retorna a previsão do tempo"), o modelo é instruído a gerar múltiplos nomes candidatos ($N$ amostras) com uma temperatura de amostragem ($t > 0$) para explorar a distribuição de aprendizado.
   • Um nome de referência é gerado via greedy decoding ($t=0$) para desempate posterior.

2. Cálculo de Peakedness (Stage 2):

   • Para cada nome candidato, calcula-se uma pontuação de peakedness.
   • Define-se um limiar de similaridade ($\tau$) baseado no comprimento máximo dos caracteres dos candidatos.
   • A pontuação conta quantos outros candidatos gerados pelo modelo estão dentro desse limiar de distância de edição (Levenshtein) do candidato atual.
   • Lógica: Um alto peakedness indica que o modelo gera consistentemente variações similares desse nome, sugerindo que é um padrão profundamente internalizado e familiar durante o pré-treinamento.

3. Seleção do Esquema (Stage 3):

   • O candidato com a maior pontuação de peakedness é selecionado como o novo nome da ferramenta.
   • Em caso de empate, escolhe-se o nome com menor distância de edição em relação ao nome de referência.
   • O processo é repetido para todos os componentes (nomes de ferramentas e parâmetros) para criar um dicionário de mapeamento.

3. Contribuições Principais

• Inversão de Paradigma: Propõe que a adaptação deve ocorrer no nível do esquema de interface, e não no nível do modelo, para SLMs.
• Método Sem Treinamento: O PA-Tool não requer fine-tuning, dados de treinamento ou modificação dos pesos do modelo, tornando-o escalável e de baixo custo computacional.
• Uso Criativo de Sinais de Contaminação: Adapta o sinal de peakedness (usado para detectar memorização indesejada) como uma ferramenta construtiva para otimizar a usabilidade de ferramentas.
• Validação de Hipótese: Demonstra empiricamente que a familiaridade com padrões de nomenclatura é um fator limitante chave para SLMs, e que alinhar esses nomes reduz drasticamente erros de alucinação.

4. Resultados Experimentais

Os experimentos foram realizados nos benchmarks MetaTool e RoTBench, utilizando diversos SLMs (Qwen2.5, Llama3.1/3.2) e comparando com modelos fechados de ponta.

• Melhoria de Desempenho:
  • O PA-Tool alcançou ganhos de até 17% na precisão de seleção de ferramentas no MetaTool (especificamente na sub-tarefa de Reliability, onde o modelo deve identificar quando nenhuma ferramenta é adequada).
  • No RoTBench, houve ganhos de até 10% em seleção de ferramentas de turno único e 6% em cenários multi-turno.
  • Melhorias consistentes foram observadas também na identificação de parâmetros.
• Redução de Erros:
  • Erros de Desalinhamento de Esquema (alucinação de nomes de ferramentas) foram reduzidos em 80%.
  • Reduções secundárias foram observadas em erros de confusão funcional (24%) e compreensão de contexto (18,8%).
• Comparação com Fine-tuning (SFT):
  • O PA-Tool sozinho superou modelos com fine-tuning supervisionado em várias sub-tarefas.
  • A combinação de PA-Tool + SFT resultou nos melhores desempenhos gerais, indicando que as duas abordagens são complementares (o SFT melhora o raciocínio, o PA-Tool resolve o desalinhamento de nomenclatura).
• Generalização:
  • O método funcionou bem em modelos de diferentes famílias (Llama, Qwen) e escalas, incluindo modelos de raciocínio (Qwen3).
  • Funcionou em benchmarks de ponta a ponta como API-Bank e $\tau$-Bench, melhorando a conclusão de tarefas reais.
• Avaliação Humana:
  • Anotações humanas indicaram que os nomes gerados pelo PA-Tool foram considerados mais intuitivos e descritivos do que os nomes originais em mais de 50% dos casos, sem sacrificar a interpretabilidade humana.

5. Significado e Impacto

O trabalho demonstra que intervir no nível do esquema de ferramentas é uma estratégia poderosa e eficiente para desbloquear o potencial de SLMs em sistemas de agentes.

• Eficiência de Recursos: Permite o uso de modelos pequenos e baratos em aplicações complexas de uso de ferramentas sem a necessidade de treinamento pesado.
• Robustez: O método é robusto a ruídos nos nomes das ferramentas e funciona mesmo quando os esquemas originais são mal documentados ou inconsistentes.
• Viabilidade Prática: Como é um método de mapeamento único (one-time mapping), pode ser aplicado em sistemas de produção com custo computacional marginal, facilitando a adoção de SLMs em cenários de borda e multi-agente.

Em resumo, o PA-Tool resolve a raiz do problema de falha em SLMs (o desalinhamento de vocabulário) ao adaptar a interface do mundo real à "mente" do modelo, em vez de tentar reprogramar a mente do modelo para a interface.