Resumo Técnico: Internalização de Conhecimento de Ferramentas em Modelos de Linguagem Pequenos via Ajuste Fino QLoRA

Declaração do Problema

Os sistemas agênticos atuais que dependem de Modelos de Linguagem de Grande Escala (LLMs) para o planejamento de ferramentas enfrentam ineficiências significativas. Pipelines padrão exigem a inclusão de esquemas completos de ferramentas (descrições, assinaturas de argumentos e tipos de retorno) em cada prompt. Isso gera uma sobrecarga substancial de tokens — representando até 82,6% dos tokens de entrada no cenário de ponta a ponta dos autores — e força a dependência de modelos de fronteira grandes e caros. Modelos menores (2B–5B parâmetros) frequentemente falham em realizar um planejamento de ferramentas confiável sem esses prompts extensos, limitando sua praticidade em ambientes com recursos restritos. O desafio central é saber se um modelo de linguagem pequeno pode internalizar um catálogo fixo de ferramentas por meio de ajuste fino eficiente em parâmetros, permitindo uma "inferência sem descrição", onde o modelo gera planos estruturados sem descrições explícitas de ferramentas em tempo de execução.

Metodologia

Os autores propõem um pipeline de ajuste fino supervisionado utilizando QLoRA (Adaptação de Baixo Rango Quantizada) para transferir o conhecimento de uso de ferramentas do contexto do prompt para os pesos do modelo.

• Benchmarks e Dados: O estudo utiliza o AssetOpsBench, um benchmark de operações de ativos industriais contendo 152 cenários gerados por humanos. O corpus de treinamento (~1.741 exemplos) foi construído usando o Gemini 2.5 Flash como modelo professor. Os dados incluem três tipos de exemplos:
  1. Conhecimento de Ferramenta/Agente: Ensino de associações agente-ferramenta, esquemas de argumentos e distinções entre ferramentas semelhantes.
  2. Pergunta-para-Plano: Mapeamento de consultas em linguagem natural para planos de execução estruturados (Tarefa/Agente/Ferramenta/Args/Dependências).
  3. Estilo de Execução: Combinação de etapas de planejamento com rastros de execução e resolução de espaços reservados.
• Modelos: Dois modelos de código aberto ajustados para instruções foram avaliados: Gemma 4 E4B (4,5B parâmetros ativos) e Qwen3-4B (4,0B parâmetros).
• Configuração de Treinamento: Ambos os modelos foram ajustados finamente com QLoRA de 8 bits em uma única GPU A100. A configuração principal utilizou um rank LoRA ($r$) de 32, $\alpha=64$ e uma taxa de aprendizado de $2 \times 10^{-4}$.
• Protocolo de Avaliação:
  • Configurações de Inferência: Os modelos foram testados sob três condições: (1) Informado (descrições completas de ferramentas no prompt), (2) Linha de Base sem Descrição (sem descrições de ferramentas, não ajustado) e (3) Ajustado Fino sem Descrição (sem descrições de ferramentas, ajustado).
  • Métricas: O desempenho foi medido por meio de métricas estruturais (AT-F1 para seleção de agente/ferramenta, ArgKey-F1) e qualidade semântica via um LLM-como-julgador (Gemini 2.5 Flash) pontuando seis dimensões (correção, roteamento, seleção, argumentos, eficiência, dependências).
  • Análise de Esquecimento: O esquecimento catastrófico foi avaliado usando 100 perguntas de múltipla escolha de MMLU, ARC-Challenge e HellaSwag.

Principais Contribuições

1. Formalização do Planejamento sem Descrição: O artigo define um cenário onde um modelo deve gerar planos válidos de uso de ferramentas estruturados para um catálogo fixo sem receber descrições de ferramentas no momento da inferência.
2. Demonstração de Internalização: Os autores mostram que o ajuste fino com QLoRA em ~1.700 exemplos permite que modelos de ~4B parâmetros superem uma linha de base "informada" (que inclui esquemas completos de ferramentas) tanto em precisão estrutural quanto em pontuações de planejamento semântico, apesar de omitir completamente as descrições de ferramentas.
3. Comparação Arquitetural: Uma análise comparativa entre Gemma 4 E4B e Qwen3-4B revela que o Qwen3 alcança qualidade de planejamento comparável com 62% menos memória e inferência 2,5× mais rápida, embora apresente maior esquecimento catastrófico.
4. Compensação Qualidade-Retenção: O estudo quantifica a compensação entre qualidade de planejamento e retenção de conhecimento geral, mostrando que ranks LoRA menores ($r=8$) preservam mais conhecimento geral com perda mínima de qualidade em comparação ao rank ótimo para qualidade ($r=32$).
5. Perfil do Pipeline: Os autores perfilaram o pipeline de treinamento e inferência, identificando a multiplicação de matrizes de 8 bits (MatMul8bitLt) como o gargalo dominante de CUDA (56,3% do tempo) e estimando o custo total do experimento em aproximadamente $62.

Resultados Experimentais

• Ganhos de Desempenho: O melhor modelo Gemma ajustado finamente alcançou um AT-F1 de 0,65 e uma pontuação de julgamento por LLM de 3,88, superando a linha de base informada (AT-F1 0,47, Julgador 2,88). O modelo Qwen3 ajustado finamente alcançou uma pontuação de julgamento de 3,78.
• Eficiência de Tokens: A inferência sem descrição reduziu o comprimento de entrada de ~2.400 tokens para ~128 tokens, uma redução de 82,6%.
• Eficiência: O Qwen3-4B executou 2,5× mais rápido na inferência e utilizou 62% menos memória base que o Gemma 4 E4B, enquanto atingiu perdas de avaliação finais comparáveis.
• Impacto do Rank LoRA: A qualidade do planejamento atingiu o pico em $r=32$ (Julgador 3,88, AT-F1 0,65), mas declinou ligeiramente em $r=64$. Ranks menores ($r=8$) preservaram mais conhecimento geral, mas produziram pontuações de planejamento ligeiramente inferiores.
• Esquecimento Catastrófico:
  • Gemma: Reteve 79,8% de seu desempenho base em benchmarks de múltipla escolha em $r=32$.
  • Qwen3: Reteve apenas 61,3% de seu desempenho base em $r=32$, com degradação severa no raciocínio lógico e conclusão de senso comum.
• Composição dos Dados: O treinamento com dados "Apenas Plano" (onde o conhecimento da ferramenta é implícito no plano) produziu pontuações mais altas (3,90) do que o treinamento com dados "Ferramenta+Plano" (3,60), sugerindo que a aprendizagem baseada em demonstração é mais eficaz do que a injeção declarativa de conhecimento para esta tarefa.

Significado e Alegações

O artigo alega que, para catálogos de ferramentas fixos, o ajuste fino com QLoRA pode transferir com sucesso o conhecimento de ferramentas do contexto do prompt para os pesos do modelo. Esta abordagem oferece um caminho viável para implantar modelos menores e mais eficientes em sistemas agênticos, eliminando a sobrecarga de tokens de descrições de esquemas repetidas.

Os autores posicionam este trabalho como uma prova de conceito demonstrando que:

1. Modelos pequenos podem internalizar esquemas complexos de ferramentas para superar linhas de base maiores e informadas por esquemas.
2. Existe uma compensação ajustável entre qualidade de planejamento e retenção de conhecimento geral via seleção de rank LoRA.
3. A abordagem é computacionalmente acessível (baixo custo, treinamento em GPU única).

O artigo permanece modesto quanto à generalização, observando que os resultados são específicos ao domínio do AssetOpsBench e a um conjunto fixo de ferramentas. Reconhece limitações no poder estatístico (execuções com semente única, pequeno conjunto de teste retido) e não alega que o método se generalize para ferramentas não vistas ou catálogos dinâmicos sem treinamento adicional. O principal significado reside no potencial de reduzir a latência de inferência e os custos operacionais em fluxos de trabalho agênticos industriais ao internalizar o conhecimento de ferramentas.