Resumo Técnico: NTILC (Neural Tool Invocation via Learned Compression)

1. Definição do Problema

Sistemas agênticos que dependem de Grandes Modelos de Linguagem (LLMs) dependem cada vez mais de extensos registros de APIs, funções e ações locais chamáveis. A abordagem padrão, In-Context Tooling (ICT), insere o texto completo de cada definição de ferramenta disponível no prompt do modelo antes de processar uma consulta do usuário. Embora eficaz para pequenos registros, este método incorre em um custo de tokens que escala linearmente ($O(N)$) com o número de ferramentas.

À medida que os registros crescem (por exemplo, para mais de 5.000 ferramentas), o ICT enfrenta três limitações críticas:

1. Exaustão de Contexto: Os esquemas das ferramentas (com média de ~120 tokens) consomem rapidamente a janela de contexto, deixando pouco espaço para informações específicas da tarefa.
2. Latência e Custo: O processamento de janelas de contexto massivas aumenta o tempo de prefill e os custos de inferência.
3. Degradação da Precisão de Seleção: A presença de inúmeras ferramentas irrelevantes ("distratores") e o borramento semântico (semantic blur) — onde ferramentas compartilham descrições de linguagem natural quase idênticas, mas possuem assinaturas de execução incompatíveis (ex: tipos de argumentos diferentes) — leva a taxas de erro mais altas na seleção de ferramentas.

2. Metodologia: NTILC

Os autores propõem o NTILC (Neural Tool Invocation via Learned Compression), um framework que substitui o escaneamento de registro in-context de escala linear por uma etapa de recuperação latente externa e aprendida.

2.1 Pipeline de Inferência

Em vez de injetar o registro completo no prompt, o NTILC opera da seguinte forma:

1. Geração de Intenção: Um LLM de base ($M$) recebe a consulta do usuário ($\chi$) e gera um bloco de plano ($P$) contendo intenções de ferramentas em linguagem natural.
2. Codificação: Um codificador dedicado ($E$) mapeia essas intenções em um espaço de incorporação (embedding) treinado.
3. Recuperação Latente: Uma busca de vizinho mais próximo (NNS) é realizada contra um índice de ferramentas pré-construído e offline ($V$) para recuperar o identificador do cluster de ferramentas mais relevante ($\hat{t}$).
4. Geração Restrita: O esquema da ferramenta recuperada é passado para o LLM. Utilizando a biblioteca Outlines, uma Máquina de Estados Finitos (FSM) restringe o vocabulário de saída do modelo, garantindo que os argumentos gerados sejam sintaticamente válidos e conformes estritamente à assinatura da ferramenta selecionada.
5. Execução: O despachante executa a ferramenta e retorna o resultado ao LLM para a síntese da resposta final.

Esta abordagem reduz o custo de tokens do prompt do registro de $O(N)$ para $O(1)$, pois o registro é externalizado como um índice de embeddings em vez de texto na janela de contexto.

2.2 Objetivo de Treinamento

Um desafio central é resolver o borramento semântico, onde ferramentas semanticamente semelhantes são funcionalmente incompatíveis. O NTILC aborda isso através de um objetivo de treinamento composto para o codificador ($E$):

1. Circle Loss: Usada para o alinhamento entre consulta e ferramenta, ponderando similaridades pareadas para concentrar os sinais de gradiente próximos à fronteira de decisão de recuperação.
2. Functional Margin (FM) Loss: Um termo de perda inovador projetado para separar ferramentas com descrições semelhantes, mas assinaturas incompatíveis.
   • Ele calcula uma pontuação de compatibilidade ($compat$) baseada na interseção de nomes de argumentos, tipos e esquemas de retorno.
   • Atribui um peso repulsivo ($w_{ij}$) a pares negativos baseados em sua incompatibilidade funcional.
   • Aplica uma penalidade de margem especificamente a "negativos difíceis" (ferramentas semanticamente próximas, mas funcionalmente distintas), afastando-as no espaço de embedding.

O objetivo total é $L_{dispatch} = \lambda_1 L_{circle} + \lambda_2 L_{FM}$.

3. Principais Contribuições

1. Inovação de Framework: Introdução do NTILC, que desacopla a capacidade do agente do comprimento do prompt ao externalizar o registro de ferramentas em um índice de embedding aprendido, reduzindo os tokens do prompt do registro de $O(N)$ para efetivamente zero.
2. Functional Margin Loss: Proposta de uma função de perda consciente da assinatura que impõe explicitamente a separação entre ferramentas semanticamente similares, mas funcionalmente incompatíveis, abordando diretamente o problema do "borramento semântico".
3. Avaliação Abrangente: Avaliação em cinco conjuntos de dados públicos (ToolBench, BFCL, API-Bank, MetaTool, ToolEyes) demonstrando desempenho em vários tamanhos de registro.

4. Resultados Experimentais

Os autores avaliaram o NTILC contra baselines de ICT (incluindo Qwen3-27B, Ministral 3, Kimi Moonlight e modelos de código fechado como ChatGPT 5 e Claude Sonnet 4.6) em conjuntos de dados públicos.

• Redução de Contexto: O NTILC reduz o consumo da janela de contexto em mais de 95%. Para um registro de 5.000 ferramentas, o ICT requer ~600.000 tokens de entrada, enquanto o NTILC requer apenas a intenção e o esquema selecionado (<5.000 tokens).
• Latência: O NTILC reduz a latência de inferência em até 74% comparado aos baselines de ICT de contexto longo (ex: no ToolBench, a latência caiu de 5.663ms para 1.452ms).
• Precisão: O NTILC mantém a paridade com modelos ICT de última geração em precisão Top-1 e Top-5.
  • No ToolBench, o NTILC alcançou 98% de precisão Top-1 com zero tokens de prompt de registro.
  • Em subconjuntos de borramento semântico, a inclusão da Functional Margin Loss melhorou a Precisão de Borramento Semântico de 70,8% (apenas Circle Loss) para 75,0%, reduzindo o Erro Funcional para 8,7%.

5. Significância e Alegações

O artigo afirma que o NTILC demonstra que os registros de ferramentas não precisam residir na janela de contexto. Ao mover o registro para um índice de embedding compacto, o framework:

• Desacopla a capacidade do contexto: O desempenho do agente não degrada conforme o registro de ferramentas escala.
• Resolve o problema do "Borramento Semântico": Através da Functional Margin Loss, o modelo aprende a distinguir entre ferramentas textualmente similares, mas funcionalmente distintas, um modo de falha comum na recuperação semântica padrão.
• Permite Escalabilidade: A abordagem permite a implantação de agentes com registros de ferramentas massivos sem incorrer em custos de tokens ou penalidades de latência proibitivos.

Os autores observam limitações, especificamente que o NTILC requer indexação offline e pode ter dificuldades com documentações de ferramentas altamente dinâmicas ou dependentes de estado sem reindexação frequente. Eles também enfatizam que, embora o NTILC melhore a eficiência de seleção, a segurança e a aplicação de políticas (ex: listas de permissão) permanecem preocupações separadas que devem ser pareadas com o mecanismo de despacho.