TSCG: Deterministic Tool-Schema Compilation for Agentic LLM Deployments

TSCG é um compilador de esquemas de ferramentas determinístico e sem dependências que aprimora significativamente a precisão do uso de ferramentas para LLMs pequenos e de ponta em ambientes de produção, convertendo esquemas JSON ineficientes em texto estruturado eficiente em tokens, resolvendo assim a incompatibilidade de formato que atualmente causa a maioria das falhas no uso de ferramentas.

O essencial

Imagine que você está tentando dar um conjunto de instruções a um assistente muito inteligente, mas ligeiramente sobrecarregado.

O Problema: A Barreira Linguística do "JSON"
Atualmente, quando programas de computador (como agentes de IA) conversam entre si sobre quais ferramentas possuem (como "pesquisar na web" ou "verificar o clima"), eles usam um formato chamado JSON. O JSON é como um sistema de arquivamento rígido e técnico, projetado para que os computadores leiam rapidamente. Está cheio de colchetes, aspas e rótulos repetitivos.

Para modelos de IA semelhantes a humanos, especialmente os menores e mais rápidos, ler esse JSON é como tentar ler um livro onde cada palavra individual está envolta em uma capa plástica pesada e confusa. A IA fica tão atolada pelo "plástico" (os símbolos e a estrutura extras) que esquece as instruções reais. O artigo chama isso de "incompatibilidade de protocolo". A IA está tentando ler um arquivo de computador, não uma frase em linguagem natural.

A Solução: TSCG (O "Tradutor" e "Editor")
O autor, Furkan Sakizli, criou uma ferramenta chamada TSCG (Gramática Semântica de Contexto de Token). Pense no TSCG como um editor super-rápido e determinístico que fica entre o computador e a IA.

Antes que a IA veja as instruções, o TSCG pega o arquivo JSON bagunçado e o reescreve instantaneamente em um formato de texto limpo e com som natural. É como pegar um contrato legal denso e reescrevê-lo como uma lista de instruções clara e em tópicos.

Como Funciona (Os 8 "Editores")
O TSCG não usa magia ou suposições. Ele usa um conjunto fixo de 8 regras específicas (chamadas de "operadores") para limpar o texto:

1. Remove o supérfluo: Exclui palavras educadas como "os seguintes itens" ou frases redundantes que os humanos não precisam ler.
2. Reorganiza os móveis: Move as partes mais importantes da instrução para o início e para o fim, porque os modelos de IA prestam mais atenção ao começo e ao fim de uma frase (como os "suportes de livro" de uma história).
3. Fala a língua da IA: Altera símbolos para aqueles que o dicionário interno da IA reconhece como "blocos" únicos, em vez de várias peças quebradas, economizando espaço.

Os Resultados: Um Milagre para Modelos Pequenos
O artigo testou isso em 12 modelos de IA diferentes, desde os pequenos (4 bilhões a 14 bilhões de "células cerebrais") até os massivos e de ponta.

• Para os Modelos Pequenos: Os resultados foram dramáticos. Sem o TSCG, os modelos pequenos falhavam quase completamente (0% de precisão) quando recebiam uma lista de 20 ferramentas, porque o JSON era muito confuso. Com o TSCG, sua precisão saltou para 84%. É como se a IA tivesse "acordado" subitamente e finalmente pudesse entender a tarefa.
• Para os Modelos Grandes: Até os modelos superinteligentes melhoraram. Tornaram-se mais precisos e usaram menos "tokens" (a moeda do tempo de pensamento da IA), economizando dinheiro e velocidade.

O Momento "Eureca": Trata-se do Formato, Não Apenas da Compressão
Uma das descobertas mais interessantes no artigo é por que isso funciona. O autor percebeu que, para muitos modelos pequenos, o problema não era apenas que o texto era longo demais; era que o formato (JSON) era o inimigo.

Quando o autor comparou "texto JSON" versus "texto simples" (sem qualquer compressão sofisticada), o texto simples sozinho resolveu a maior parte do problema. O TSCG é a versão definitiva disso: ele corrige o formato e comprime o texto.

O Mito do "Tamanho Único"
O artigo também descobriu que nem todos os modelos de IA reagem da mesma maneira.

• Alguns modelos são "Famintos": Adoram cada regra que o TSCG aplica e ficam mais inteligentes com cada mudança.
• Alguns são "Sensíveis": Gostam de algumas regras, mas ficam confusos com outras. Se você lhes der muitas mudanças, eles na verdade pioram.
• Alguns são "Robustos": Não se importam muito; funcionam bem não importa o que seja.

Isso significa que não existe uma configuração "perfeita" única para cada IA. Você precisa ajustar o editor com base em qual IA está usando.

Em Resumo
O TSCG é uma ferramenta gratuita e de código aberto que atua como um tradutor. Ele pega a linguagem rígida, exclusiva de computadores, das definições de ferramentas e a converte instantaneamente em um formato que os modelos de IA podem realmente entender. Isso permite que modelos de IA menores e mais baratos funcionem efetivamente em aplicações do mundo real, onde anteriormente falhavam, e torna os maiores modelos mais rápidos e precisos. É uma solução simples para um problema confuso: pare de falar com a IA em código de computador e comece a falar com ela em texto simples.

Resumo técnico

Resumo Técnico: TSCG – Compilação Determinística de Esquemas de Ferramentas para Implantações de LLMs Agentes

1. Declaração do Problema

Frameworks de agentes de produção (por exemplo, Chamada de Função da OpenAI, Uso de Ferramentas da Anthropic, MCP) transmitem definições de ferramentas para Modelos de Linguagem de Grande Porte (LLMs) como esquemas JSON. Embora o JSON seja otimizado para análise determinística por máquinas e legibilidade humana, é subótimo para a interpretação de modelos de linguagem autoregressivos.

Essa incompatibilidade de protocolo cria um "abismo de capacidade" para modelos pequenos (4B–14B parâmetros). À medida que o volume de dados de esquema JSON cresce, a precisão de chamadas de ferramentas colapsa, caindo para 0–49% para catálogos que excedem 15 ferramentas. Essa questão impõe três custos principais:

1. Custo de Token: Esquemas introduzem redundância estrutural pura, consumindo 3.000–25.000 tokens por invocação.
2. Custo de Capacidade: Modelos pequenos não conseguem analisar esquemas no formato JSON de forma confiável em escala, travando capacidades agentais atrás de APIs de ponta.
3. Custo de Escala: A sobrecarga do esquema cresce linearmente com o tamanho do catálogo.

O artigo enquadra isso não meramente como um problema de compressão, mas como um problema de adaptação de protocolo exigindo uma representação diferente na fronteira da API.

2. Metodologia: O Framework TSCG

Os autores introduzem a Gramática Semântica de Contexto de Token (TSCG), um compilador determinístico de esquemas de ferramentas que transforma esquemas JSON em texto estruturado eficiente em tokens. O TSCG opera sem acesso ao modelo, ajuste fino ou busca em tempo de execução, funcionando como um compilador pré-tokenização.

2.1 O Pipeline

O TSCG aplica um pipeline de ordem fixa de 10 transformações determinísticas organizadas em cinco fases:

1. Análise: Segmentação do JSON de entrada.
2. Compressão:
   • SDM (Maximização da Densidade Semântica): Remove tokens de preenchimento (marcadores de polidez, hesitação, conectivos redundantes).
   • TAS (Sintaxe Alinhada ao Tokenizador): Seleciona variantes de delimitador que minimizam a contagem de tokens com base nos limites BPE (por exemplo, usar -> em vez de →).
   • DRO (Otimização de Papel de Delimitador): Substitui frases estruturais verbosas por delimitadores compactos.
3. Estrutural:
   • CFL (Layout de Restrição em Primeiro Lugar): Reposiciona restrições de saída para a posição 0 para explorar o fenômeno do "sumidouro de atenção".
   • CFO (Ordenação Causal para Frente): Reordena operações de múltiplos passos para ordem topológica para garantir que pré-requisitos sejam causalmente acessíveis.
4. Fragilidade:
   • CAS (Pontuação de Acesso Causal): Pontua átomos por fragilidade (importância vs. acessibilidade) e coloca átomos de alta fragilidade no início (sumidouro de atenção) e no final (viés de recência).
   • SAD-F (Duplicação Seletiva de Âncora): Duplica átomos críticos dentro de um orçamento de tokens para reforçar informações-chave.
5. Fechamento:
   • CCP (Princípio de Fechamento Causal): Anexa um bloco de resumo no final (embora resultados empíricos mostrem que isso adiciona sobrecarga sem ganhos consistentes de precisão).

2.2 Fundamentos Teóricos

Os operadores são fundamentados em três propriedades de transformadores autoregressivos causais:

• Atenção Causal: Tokens iniciais não podem acessar os posteriores; portanto, pré-requisitos devem preceder passos dependentes (CFO).
• Sumidouro de Atenção: A posição 0 recebe atenção desproporcional; restrições críticas devem ser colocadas lá (CFL).
• Não Monotonicidade BPE: O comprimento da string não correlaciona linearmente com a contagem de tokens; formas de superfície podem ser selecionadas para alinhar com fusões BPE aprendidas (TAS).

O framework fornece um limite formal de compressão, garantindo redução de tokens $\ge 51\%$ em esquemas bem formados.

3. Contribuições Principais

1. Framework de Otimização Formal: Um sistema de oito operadores com especificações matemáticas vinculadas aos mecanismos de transformador, satisfazendo consciência de tokenizador e fundamentação de atenção causal.
2. Decomposição Mecanística: Uma análise de "formato versus compressão" demonstrando que a mudança de representação (JSON para texto) é o mecanismo dominante para modelos pequenos, enquanto a compressão estrutural beneficia modelos de ponta.
3. Benchmark TAB: O primeiro benchmark de compressão de esquemas de ferramentas (TSCG-Agentic-Bench), compreendendo ~19.000 chamadas de API em 12 modelos (4B–32B locais + 3 de ponta) e 5 cenários.
4. Habilitação de Modelos Pequenos: Demonstrar que o TSCG restaura a precisão para modelos pequenos (4B–14B) de quase zero para níveis funcionais (65–90%), permitindo implantação local.
5. Matriz de Operador por Modelo: Identificação de três perfis distintos de resposta a operadores entre modelos de ponta (Operador-Fome, Operador-Sensível, Operador-Robusto), provando que não existe configuração universal.
6. Caracterização de Escala: Mostrar que vantagens de precisão persistem em esquemas MCP de produção pesados, mesmo quando saturam em catálogos sintéticos leves.
7. Implementação: Um pacote TypeScript de 1.200 linhas, sem dependências, executando em tempo sub-milissegundo.

4. Resultados Experimentais

4.1 Recuperação de Modelos Pequenos

No benchmark TAB, o TSCG melhorou dramaticamente a precisão de uso de ferramentas para modelos pequenos:

• Phi-4 (14B): Recuperou de 0% para 84,4% de precisão em 20 ferramentas (90,3% em 50 ferramentas).
• Mistral 7B & Gemma 3 4B: Mostraram ganhos massivos (+17 a +63 pontos percentuais) em 20–50 ferramentas.
• Decomposição: Para esses modelos, os ganhos foram impulsionados principalmente por Tradução de Formato (converter JSON para texto estruturado) em vez de compressão. Quando comparados a uma base de texto, o benefício de "compressão" desapareceu ou reverteu, confirmando que o gargalo era a análise de JSON, não o comprimento do contexto.

4.2 Desempenho de Modelos de Ponta

Para modelos de ponta (Claude Sonnet 4, GPT-4o, GPT-5.2), o TSCG forneceu benefícios genuínos de compressão estrutural:

• Claude Sonnet 4: Alcançou 85,2% de precisão (vs. 74,0% JSON nativo) com economia de 50,1% de tokens.
• GPT-5.2: Mostrou ganhos significativos (+29,7 pp) no Cenário A, embora o desempenho variasse conforme o perfil de operador.
• Razão de Precisão Retida (ARR): O TSCG alcançou valores de ARR de 108–181% no benchmark de validação externa BFCL.

4.3 Arquétipos de Sensibilidade a Operadores

Experimentos de isolamento por operador revelaram três perfis comportamentais distintos:

• Operador-Fome (por exemplo, Opus 4.7): Beneficia-se de cada operador; o pipeline completo é ótimo.
• Operador-Sensível (por exemplo, GPT-5.2): Operadores específicos (como CFO) podem degradar o desempenho; requer configuração seletiva.
• Operador-Robusto (por exemplo, Sonnet 4): Invariante à maioria dos operadores; qualquer configuração segura funciona.

4.4 Escala e Generalização

• Esquemas Pesados: Em esquemas MCP de produção pesados (~10.500 tokens de entrada), o TSCG manteve uma vantagem de precisão de +5,0 pp, enquanto ganhos em catálogos sintéticos leves saturaram em 75–100 ferramentas.
• Validade do Benchmark: O benchmark sintético TAB previu o desempenho MCP do mundo real dentro de 0,1 pontos de precisão.

5. Significado e Alegações

O artigo alega que o TSCG aborda uma lacuna crítica e não abordada na infraestrutura de LLMs agentes: a ineficiência de esquemas JSON para consumo de modelos.

• Mudança Arquitetural: O TSCG posiciona a compressão de esquemas como uma escolha arquitetural (compilação externa) em vez de uma técnica de engenharia de prompt. Isso é necessário porque a tokenização ocorre pré-modelo, e o modelo não pode "re-enquadrar" retroativamente suas entradas.
• Orientação de Implantação: O trabalho fornece uma taxonomia orientada por dados para implantação. Modelos pequenos exigem tradução de formato (muitas vezes via um perfil "conservador"), enquanto modelos de ponta beneficiam-se de compressão estrutural.
• Impacto no Ecossistema: Os autores propõem a criação de um registro curado pela comunidade de esquemas de ferramentas pré-compilados, análogo a registros de pacotes (npm/PyPI), para padronizar a eficiência em todo o ecossistema agente.

O artigo conclui que o TSCG habilita agentes de uso de ferramentas funcionais em hardware local e restrito à privacidade, enquanto otimiza simultaneamente o uso de tokens para modelos de ponta, tudo através de um compilador determinístico e sem dependências.