ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

Resumo Técnico: ONTO – Uma Notação Colunar Eficiente em Tokens para Otimização de Entrada de LLM

1. O Problema

O artigo identifica uma ineficiência crítica no uso de Grandes Modelos de Linguagem (LLMs) para processamento de dados operacionais em escala. Formatos de serialização tradicionais, como JSON e YAML, foram projetados para troca de documentos entre serviços web, priorizando a autodescrição e a legibilidade humana. No entanto, quando esses formatos são usados como entrada para LLMs:

• Redundância Excessiva: Nomes de campos (ex: device_id, temperature) são repetidos em cada registro, consumindo uma parcela massiva do orçamento de tokens.
• Sobrecarga Estrutural: Pontuação (chaves, colchetes, aspas, dois-pontos) e aninhamento profundo geram tokens que não carregam conteúdo semântico.
• Impacto Econômico e de Desempenho: O custo de tokens escala linearmente com o tamanho dos dados, limitando o tamanho do contexto, aumentando a latência de inferência e elevando os custos de API.

O artigo argumenta que a serialização para entrada de LLM é um problema fundamentalmente diferente da troca de documentos: os prompts são efêmeros, consumidos uma única vez por um sistema com capacidades conhecidas, não exigindo a redundância defensiva dos formatos de intercâmbio.

2. Metodologia e Design do ONTO

Os autores propõem o ONTO (Object Notation for Token Optimization), uma notação colunar projetada especificamente para minimizar tokens mantendo a legibilidade e o suporte a estruturas hierárquicas.

Princípios de Design:

• Esquema Único, Dados Muitos (Schema-once, data-many): Os nomes dos campos são declarados uma única vez por entidade, eliminando a repetição por registro.
• Notação Colunar: Os valores são organizados em linhas separadas por pipes (|), alinhados com os campos definidos no cabeçalho.
• Hierarquia por Indentação: Estruturas aninhadas são representadas por indentação (espaços fixos de 4), eliminando a necessidade de chaves {} ou colchetes [] repetidos.
• Delimitadores Otimizados:
  • | (Pipe): Separa valores de registros diferentes.
  • ^ (Caret): Separa elementos dentro de um array em um único valor.
  • ` (Backticks): Usado para forçar interpretação de string ou representar strings vazias.
• Inferência de Tipo: O parser infere automaticamente tipos (inteiro, float, booleano, null) com base nos padrões de valor.

Exemplo de Estrutura:
Em vez de um JSON repetitivo, o ONTO declara o campo device_id uma vez e lista todos os IDs separados por pipes na linha correspondente, com valores de temperatura, umidade e localização aninhados por indentação.

3. Contribuições Principais

1. Caracterização do Problema: Estabelece que a serialização para LLM requer critérios de otimização distintos dos formatos de intercâmbio de documentos.
2. Design de Formato: Apresenta o ONTO, que alcança redução de tokens sem sacrificar a legibilidade humana ou o suporte a dados aninhados.
3. Validação Empírica: Demonstra redução estável de tokens em dados planos, aninhados e mistos, com melhorias correspondentes na latência e sem degradação na precisão das tarefas.
4. Análise de Ablação: Decompõe as economias de tokens, quantificando o custo da eliminação de chaves versus o custo da indentação.
5. Implementação Aberta: Libera um parser de referência em Python, suítes de benchmark e datasets sintéticos.

4. Resultados Experimentais

Os experimentos foram conduzidos em três datasets sintéticos (Telemetria IoT, Métricas de Sistema, Logs) com escalas de 100 a 1.000 registros, utilizando modelos como Qwen2.5-7B e GPT-4o-mini.

• Eficiência de Tokens:
  • Redução de 46% a 51% no número de tokens em comparação com o JSON.
  • A redução é consistente independentemente do tamanho do dataset (escala linear).
  • O YAML oferece apenas 1-6% de redução, confirmando que a eliminação da repetição de chaves é o fator dominante de economia.
• Análise de Composição de Tokens:
  • A eliminação de nomes de campos (keys) representa mais de 100% da economia bruta (ou seja, a economia supera o custo total do JSON original em certos aspectos estruturais, compensando o aumento de tokens de indentação).
  • Dados aninhados (IoT) têm uma redução ligeiramente menor (46,3%) do que dados planos (50,8%) devido ao custo de tokens da indentação extra necessária para a hierarquia.
• Impacto na Latência:
  • Melhora de 5–7% no Time-to-First-Token (TTFT).
  • Melhora de 9–10% no tempo total de inferência.
  • A relação é sublinear (menos tokens não resultam em redução proporcional de tempo devido a custos fixos de computação), mas os ganhos são consistentes.
• Validação de Compreensão:
  • Não houve degradação material na precisão das tarefas (busca, contagem, extração, agregação) quando o modelo recebeu um "prompt quente" (explicação do formato).
  • Em alguns casos (Métricas de Sistema), o ONTO superou o JSON na precisão, possivelmente devido à clareza estrutural.
  • Tarefas de contagem exata (Q2) mostraram baixa precisão em todos os formatos, refletindo uma limitação intrínseca dos LLMs, não do formato.

5. Significado e Implicações

• Preenchimento de Lacuna no Ecossistema: O ONTO ocupa um nicho não atendido: combina eficiência colunar (sem repetição de chaves), suporte a hierarquia completa e legibilidade humana, otimizado especificamente para janelas de contexto de LLM.
• Viabilidade Econômica: Para cargas de trabalho que injetam grandes conjuntos de dados estruturados em prompts, uma redução de 50% nos tokens pode cortar pela metade o custo de entrada da API e aumentar a capacidade efetiva de contexto.
• Mudança de Paradigma: O trabalho sugere que a serialização para consumo de IA deve abandonar a redundância de "troca de documentos" em favor de formatos eficientes e efêmeros.
• Limitações e Futuro: O formato exige registros homogêneos (mesmo esquema) e atualmente não possui parser de streaming. Trabalhos futuros incluem validação em dados de produção reais, análise de profundidade de aninhamento mais profunda e adaptação para diferentes tokenizadores.

Em conclusão, o ONTO demonstra que a reestruturação estrutural dos dados de entrada, focada na eliminação de redundâncias desnecessárias para LLMs, oferece ganhos tangíveis de desempenho e custo sem comprometer a capacidade de raciocínio do modelo.