ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

1. El Problema: La Ineficiencia de los Formatos Actuales para LLMs

El artículo identifica una brecha crítica en la forma en que los Grandes Modelos de Lenguaje (LLMs) consumen datos estructurados a gran escala.

• Sobrecarga de Tokens: Los formatos de intercambio de documentos tradicionales, como JSON, están diseñados para la interoperabilidad y la legibilidad humana, lo que implica redundancia. En un conjunto de datos de 1.000 lecturas de sensores IoT, JSON utiliza aproximadamente 80.000 tokens, donde la gran mayoría se gastan en repetir nombres de campos, llaves, corchetes y puntuación estructural, en lugar de en el contenido semántico real.
• Limitaciones Operativas: A medida que los LLMs pasan de ser asistentes conversacionales a sistemas de inteligencia operativa (análisis de telemetría, detección de anomalías), el costo de los tokens escala linealmente con el tamaño de los datos. Esto agota las ventanas de contexto, aumenta la latencia de inferencia y eleva los costos de API.
• Falta de Herramientas Específicas: Formatos existentes como YAML (ahorra poco), CSV (no soporta jerarquías anidadas) o Parquet (binario, no legible directamente en prompts) no abordan la optimización específica para la entrada de LLMs.

2. Metodología: Diseño de ONTO

Los autores proponen ONTO (Object Notation for Token Optimization), una notación columnar diseñada específicamente para la serialización de entrada de LLMs.

• Principio Fundamental: "Declarar una vez, referenciar muchas" (Schema-once, data-many). A diferencia de JSON, que repite el esquema en cada registro, ONTO declara los nombres de los campos una sola vez por entidad.
• Estructura Sintáctica:
  • Delimitadores: Utiliza el carácter pipe (|) para separar valores en filas, eliminando la necesidad de comillas, dos puntos o comas por valor.
  • Jerarquía: Utiliza la indentación (espacios fijos de 4 espacios) para representar estructuras anidadas en lugar de llaves {} o corchetes [], reduciendo la carga de tokens estructurales.
  • Contadores Explícitos: Incluye una declaración de conteo de registros (ej. [1000]) para validación y contexto.
  • Tipos y Arrays: Inferencia automática de tipos (enteros, floats, booleanos) y uso del símbolo ^ para separar elementos dentro de un array en una sola celda.
• Enfoque: ONTO no busca reemplazar JSON para APIs o almacenamiento, sino actuar como una capa de preprocesamiento optimizada para inyectar datos en prompts de LLM.

3. Contribuciones Clave

1. Caracterización del Problema: Define la serialización para LLMs como un problema distinto al intercambio de documentos, con criterios de optimización diferentes (eliminación de redundancia vs. auto-descripción).
2. Diseño del Formato: Presenta ONTO, que logra una reducción de tokens del 46-51% manteniendo la legibilidad humana y el soporte para datos anidados.
3. Validación Empírica: Demuestra una reducción estable de tokens en datos planos, anidados y mixtos, con mejoras en latencia y sin degradación en la precisión de tareas de comprensión.
4. Análisis de Ablación: Descompone los ahorros, identificando que la eliminación de claves repetidas es el factor dominante, mientras que la indentación introduce un costo menor en estructuras jerárquicas.
5. Implementación Abierta: Libera un parser de referencia en Python, un conjunto de benchmarks y datasets sintéticos.

4. Resultados Experimentales

Los experimentos se realizaron con tres datasets sintéticos (Telemetría IoT, Métricas de Sistema y Registros de Logs) a escalas de 100, 500 y 1.000 registros, utilizando modelos como Qwen2.5-7B y GPT-4.

• Eficiencia de Tokens:
  • Reducción Global: ONTO logra una reducción del 46% al 51% en tokens en comparación con JSON.
  • Escalabilidad: La relación de reducción se mantiene constante a medida que crece el número de registros (ej. 46.3% para datos anidados, 50.8% para datos planos).
  • Desglose: La eliminación de nombres de campos repetidos representa más del 100% de los ahorros brutos (compensando el costo de la indentación). La reducción de puntuación es secundaria.
• Impacto en Latencia:
  • Se observó una mejora en el tiempo hasta el primer token (TTFT) del 5-7% y un tiempo total de inferencia un 9-10% más rápido.
  • La relación es sublineal: una reducción del 46% en tokens no se traduce en un 46% de velocidad, pero la mejora es consistente y significativa.
• Validación de Comprensión:
  • Precisión: No hubo degradación material en la precisión de las tareas del LLM (búsqueda, conteo, extracción, agregación) cuando se proporcionó el contexto del formato.
  • Prompt "Caliente" vs. "Frío": Incluir una explicación del formato (200 tokens) no afectó negativamente el rendimiento; en algunos casos, mejoró la precisión en tareas de conteo y búsqueda.
  • Limitaciones del Modelo: Las tareas de conteo exacto (Q2) mostraron baja precisión en todos los formatos, lo que refleja una limitación inherente del modelo, no del formato.

5. Significado e Implicaciones

• Nicho Desatendido: ONTO ocupa un espacio único en el panorama de serialización: combina eficiencia columnar, soporte para jerarquías completas, legibilidad humana y capacidad de ser inyectado directamente en prompts.
• Impacto Económico: Para cargas de trabajo que incrustan grandes conjuntos de datos estructurados en prompts, una reducción del 50% en tokens se traduce directamente en una reducción del 50% en el componente de costo de entrada de la API.
• Cambio de Paradigma: El artículo argumenta que la serialización para el consumo de LLMs es fundamentalmente diferente a la serialización para intercambio de documentos. Los LLMs no necesitan la redundancia defensiva de formatos como JSON; pueden asumir un esquema compartido una sola vez.
• Futuro: Se sugiere que la optimización de la serialización será una necesidad práctica a medida que los LLMs se integren más profundamente en sistemas operativos que procesan flujos masivos de datos.

En conclusión, ONTO demuestra que reestructurar cómo se presentan los datos a los LLMs, eliminando la redundancia estructural innecesaria, ofrece beneficios tangibles en costos, velocidad y capacidad de contexto sin sacrificar la capacidad de razonamiento del modelo.