ONTO: A Token-Efficient Columnar Notation for LLM Input Optimization

Titel: ONTO: Een token-efficiënte kolomnotatie voor optimalisatie van LLM-invoer

1. Het Probleem

Grote Taalmodellen (LLM's) worden steeds vaker ingezet voor operationele intelligentie, zoals het analyseren van telemetriedata, het detecteren van anomalieën in logs en het uitvoeren van root-cause-analyses. Een groot probleem is dat bestaande serialisatieformaten, met name JSON, inefficiënt zijn voor deze doeleinden.

• Token-overhead: JSON is ontworpen voor documentuitwisseling tussen webdiensten en legt de nadruk op zelfbeschrijving en menselijke leesbaarheid. Dit betekent dat veldnamen (bijv. device_id, temperature) bij elk record herhaald worden, samen met structurele leestekens (haken, accolades, dubbele punten).
• Kosten en capaciteit: Bij een dataset van 1.000 IoT-sensormetingen kan JSON ongeveer 80.000 tokens vereisen, waarbij het merendeel van de tokens wordt besteed aan herhaalde veldnamen en structuur in plaats van aan de semantische inhoud (de eigenlijke meetwaarden).
• Beperkingen: Dit leidt tot hoge API-kosten, het bereiken van de limieten van het contextvenster en verhoogde inferentielatentie. Bestaande alternatieven zoals YAML (beperkte besparing), CSV (geen ondersteuning voor geneste data) of Parquet (niet menselijk leesbaar, vereist conversie) lossen dit probleem niet adequaat op.

2. Methodologie: ONTO (Object Notation for Token Optimization)

De auteurs introduceren ONTO, een kolomnotatie die specifiek is ontworpen voor de ephemerale aard van LLM-prompten. Het fundamentele principe is "schema-once, data-many": veldnamen worden slechts één keer per entiteit gedeclareerd, waarna de waarden in kolomvorm worden weergegeven.

Kernkenmerken van het formaat:

• Schema-één keer: Veldnamen worden bovenaan de entiteit gedeclareerd en niet per record herhaald.
• Kolomgestructureerde data: Waarden worden gescheiden door een pijpteken (|) in rijen.
• Geneste hiërarchie: In plaats van accolades ({}) of haken ([]) gebruikt ONTO inspringing (indentatie) om hiërarchie weer te geven.
• Speciale symbolen:
  • |: Scheidt waarden binnen een veld.
  • ^: Scheidt elementen binnen een array (bijv. a^b).
  • Backticks (`): Dwingen string-interpretatie af.
• Type-inferentie: De parser infereert automatisch types (integer, float, boolean, null) op basis van patronen.

Voorbeeld:
In JSON zouden 3 sensorrecords honderden tokens kosten door herhaling. In ONTO ziet dit er als volgt uit:

Telemetry [3]:
device_id: sensor-001|sensor-002|sensor-003
temperature: 23.5|24.1|22.9
location:
  lat: 37.77|37.78|37.79
  lon: -122.41|-122.42|-122.43

3. Belangrijkste Bijdragen

1. Probleemdefinitie: Het identificeren van LLM-invoer als een distinct probleem ten opzichte van documentuitwisseling, met andere optimalisatiecriteria (geen noodzaak voor redundante schema's per record).
2. Formaatontwerp: De creatie van ONTO, een notatie die 46–51% tokens bespaart ten opzichte van JSON, terwijl menselijke leesbaarheid en ondersteuning voor geneste data behouden blijven.
3. Empirische validatie: Bewijs van stabiele tokenreductie over verschillende datasetgroottes (100 tot 1.000 records) en structuren (vlak, genest, gemengd), zonder degradatie van het begrip door het LLM.
4. Ablatie-analyse: Gedetailleerde ontleding van waar de besparingen vandaan komen (voornamelijk eliminatie van sleutelherhaling) en de kosten van inspringing voor geneste data.
5. Open implementatie: Publicatie van een Python-parser, benchmark-suite en synthetische datasets voor reproduceerbaarheid.

4. Resultaten

De evaluatie is uitgevoerd op drie synthetische datasets (IoT-telemetrie, Systeemmetrieken, Logboekvermeldingen) en getest met modellen zoals Qwen2.5-7B en GPT-5.4-mini.

• Token-efficiëntie:

  • 46–51% reductie in tokenaantal vergeleken met JSON bij 1.000 records.
  • De verhouding blijft stabiel naarmate de dataset groeit (lineaire schaling).
  • Oorzaak van besparing: De eliminatie van per-record veldnamen (sleutels) is verantwoordelijk voor meer dan 100% van de bruto besparing (omdat de besparing groter is dan de totale overhead van JSON). Puntreductie (haken, komma's) is secundair.
  • Geneste data: Geneste data (bijv. locatie-coördinaten) toont een iets lagere reductie (46,3%) dan vlakke data (50,8%) vanwege de tokenkosten van inspringing (ongeveer 5.000 extra tokens voor 1.000 records met één niveau diept).

• Latentie:

  • Er is een 5–10% verbetering in inferentielatentie (Time-to-First-Token en totale tijd) waargenomen.
  • De relatie is sublineair: een 46% reductie in tokens leidt tot een 10% snellere inferentie, wat logisch is aangezien niet alle kosten lineair met de contextlengte meegaan.

• Begrip en Nauwkeurigheid:

  • Er is geen significante degradatie in de taaknauwkeurigheid van het LLM voor zoekopdrachten, tellingen, extractie en aggregatie.
  • In sommige gevallen (zoals het tellen van records) presteerde ONTO zelfs beter dan JSON, waarschijnlijk omdat de structuur duidelijker is voor het model.
  • De "warme prompt" (een korte uitleg over het formaat) voegt verwaarloosbare overhead toe (<0,02s) en verbetert de prestaties.

5. Betekenis en Conclusie

Het paper toont aan dat het optimaliseren van de serialisatie voor LLM-invoer een cruciale, maar vaak over het hoofd geziene stap is in de implementatie van operationele AI-systemen.

• Economische impact: Een 50% reductie in tokens halveert direct de invoerkosten van API-aanroepen.
• Technische niche: ONTO vult een gat in het serialisatielandschap: het combineert kolom-efficiëntie (geen herhaling) met volledige ondersteuning voor geneste hiërarchieën en menselijke leesbaarheid.
• Toepassingsgebied: Het is ideaal voor het verwerken van grote, gestructureerde datasets (telemetrie, logs) voordat deze in prompts worden ingevoegd. Het is niet bedoeld als vervanging voor JSON in API-communicatie of voor persistente opslag.

De auteurs concluderen dat als LLM's evolueren van conversatie-assistenten naar systemen voor operationele intelligentie, serialisatie-optimalisatie een praktische noodzaak wordt. De implementatie en specificaties zijn open-source beschikbaar gesteld.