Structured Context Engineering for File-Native Agentic Systems: Evaluating Schema Accuracy, Format Effectiveness, and Multi-File Navigation at Scale
Deze studie toont aan dat de prestaties van LLM-agenten bij het verwerken van gestructureerde data primair worden bepaald door het modelvermogen en de schaalbaarheid van de architectuur, terwijl de keuze voor contextformaat of bestandsgebaseerde retrieval sterk afhankelijk is van het specifieke model en geen universele beste praktijken biedt.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je voor dat je een zeer slimme, maar soms wat verwarde assistent hebt. Deze assistent (een AI-agent) moet complexe taken uitvoeren, zoals het opvragen van gegevens uit een gigantische database. De vraag die onderzoekers zich stelden, is: hoe geef je deze assistent de juiste instructies en informatie?
In dit onderzoek, getiteld "Structured Context Engineering", hebben ze gekeken of het beter is om de assistent een enorme stapel papieren (de volledige database) direct in zijn handen te duwen, of om hem een set gereedschappen te geven waarmee hij zelf de juiste pagina's kan opzoeken in een archief.
Hier is de uitleg in simpele taal, met een paar creatieve vergelijkingen:
1. De Grote Dilemma: De "Grote Stapel" vs. De "Zoekmachine"
Stel je voor dat je een detective bent die een moord moet oplossen.
- Optie A (Prompt Engineering): Je geeft de detective direct een pak van 6.000 pagina's met alle bewijsstukken, getuigenverklaringen en kaarten. Hij moet alles in één keer lezen en onthouden.
- Optie B (File-Native Agents): Je geeft de detective een set gereedschappen (zoals
grepenread). Hij mag zelf in het archief lopen, zoeken naar specifieke namen of adressen, en alleen die stukjes papier eruit halen die hij nu nodig heeft.
Wat ontdekten ze?
Het hangt af van hoe slim de detective is.
- De super-detectives (de duurste, slimste AI-modellen zoals Claude of GPT-5) werken beter met Optie B. Ze vinden het fijn om zelf te zoeken; het helpt hen om zich te focussen en fouten te vermijden.
- De beginner-detectives (de goedkopere, open-source modellen) raken in de war met Optie B. Ze weten niet precies hoe ze moeten zoeken, raken de weg kwijt en maken meer fouten. Voor hen werkt het beter om gewoon de hele stapel papieren te krijgen (Optie A), zodat ze alles in één keer kunnen zien.
2. De Vorm van de Informatie: Is het formaat belangrijk?
De onderzoekers keken of het uitmaakt hoe de informatie eruitziet. Ze gebruikten vier verschillende stijlen:
- YAML: Strak en gestructureerd (zoals een goed georganiseerd archiefkastje).
- Markdown: Leesbaar voor mensen (zoals een blogpost).
- JSON: Strikt voor computers (zoals een ingewikkeld formulier).
- TOON: Een heel compacte, nieuwe stijl (zoals een kortstondige notitie op een post-it).
Het verrassende resultaat:
Voor de meeste detectives maakt het niet uit welke vorm ze krijgen. Of het nu een blogpost of een formulier is, de slimheid van de detective zelf is veel belangrijker dan de vorm van het papier.
- Nuance: Sommige "beginners" (open-source modellen) hebben wel een voorkeur voor bepaalde vormen. Ze begrijpen Markdown soms beter dan JSON, of andersom. Maar voor de "super-detectives" maakt het weinig uit.
3. De "Grep-Heffing" (De Grep Tax)
Dit is misschien wel het coolste en belangrijkste punt.
Stel je voor dat je een compacte notitie (TOON) gebruikt. Die is klein en bespaart ruimte. Maar als je de detective vraagt om iets te zoeken in die compacte notitie, gebeurt er iets raars:
- Omdat de notitie zo compact is, zit er per regel heel veel informatie. Als de detective een regel opzoekt, krijgt hij ineens een grote hoeveelheid tekst terug.
- Omdat de detective de "taal" van die compacte notitie niet kent (het is nieuw voor hem), moet hij soms veel vaker zoeken voordat hij de juiste regel vindt. Hij probeert het, faalt, probeert het opnieuw, en blijft zoeken.
Dit noemen ze de "Grep Tax".
- De les: Een bestand dat op papier klein is (zoals TOON), kan in de praktijk duurder en trager zijn, omdat de AI meer "zoekpogingen" moet doen en meer tekst moet verwerken die hij niet direct begrijpt.
- De oplossing: Gebruik een standaard, rustige vorm (zoals YAML) die de AI makkelijk kan scannen, of leer de AI specifiek hoe hij naar die nieuwe vorm moet zoeken.
4. Schaal: Van een winkelwagentje naar een supermarkt
Ze testten ook hoe dit werkt als de database enorm groot wordt (van 10 tabellen tot 10.000 tabellen).
- Als je alles in één groot bestand zet, raakt de detective snel in de war.
- De oplossing? Verdelen in vakken. Stel je voor dat je een enorme bibliotheek hebt. In plaats van alles in één kamer te gooien, verdeel je het in afdelingen: "Boeken over dieren", "Boeken over auto's", etc.
- Met deze indeling (partitioning) kunnen de slimme detectives zelfs in een bibliotheek van 10.000 boeken perfect de juiste pagina vinden, zonder dat het hen iets kost.
Samenvatting voor de Praktijk
Wat betekent dit voor mensen die met AI werken?
- Kies je gereedschap op basis van je AI: Gebruik je een super-slimme AI? Laat hem dan zelf zoeken in bestanden (File-Native). Gebruik je een goedkopere AI? Geef hem dan gewoon de volledige tekst in de prompt.
- Houd het simpel: Gebruik een standaard formaat zoals YAML. Het is niet per se "slimmer" dan Markdown, maar het is vaak efficiënter en makkelijker te scannen.
- Pas op met "slimme" compacte formaten: Als je een heel kort, nieuw formaat gebruikt, kan het zijn dat je AI er meer tijd en geld aan kwijt is omdat hij er niet aan gewend is om te zoeken.
- De AI zelf is het belangrijkst: Of je nu de beste vorm of het slimste systeem kiest, het maakt minder uit dan het kiezen van een echt slim AI-model. Een slimme AI met een "slecht" systeem doet het vaak beter dan een domme AI met een "perfect" systeem.
Kortom: Pas je aanpak aan op de intelligentie van je assistent, en zorg dat hij niet in de war raakt door te veel of te onduidelijke informatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.