Structured Context Engineering for File-Native Agentic Systems: Evaluating Schema Accuracy, Format Effectiveness, and Multi-File Navigation at Scale
Diese Studie zeigt, dass bei der Entwicklung von Agenten für strukturierte Daten die Wahl des zugrunde liegenden Modells den entscheidenden Einfluss auf die Genauigkeit hat, während architektonische Entscheidungen wie Dateibasis oder Datenformat je nach Modelltyp unterschiedlich wirken und keine universellen Best Practices existieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Wie gibt man dem Roboter die richtigen Bücher?
Stellen Sie sich vor, Sie haben einen super-smarten Bibliothekar (die KI). Er soll Ihnen genau die richtigen Informationen aus einer riesigen Datenbank holen, um eine Frage zu beantworten (z. B. "Wie viele Kunden haben im letzten Jahr in Berlin gekauft?").
Das Forschungsprojekt von Damon McMillan hat untersucht: Wie sollte man diesem Bibliothekar die Informationen geben, damit er die Aufgabe perfekt erledigt?
Es gab zwei Hauptmethoden, die getestet wurden:
- Die "Alles-auf-einen-Haufen"-Methode (Prompt Engineering): Man legt dem Roboter einen riesigen Stapel Papier (die gesamte Datenbank-Struktur) direkt auf den Schreibtisch. Er muss alles auf einmal lesen.
- Die "Suche-im-Regal"-Methode (File-Native Agents): Man gibt dem Roboter einen kleinen Hinweis, wo er suchen soll, und er darf selbst mit einem Suchwerkzeug (wie
grep) durch die Regale laufen und sich nur die relevanten Seiten heraussuchen.
Die wichtigsten Entdeckungen (in Alltagssprache)
1. Nicht jeder Roboter mag das "Suchen im Regal"
Das ist die vielleicht überraschendste Erkenntnis.
- Die Super-Roboter (Frontier-Modelle wie Claude, GPT-5): Diese sind so schlau, dass sie die "Suche-im-Regal"-Methode lieben. Sie werden dadurch sogar noch genauer (+2,7 %). Sie können selbstständig entscheiden, was wichtig ist.
- Die günstigen Roboter (Open-Source-Modelle): Hier wird es knifflig. Manche dieser Roboter werden durch das selbstständige Suchen verwirrt und machen mehr Fehler (-7,7 %). Es ist, als würde man einem Anfänger-Lernling sagen: "Such dir selbst die Seite aus", während er eigentlich lieber eine klare Anweisung hätte.
- Fazit: Man muss die Arbeitsweise an die Intelligenz des Roboters anpassen. Einem Genie gibt man Freiheit, einem Anfänger klare Anweisungen.
2. Die Form der Bücher ist egal (meistens)
Die Forscher haben getestet, ob es einen Unterschied macht, ob die Daten in YAML, Markdown, JSON oder einem neuen, kompakten Format namens TOON geschrieben sind.
- Das Ergebnis: Im Großen und Ganzen macht es keinen Unterschied, ob die Informationen in einer Liste, einer Tabelle oder einem Textblock stehen. Die Genauigkeit bleibt gleich.
- Aber: Manche Roboter sind wie Menschen, die bestimmte Schriftarten bevorzugen. Ein Roboter mag vielleicht YAML, ein anderer Markdown. Aber für die meisten ist es egal.
3. Der "Super-Roboter" ist wichtiger als alles andere
Der wichtigste Faktor ist nicht die Methode oder das Format, sondern wie schlau der Roboter überhaupt ist.
- Der Unterschied zwischen einem hochintelligenten Modell und einem einfachen Open-Source-Modell ist riesig (21 Prozentpunkte).
- Vergleich: Es bringt nichts, dem Roboter das perfekte Buch in der perfekten Schriftart zu geben, wenn er gar nicht lesen kann. Man sollte zuerst in einen besseren Roboter investieren, bevor man sich Sorgen um die Buchform macht.
4. Die Bibliothek kann riesig sein (bis zu 10.000 Regale!)
Kann ein Roboter in einer Bibliothek mit 10.000 Regalen noch zurechtkommen?
- Ja! Wenn man die Bibliothek in Abteilungen einteilt (z. B. "Kunden", "Produkte", "Bestellungen").
- Der Roboter sucht dann nur in der richtigen Abteilung. So bleibt die Aufgabe überschaubar, egal wie groß die Bibliothek wird.
5. Der "Grep-Steuer"-Effekt (Das versteckte Problem)
Das ist eine sehr interessante Entdeckung über Effizienz.
- Man dachte vielleicht: "Je kompakter das Format, desto schneller und billiger ist es."
- Die Realität: Manchmal ist das Gegenteil der Fall. Ein sehr kompaktes Format (TOON) kann den Roboter verwirren, weil er die "Suchmuster" nicht kennt.
- Die Analogie: Stellen Sie sich vor, Sie suchen in einem Text nach dem Wort "Tisch".
- In einem normalen Text (YAML) steht dort klar:
Tisch: Holz. - In einem kompakten Text (TOON) steht dort:
T. - Der Roboter denkt: "Moment, ist das ein 'T' für 'Tisch' oder für 'Tomate'?" Er muss dann mehrmals suchen, mehr Fragen stellen und verbraucht dabei mehr Energie (Tokens). Das nennt die Forscher "Grep-Steuer".
- In einem normalen Text (YAML) steht dort klar:
- Lektion: Ein kompaktes Format spart Speicherplatz, kann aber mehr Rechenzeit kosten, wenn der Roboter das Format nicht kennt.
Was bedeutet das für die Praxis? (Die einfache Anleitung)
Wenn Sie heute einen KI-Agenten für Ihr Unternehmen bauen wollen:
- Wählen Sie den richtigen Roboter: Wenn Sie ein hochintelligentes Modell (wie Claude oder GPT-5) nutzen, lassen Sie es selbstständig in Dateien suchen. Wenn Sie ein günstigeres Modell nutzen, geben Sie ihm lieber alles direkt in die Hand (in den Prompt).
- Format ist zweitrangig: Nutzen Sie das Format, das für Ihre Entwickler am einfachsten zu warten ist (meistens YAML oder Markdown). Es macht keinen großen Unterschied für die Genauigkeit.
- Vorsicht bei neuen Formaten: Wenn Sie ein neues, super-kompaktes Format erfinden, geben Sie dem Roboter eine kleine Anleitung, wie er darin suchen soll, sonst zahlt er die "Grep-Steuer".
- Teilen Sie große Daten auf: Bei riesigen Datenbanken teilen Sie die Informationen in sinnvolle Gruppen auf, damit der Roboter nicht den Überblick verliert.
Zusammenfassend: Es gibt keine "eine beste Lösung" für alle. Man muss die Strategie an die Intelligenz des gewählten KI-Modells anpassen. Ein Genie braucht Freiheit, ein Lernender braucht klare Anweisungen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.