ContextCov: Deriving and Enforcing Executable Constraints from Agent Instruction Files
Die Arbeit stellt ContextCov vor, ein Framework, das passive Agent-Anweisungen in aktive, ausführbare Guardrails umwandelt, um durch statische Analyse, Shell-Interzeption und Architekturvalidierung das „Context Drift" von LLM-Agenten zu verhindern und so die Einhaltung von Projektstandards sicherzustellen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stell dir vor, du hast einen hochintelligenten, aber manchmal etwas chaotischen Assistenten namens „KI-Agent". Dieser Assistent soll für dich Software programmieren. Du gibst ihm eine Liste mit Regeln, wie er arbeiten soll (z. B. „Benutze immer pnpm statt npm" oder „Baue keine Kreisläufe in den Code ein"). Diese Liste nennst du Agent Instructions (z. B. eine Datei namens AGENTS.md).
Das Problem ist: Diese Liste ist nur passiver Text. Sie liegt da wie ein vergessenes Post-it am Kühlschrank. Der Assistent liest sie vielleicht, aber wenn er in Eile ist, sich in einem alten Code-Teil verirrt oder einfach nur einen anderen Weg für schneller hält, ignoriert er die Regeln. Er schreibt dann Code, der zwar funktioniert, aber gegen deine Regeln verstößt. Das nennen die Autoren Context Drift (Kontext-Drift) – der Assistent driftet langsam von deinen Anweisungen ab.
Über die Zeit häufen sich diese kleinen Verstöße an, wie kleine Risse in einem Damm, bis das ganze Projekt instabil wird.
Hier kommt ContextCov ins Spiel.
Die Lösung: Vom Post-it zum Sicherheitsgurt
Stell dir vor, du hast einen automatischen Sicherheitsgurt für deinen Assistenten. ContextCov ist genau das: Ein Werkzeug, das deine passiven Text-Regeln in aktive, ausführbare Sicherheitschecks verwandelt.
Es funktioniert in drei einfachen Schritten, die wir mit einer Küchen-Koch-Analogie erklären können:
1. Die Rezeptsammlung (Extraktion)
Stell dir vor, dein Chef (der Entwickler) schreibt ein Rezeptbuch. Darin steht: „Im Abschnitt 'Hauptgericht' immer frische Kräuter verwenden."
Ein normaler Text-Parser würde das vielleicht falsch verstehen und denken: „Ah, im ganzen Buch müssen Kräuter verwendet werden."
ContextCov ist wie ein sehr aufmerksamer Koch, der genau hinschaut. Er versteht die Hierarchie: „Aha, diese Regel gilt nur für das Hauptgericht, nicht für den Salat." Er nimmt die Regel und schreibt sie in eine klare, eindeutige Anweisung um, die kein Missverständnis zulässt.
2. Der Spezial-Team (Synthese)
Jetzt muss diese Anweisung in eine Handlung übersetzt werden. ContextCov hat drei Spezialisten im Team, je nachdem, um welche Art von Regel es geht:
- Der Türsteher (Prozess-Checks):
- Die Regel: „Benutze niemals den alten Mixer (npm), nur den neuen (pnpm)."
- Die Aktion: Der Türsteher steht direkt vor der Tür zur Küche (dem Terminal). Wenn der Assistent versucht, den alten Mixer zu starten, hält ihn der Türsteher auf: „Stopp! Das ist verboten!" und gibt ihm sofort den neuen Mixer in die Hand. Der Assistent merkt sofort, dass er einen Fehler gemacht hat, bevor er überhaupt etwas kaputtgemacht hat.
- Der Qualitätskontrolleur (Quellcode-Checks):
- Die Regel: „Schreibe keine Sätze mit zu vielen Klammern."
- Die Aktion: Ein Roboter-Scanner (Tree-sitter) liest jeden Satz (Code-Zeile), den der Assistent schreibt. Wenn er eine unnötige Klammer sieht, sagt er: „Moment mal, hier steht
(x) => x, aber die Regel sagtx => x. Korrigiere das sofort!"
- Der Architekt (Architektur-Checks):
- Die Regel: „Die Küche darf nicht direkt mit dem Keller verbunden sein."
- Die Aktion: Der Architekt zeichnet eine Karte aller Räume (Module). Wenn der Assistent versucht, eine Tür zwischen Küche und Keller zu bauen, sagt der Architekt: „Das geht nicht! Die Küche muss über den Flur zum Keller."
- Besonderheit: Bei sehr schwierigen Regeln (z. B. „Mache es so, dass es sich gut anfühlt") fragt der Architekt eine KI (LLM) um Rat, ob die Idee gut ist.
3. Die Rückkopplung (Enforcement)
Das Tolle an ContextCov ist, dass es nicht wartet, bis der Chef den Code am Ende des Tages prüft. Es greift sofort ein, während der Assistent arbeitet.
- Wenn der Assistent gegen eine Regel verstößt, bekommt er sofort eine klare Fehlermeldung: „Du darfst das nicht machen, weil Regel X besagt Y."
- Das zwingt den Assistenten, sofort nachzudenken und den Weg zu korrigieren.
Warum ist das so wichtig?
Früher haben wir Menschen den Code geprüft. Aber wenn KI-Agenten stundenlang autonom arbeiten, können wir nicht jeden Schritt überwachen.
- Ohne ContextCov: Der Assistent macht 100 kleine Fehler, die niemand sieht. Am Ende ist das Projekt ein Chaos.
- Mit ContextCov: Der Assistent wird sofort korrigiert. Die Regeln sind nicht mehr nur ein vergessenes Dokument, sondern lebendige Gesetze, die automatisch durchgesetzt werden.
Zusammenfassung in einem Satz
ContextCov verwandelt langweilige, oft ignorierte Regeltexte in einen unsichtbaren, aber strengen Sicherheitsgurt, der KI-Assistenten sofort zurückschubst, wenn sie versuchen, gegen die vereinbarten Spielregeln zu verstoßen – damit am Ende nicht nur schneller, sondern auch sauberer programmiert wird.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.