Context Engineering for AI Agents in Open-Source Software
Diese Arbeit präsentiert eine vorläufige Untersuchung von 466 Open-Source-Projekten, um die Einführung, die Inhaltsstruktur und die Evolution von AGENTS.md-Dateien zu untersuchen, wobei signifikante Variationen darin aufgedeckt werden, wie Entwickler Kontext für KI-Agenten bereitstellen, was das Potenzial für zukünftige Forschung zur Optimierung des Context Engineering zur Verbesserung der generierten Codequalität hervorhebt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie stellen einen brillanten, superschnellen neuen Praktikanten ein, der Ihnen helfen soll, eine komplexe Maschine zu bauen. Dieser Praktikant ist ein KI-Agent. Wenn Sie einfach nur sagen: „Repariere den Motor“, könnte er falsch raten, weil er Ihre spezifischen Regeln, Ihre bevorzugten Werkzeuge oder die Art und Weise, wie Ihr Team normalerweise arbeitet, nicht kennt.
In diesem Papier geht es um eine neue Art, diesem Praktikanten ein „Benutzerhandbuch“ zu geben, das speziell für einen Roboter geschrieben wurde, nicht für einen Menschen.
Hier ist die Aufschlüsselung der Forschung in einfachen Worten:
Das Problem: Der Praktikant braucht ein Handbuch
In der Vergangenheit nutzten Softwareentwickler Tools wie GitHub Copilot, um beim Schreiben von Code zu helfen. Jetzt haben wir „KI-Agenten“, die mehr Arbeit eigenständig erledigen können, wie zum Beispiel Fehler zu beheben oder ganze Funktionen zu erstellen. Aber genau wie ein menschlicher Mitarbeiter muss auch eine KI die Unternehmenskultur und die Regeln verstehen, um gute Arbeit zu leisten.
Anbieter (die Unternehmen, die die KI herstellen) schlugen vor, dass Entwickler eine spezielle Datei in ihrem Projektordner erstellen. Betrachten Sie diese Datei als ein digitales „Mitarbeiterhandbuch“ für die KI. Sie sagt der KI Dinge wie:
- „Wir benennen unsere Variablen immer auf diese Weise.“
- „Berühre niemals direkt die Hauptdatei.“
- „So testen wir unseren Code.“
Vor kur_zem wurde ein Standardformat namens AGENTS.md erstellt, damit alle diese KI-Tools dasselbe Arten von Handbuch lesen können.
Die Studie: Die Handbücher überprüfen
Die Forscher wollten sehen, ob reale Softwareprojekte diese Handbücher tatsächlich verwenden und, falls ja, wie sie aussehen. Sie machten eine digitale Schatzsuche durch 10.000 Open-Source-Softwareprojekte (Projekte, bei denen der Code für jeden frei einsehbar und nutzbar ist).
1. Wie viele Leute nutzen sie? (Adoption)
Sie fanden heraus, dass nur 466 Projekte (etwa 5 %) eines dieser KI-Handbücher erstellt hatten.
- Analogie: Es ist, als würde man in ein riesiges Bürogebäude mit 10.000 Räumen gehen und feststellen, dass nur in wenigen Räumen ein Schild mit der Aufschrift „Regeln für neue Mitarbeiter“ aufgestellt wurde. Wir befinden uns noch in der sehr frühen Phase dieses Trends.
2. Was ist in den Handbüchern enthalten? (Inhalt & Stil)
Die Forscher untersuchten die 155 AGENTS.md-Dateien genauer. Sie entdeckten zwei Hauptdinge:
Kein Standardrezept: Es gibt kein einzelnes „richtiges“ Rezept, um diese Dateien zu schreiben. Einige sind kurz, andere lang. Einige listen Regeln auf, andere beschreiben nur, wie Dinge funktionieren.
Verschiedene „Stimmen“: Die Art und Weise, wie Entwickler mit der KI sprechen, variiert stark. Die Forscher kategorisierten die Schreibstile in fünf Typen:
- Deskriptiv (Beschreibend): „So machen wir die Dinge.“ (Nur Fakten feststellen)
- Präskriptiv (Vorschreibend): „Mach es auf diese Weise.“ (Direkte Befehle geben)
- Prohibitiv (Verbietend): „Tu dies NICHT.“ (Grenzen setzen)
- Explikativ (Erklärend): „Tu dies, weil...“ (Einen Grund angeben)
- Konditional (Bedingt): „Wenn X passiert, dann tue Y.“ (Situative Logik angeben)
Analogie: Stellen Sie sich 155 verschiedene Manager vor, die versuchen, ein Regelbuch für denselben Praktikanten zu schreiben. Ein Manager schreibt eine strenge Liste von „Don'ts“, ein anderer schreibt eine freundliche Geschichte darüber, wie das Team arbeitet, und ein dritter erstellt ein komplexes „Wenn/Dann“-Flussdiagramm. Es gibt noch keine Konsistenz.
3. Verändern sich die Handbücher im Laufe der Zeit? (Evolution)
Die Forscher verfolgten, wie sich diese Dateien im Laufe der Zeit veränderten, indem sie die „Commit-Historie“ (das Versionskontrollprotokoll) betrachteten.
- Stabilität: Etwa die Hälfte der Dateien wurde nach ihrer Erstellung nie wieder geändert.
- Feinabstimmung: Für die Dateien, die doch geändert wurden, waren die häufigsten Aktualisierungen das Hinzufügen neuer Anweisungen oder das Anpassen bestehender Anweisungen.
- Analogie: Sob wenn ein Manager das Regelbuch schreibt, lässt er es oft in Ruhe. Aber wenn er es doch einmal aktualisiert, fügt er meistens nur eine neue Regel hinzu oder präzisiert eine alte, anstatt das ganze Ding neu zu schreiben.
Das große Fazit
Das Papier kommt zu dem Schluss, dass wir uns derzeit in einer „Wilden Westen“-Phase des Context Engineering befinden. Entwickler experimentieren damit, wie man mit KI-Agenten spricht, aber sie haben sich noch nicht auf eine Standardmethode geeinigt.
Die Forscher sehen diese Dateien als ein einzigartiges „natürliches Laboratorium“. Da diese Dateien öffentlich und versionskontrolliert sind, können wir in Echtzeit beobachten, wie Menschen lernen, mit KI-Agenten zu „sprechen“. Das Ziel ist nicht, den Entwicklern jetzt vorzugeben, was sie tun sollen, sondern zu verstehen, wie sie es derzeit selbst herausfinden, damit wir ihnen schließlich helfen können, es besser zu machen.
Kurz gesagt: Entwickler beginnen, Regelbücher für ihre KI-Helfer zu schreiben, aber im Moment sieht jedes Regelbuch anders aus, und noch niemand ist sicher, welcher Stil am besten funktioniert.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.