daVinci-Agency: Unlocking Long-Horizon Agency Data-Efficiently
Das Papier stellt daVinci-Agency vor, ein dateneffizientes Framework, das authentische Pull-Request-Sequenzen nutzt, um hochwertige Trainingsdaten für langwierige Prozesse (long-horizon) für Large Language Models zu synthetisieren, was signifikante Leistungssteigerungen in komplexen agentischen Workflows ohne prohibitive Annotationskosten ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Die „kurze Aufmerksamkeitsspanne“ der KI
Stellen Sie sich vor, Sie haben einen brillanten Schüler, der großartig darin ist, einzelne Fragen zu beantworten, wie „Was ist 2+2?“ oder „Schreibe ein Gedicht über eine Katze“. Dieser Schüler ist ein Large Language Model (LLM).
Wenn Sie diesen Schüler jedoch bitten würden, ein Haus zu bauen, hätte er Schwierigkeiten. Er würde vielleicht das Fundament legen, dann aber vergessen, dass er ein Dach benötigt, oder er würde eine Wand an der falschen Stelle bauen und dies erst ganz am Ende bemerken. In der Welt der KI nennt man das eine Long-Horizon-Aufgabe (eine Aufgabe mit langem Zeithorizont). Es ist ein Job, der viele Schritte erfordert, bei dem Fehler, die früh gemacht werden, das gesamte Projekt später ruinieren können.
Die Arbeit argumentt, dass aktuelle KI-Modelle bei diesen langen Aufgaben scheitern, weil sie nicht mit Daten trainiert wurden, die ihnen zeigen, wie man vorausschauend plant, konsistent bleibt und die eigenen Fehler über einen langen Zeitraum hinweg korrigiert.
Die Lösung: Lernen von der „Software-Evolution“
Die Autoren (von SII, SJTU und GAIR) erkannten, dass der beste Weg, eine KI darauf zu trainieren, lange, komplereme Projekte zu bewältigen, darin besteht, sich anzusehen, wie echte Menschen Software entwickeln.
Die Analogie: Die „Pull Request“-Kette
In der Softwareentwicklung reicht ein Programmierer, wenn er ein Feature hinzufügen oder einen Bug beheben möchte, nicht einfach den fertigen Code ab. Er reicht einen „Pull Request“ (PR) ein.
- Schritt 1: Er reicht eine kleine Änderung ein (PR #15).
- Schritt 2: Die Reviewer sagen: „Das sieht gut aus, aber du hast ein Sicherheitsnetz vergessen.“
- Schritt 3: Der Programmierer behebt dies und reicht eine neue Änderung ein (PR #21), die auf der ersten aufbaut.
- Schritt 4: Dies setzt sich über mehrere Runden fort, bis das Feature perfekt ist.
Die Autoren nennen dies eine „Chain of Pull Requests“ (eine Kette von Pull Requests). Es ist wie eine Geschichte, in der jedes Kapitel vom vorherigen abhängt und die Charaktere (der Code) sich im Laufe der Zeit weiterentwickeln und verbessern.
Die Innovation: daVinci-Agency
Das Team entwickelte ein neues System namens daVinci-Agency. Anstatt künstliche Szenarien zu erfinden oder Menschen dafür zu bezahlen, lange Geschichten zu schreiben, damit die KI daraus lernt (was teuer und langsam ist), gingen sie zu GitHub (einer riesigen Bibliothek echter Softwareprojekte) und ernteten diese natürlichen „Chains of Pull Requests“.
Sie verwandelten diese realen Softwareentwicklungs-Geschichten in Trainingsdaten.
- Das Training: Sie nahmen ein Modell (GLM-4.6) und zeigten ihm diese Ketten.
- Die Lektion: Die KI lernte, dass sie, um erfolgreich zu sein, Folgendes tun muss:
- Dekomponieren: Ein großes Ziel in kleine, handhabbare Schritte zerlegen.
- Konsistent bleiben: Das ursprüngliche Ziel auch nach 50 Schritten im Gedächtnis behalten.
- Verfeinern: Ihre eigenen Fehler (Bugs) erkennen und beheben, ohne von vorne anzufangen.
Das „magische“ Ergebnis: Wenig Daten, große Gewinne
Normalerweise muss man eine KI mit Millionen von Beispielen füttern, um sie intelligenter zu machen.
- Der alte Weg: Training mit 66.000 Beispielen (wie andere Datensätze in der Arbeit).
- Der daVinci-Weg: Training mit nur 239 Beispielen.
Das Ergebnis:
Trotz der Verwendung von 200-mal weniger Daten war das Modell, das mit daVinci-Agency trainiert wurde, signifikant besser als Modelle, die mit massiven Datensätzen trainiert wurden.
- Bei einem Test namens Toolathlon (bei dem die KI Werkzeuge nutzen muss, um Probleme zu lösen), verbesserte sich das Modell um 47 %.
- Auch auf SWE-bench (ein Test zur Behebung echter Software-Bugs) erzielte es deutlich höhere Werte.
Warum? Weil die 239 Beispiele hochwertig waren. Sie waren nicht zufällig; es waren reale Geschichten darüber, wie komplexe Probleme über einen längeren Zeitraum gelöst werden. Die KI hat nicht nur Fakten auswendig gelernt; sie hat die Gewohnheit von Ausdauer und Korrektur gelernt.
Was die KI tatsächlich gelernt hat (Die „Meta-Fähigkeiten“)
Die Arbeit zeigt, dass die KI nicht nur besser im Programmieren wurde, sondern besser im Denken.
- Vorher: Wenn die KI einen Fehler machte, wurde sie verwirrt, verlor sich in irrelevanten Themen oder gab auf (ein Phänomen, das „Escapism“ genannt wird).
- Nachher: Wenn die KI einen Fehler machte, hielt sie inne, erkannte: „Warte, ich mache das falsch“, und korrigierte es. Sie lernte zu planen und auf Kurs zu bleiben.
Effizienz: Mehr erreichen mit weniger
Die Arbeit fand auch heraus, dass die neue KI effizienter ist.
- Analogie: Stellen Sie sich zwei Personen vor, die versuchen, ein Labyrinth zu lösen.
- Person A (Alte KI): Rennt in jede Sackgasse hinein, schreit und versucht 100 verschiedene falsche Wege.
- Person B (daVinci-KI): Schaut auf die Karte, sieht die Sackgassen und nimmt den direkten Weg.
- Die daVinci-trainierte KI verwendete weniger Wörter (Tokens) und weniger Tool-Klicks, um dieselben Probleme zu lösen. Sie verschwendete keine Energie durch Verwirrung.
Die „Skalierungs“-Entdeckung
Schließlich testeten die Autoren, was passiert, wenn man die Trainingsgeschichten noch länger macht.
- Sie fanden heraus, dass die KI noch besser wurde, wenn sie auf Ketten mit mehr Schritten (längeren Pull-Request-Ketten) trainiert wurde.
- Dies deutet darauf hin, dass die KI umso besser darin wird, sehr lange, komplexe Probleme zu lösen, je mehr sie das „Langstrecken-Denken“ übt.
Zusammenfassung
daVinci-Agency ist eine neue Art, KI-Agenten zu trainieren. Anstatt sie zu zwingen, Millionen kurzer, künstlicher Aufgaben auswendig zu lernen, lehrt sie dies durch das Zeigen von echten, langen Geschichten darüber, wie Menschen Software bauen. Durch das Lernen aus diesen natürlichen „Ereignisketten“ lernt die KI zu planen, konsistent zu bleiben und ihre eigenen Fehler zu korrigieren, wodurch sie mit weit weniger Daten viel intelligenter und effizienter wird als bisher.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.