From Question Answering to Task Completion: A Survey on Agent System and Harness Design
Diese Umfrage schlägt ein Model-Harness-Framework für LLM-basierte Agenten vor, das den Fokus von passiver Beantwortung von Fragen hin zur aktiven Aufgabenbewältigung verschiebt, indem analysiert wird, wie die Kopplung zwischen Fundamentmodellen und Ausführungs-Runtimes – bestehend aus sechs Schlüsselverantwortlichkeiten – die Systemleistung, Zuverlässigkeit und Generalisierung bestimmt.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Es geht nicht nur um das Gehirn
Stellen Sie sich vor, Sie stellen einen brillanten Weltklasse-Koch (das KI-Modell) ein, um ein komplexes Mehrgänge-Menü für eine Dinnerparty zu kochen. Früher dachten die Leute, dass nur entscheidend sei, wie klug der Koch ist. Wenn der Koch jedes Rezept kannte, wäre das Essen perfekt.
Doch dieses Paper argumentet, dass der Koch nur die halbe Geschichte ist.
Wenn Sie diesem Koch einen kaputten Herd, keine Zutaten, eine verwirrende Speisekarte und niemanden geben, der ihm sagt, wenn die Suppe anbrennt, wird das Essen misslingen – selbst wenn der Koch ein Genie ist. Der „Herd“, die „Zutaten“ und der „Küchenmanager“ sind das, was die Autoren als Harness (das Gestell/die Umgebung) bezeichnen.
Die Kernaussage des Papers la ist: Die Leistung eines KI-Agenten hängt nicht nur davon ab, wie klug die KI ist, sondern wie gut die KI mit der „Küche“ (dem Harness) gepaart ist, in der sie arbeitet.
Die vier Phasen des Erwachsenwerdens
Die Autoren beschreiben, wie wir diese KI-„Agenten“ in vier aufeinanderfolgenden Stadien aufgebaut haben, ähnlich wie ein Kind, das aufwächst:
Phase 1: Der Prompt Engineer (Die „Bitte sei nett“-Phase)
- Die Analogie: Sie versuchen, einen klugen, aber schüchternen Schüler zu einer Antwort zu bewegen. Sie probieren verschiedene Wege, die Frage zu stellen: „Erkläre das bitte“, „Hier ist ein Beispiel“ oder „Denke Schritt für Schritt“.
- Das Limit: Man kann nicht unendlich viele nette Fragen stellen. Wenn der Schüler die Antwort nicht weiß oder wenn die Aufgabe erfordert, in die Bibliothek zu gehen, ein Buch zu öffnen und einen Bericht zu schreiben, hilft es nicht, nur nett zu fragen.
Phase 2: Der Context Engineer (Die „Bibliotheksassistent“-Phase)
- Die Analogie: Nun merken Sie, dass der Schüler Hilfe dabei braucht, die richtigen Bücher zu finden. Sie bauen ein System, das die richtigen Seiten abruft, sie zusammenfasst und dem Schüler übergibt, bevor er antwortet.
- Das Limit: Sie übergeben ihm immer noch nur Informationen. Wenn der Schüler anfängt, das Falsche zu schreiben, oder wenn er abgelenkt wird, haben Sie kein System, um ihn zu stoppen, seine Arbeit zu prüfen oder seine Fehler zu korrigieren.
Phase 3: Der Harness Engineer (Die „Projektleiter“-Phase)
- Die Analogie: Dies ist der große Wendepunkt. Sie geben nicht mehr nur Anweisungen, sondern bauen ein vollständiges Betriebssystem um den Schüler herum auf.
- Observation (Beobachtung): Sie geben ihm eine Kamera, damit er sieht, was passiert.
- Control (Steuerung): Sie haben einen Timer und einen Stopp-Knopf.
- Action (Aktion): Sie geben ihm eine Tastatur und eine Maus.
- Verification (Verifizierung): Sie haben einen Lehrer, der jeden Schritt prüft. Wenn der Schüler Code schreibt, der abstürzt, macht das System dies automatisch rückgängig und sagt: „Versuch es noch einmal.“
- Das Ergebnis: Das Paper zeigt, dass man allein durch die Neugestaltung dieser „Küche“ (des Harness) einen mittelmäßigen Koch dazu bringen kann, ein 5-Sterne-Menü zu kochen, oder einen Genie-Koch noch besser werden lässt.
- Die Analogie: Dies ist der große Wendepunkt. Sie geben nicht mehr nur Anweisungen, sondern bauen ein vollständiges Betriebssystem um den Schüler herum auf.
Phase 4: Die Co-Evolution-Phase (Die „Selbstverbessernde Team“-Phase)
- Die Analogie: Nun lernen der Schüler und der Küchenmanager voneinander. Der Schüler wird besser im Kochen, indem er in dieser spezifischen Küche übt, und der Küchenmanager wird besser im Management, indem er beobachtet, wie der Schüler kocht. Sie entwickeln sich gemeinsam weiter.
Die sechs Teile der „Küche“ (Die Anatomie des Harness)
Das Paper unterteilt diesen „Harness“ in sechs spezifische Aufgaben, wie eine gut organisierte Küchencrew:
- Observation (Die Augen): Wie sieht die KI die Welt? Schaut sie auf einen verschwommenen Screenshot oder auf eine klare, strukturierte Liste von Daten?
- Context (Das Gedächtnis): Welche Informationen erinnert sich die KI? Füttern wir sie mit dem gesamten Gesprächsverlauf oder nur mit den wichtigsten Notizen?
- Control (Der Dirigent): Wer entscheidet, was als Nächstes passiert? Läuft die KI einfach weiter, bis sie erschöpft ist, oder sagt ein Manager ihr, wann sie anhalten, um Hilfe bitten oder die Aufgabe wechseln soll?
- Action (Die Hände): Wie führt die KI Dinge tatsächlich aus? Kann sie auf einen Button klicken oder sagt sie nur „Ich habe darauf geklickt“? Der Harness verwandelt die Worte der KI in echte Handlungen.
- State (Der Aktenschrank): Wo speichert die KI ihre Arbeit? Wenn sie einen Entwurf schreibt, wird dieser in einer Datei gespeichert oder geht er verloren, wenn die Seite aktualisiert wird?
- Verification (Der Sicherheitsinspektor): Dies ist entscheidend. Bevor die KI eine Datei an einen Kunden sendet, läuft eine Sicherheitsprüfung? Wenn die KI einen gefährlichen Schritt macht, stoppt das System sie?
Warum das wichtig ist: Die Verschiebung des Engpasses (Bottleneck)
Das Paper untersuchte viele Tests (Benchmarks), bei denen KIs versuchen, echte Aufgaben zu erledigen, wie etwa Computer-Code zu reparieren oder im Internet zu surfen.
- Die alte Sichtweise: Wir dachten, wenn wir nur das KI-Gehirn größer und klüger machen, würde das alles lösen.
- Die neue Sichtweise: Das Paper fand heraus, dass das „Gehirn“ an eine Grenze gestoßen ist. Das Gehirn größer zu machen, bringt nur noch minimale Verbesserungen. Der eigentliche Engpass ist nun der Harness.
Der Beweis:
- In Coding-Tests erreichte dieselbe KI-Modell mit einem einfachen Harness eine Erfolgsquote von 23 %, aber mit einem besser gestalteten Harness eine Quote von 72 %.
- Es ist, als hätte man einen Ferrari-Motor (die KI), aber baut ihn in einen Fahrradrahmen (einen schlechten Harness) ein. Er wird nicht schnell fahren. Setzt man denselben Motor in ein Rennwagen-Chassis (einen guten Harness), gewinnt er das Rennen.
Das Fazit
Wir bewegen uns weg von der Vorstellung, die KI sei nur ein „Chatbot“, der Fragen beantwortet. Wir bauen autonome Arbeiter.
Um einen zuverlässigen Arbeiter zu bauen, darf man nicht nur das klügste Gehirn auswählen. Man muss die gesamte Umgebung gestalten, in der sie arbeiten:
- Was sehen sie?
- Welche Werkzeuge haben sie?
- Wer prüft ihre Arbeit?
- Wie erholen sie sich, wenn sie einen Fehler machen?
Das Paper kommt zu dem Schluss, dass die Zukunft der KI nicht nur aus größeren Modellen besteht, sondern aus einem besseren Engineering der Systeme, die diese Modelle umgeben. Die Qualität des Agenten ergibt sich aus der Partnerschaft zwischen dem Modell und seinem Harness.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.