💬 NLP

Self-Harness: Harnesses That Improve Themselves

Dieses Paper stellt Self-Harness vor, ein neuartiges Paradigma, bei dem LLM-basierte Agenten iterativ ihre eigenen Fehlermuster identifizieren und autonom modellspezifische Harness-Modifikationen generieren, validieren und implementieren, um die Leistung ohne menschliches Eingreifen signifikant zu verbessern.

Ursprüngliche Autoren: Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu

Veröffentlicht 2026-06-09

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hangfan Zhang, Shao Zhang, Kangcong Li, Chen Zhang, Yang Chen, Yiqun Zhang, Lei Bai, Shuyue Hu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie haben einen brillanten neuen Mitarbeiter (das KI-Modell), der unglaublich klug ist, aber Ihr spezielles Büro noch nie gesehen hat. Sie geben ihm eine Aufgabe, aber er macht immer wieder dieselben dummen Fehler: Er vergisst, seine Arbeit zu speichern, bleibt in Endlosschleifen hängen, in denen er ständig um Hilfe bittet, oder er versteht Ihr Ablagesystem nicht.

Normalerweise müsste ein menschlicher Manager sich daneben setzen, den Mitarbeiter scheitern lassen und dann manuell dessen „Regelwerk“ (das Harness) umschreiben, um diese Probleme zu beheben. Das kostet viel Zeit, und wenn Sie morgen einen anderen Typ von Mitarbeiter einstellen, müssen Sie das Regelwerk schon wieder komplett neu schreiben, weil dieser andere Gewohnheiten hat.

Self-Harness ist eine neue Idee, bei der der Mitarbeiter sein eigenes Regelwerk selbst korrigiert.

So erklärt das Paper die Idee unter Verwendung einfacher Analogien:

Der Drei-Schritte-„Selbstverbesserungs“-Zyklus

Das Paper beschreibt einen Prozess, bei dem die KI als ihr eigener Manager agiert und durch drei verschiedene Phasen geht, um sich ohne menschliche Hilfe oder einen „überlegenen“ KI-Chef zu verbessern.

1. Schwächen-Mining (Der Detektiv)
Anstatt nur auf einen einzelnen Fehler zu schauen, durchläuft die KI eine Reihe von Aufgaben und sammelt einen Stapel „Tatortberichte“ (fehlgeschlagene Versuche). Sie gruppiert diese Fehler zusammen.

Analogie: Stellen Sie sich vor, die KI bemerkt: „Hey, ich bin bei drei verschiedenen Aufgaben gescheitert, weil ich vergessen habe, meine Datei zu speichern, bevor ich abgelenkt wurde.“ Sie sagt nicht einfach nur „Ich habe versagt“; sie identifiziert ein spezifisches Fehlermuster.

2. Harness-Vorschlag (Der Architekt)
Basierend auf diesen Mustern schlägt die KI eine winzige, spezifische Änderung für ihr eigenes Regelwerk vor.

Analogie: Die KI sagt: „Okay, ich weiß, dass ich ständig das Speichern vergesse. Lass uns eine kleine Regel in mein Handbuch aufnehmen: ‚Bevor du eine neue Aufgabe beginnst, musst du deine aktuelle Arbeit speichern.‘“
Entscheidend ist: Die KI schreibt nicht das ganze Handbuch um. Sie nimmt nur die kleinste, zielgerichtetste Änderung vor, die nötig ist, um dieses spezifische Problem zu lösen. Sie schlägt verschiedene Ideen vor, um zu sehen, welche am besten funktioniert.

3. Vorschlagsvalidierung (Der strenge Richter)
Dies ist der wichtigste Sicherheitsschritt. Die KI testet ihr neues Regelwerk an einem Satz neuer Aufgaben, die sie zuvor noch nicht gesehen hat.

Analogie: Denken Sie an dies als einen „Regressionstest“. Die KI fragt sich: „Wenn ich dieser neuen Regel folge, werde ich dann besser in den Aufgaben, in denen ich bereits gut war, und behebe ich gleichzeitig die neuen Fehler?“
Wenn die neue Regel die KI in irgendeinem Bereich schlechter macht, wird die Idee abgelehnt. Wenn sie hilft, ohne etwas zu beeinträchtigen, wird die neue Regel offiziell in das Regelwerk aufgenommen.

Was geschah in den Experimenten?

Die Forscher testeten dies an drei sehr unterschiedlichen KI-Modellen (MiniMax, Qwen und GLM) unter Verwendung eines Benchmarks namens Terminal-Bench-2.0, was wie ein Videospiel funktioniert, in dem die KI ein Computerterminal nutzen muss, um Rätsel zu lösen.

Der Ausgangspunkt: Sie gaben allen drei KIs ein sehr einfaches, „minimalistisches“ Regelwerk.
Das Ergebnis: Nachdem sie diesen Selbstverbesserungszyklus durchlaufen hatten, wurden alle drei KIs deutlich besser im Lösen der Rätsel.
- Eine KI verbesserte sich von etwa 40 % der gelösten Aufgaben auf über 60 %.
- Eine andere von 23 % auf 38 %.
- Die dritte von 42 % auf 57 %.

Der „Aha!“-Moment: Unterschiedliche KIs brauchen unterschiedliche Korrekturen

Das Paper fand etwas Faszinierendes heraus: Die „Korrektur“ war nicht für alle gleich. Da die KIs unterschiedliche „Persönlichkeiten“ oder Denkweisen haben, benötigten sie unterschiedliche Änderungen am Regelwerk.

MiniMax war gut im Erkunden, aber schlecht im Abschließen. Die Lösung? Eine Regel, um „die finale Datei frühzeitig zu erstellen“ und „aufzuhören zu loopen, wenn man zu oft um Hilfe gebeten hat“.
Qwen war gut im Anfangen, löschte aber versehentlich immer wieder die eigene Arbeit. Die Lösung? Eine Regel, um „zuerst Abhängigkeiten zu prüfen“ und „eine Datei niemals zu löschen, wenn man sich nicht sicher ist“.
GLM blieb in langen Forschungsphasen stecken und baute am Ende nie etwas auf. Die Lösung? Eine Regel, um „nach einer gewissen Zeit vom Erkunden zum Bauen zu wechseln“.

Das große Fazit

Das Paper kommt zu dem Schluss, dass wir nicht immer einen menschlichen Experten oder eine „superintelligente“ KI brauchen, um diese Systeme zu korrigieren. Wenn wir einer KI die richtigen Werkzeuge geben, um ihre eigenen Fehler zu beobachten, und die Disziplin, nur Änderungen zu akzeptieren, die nachweislich funktionieren, kann sie ihr eigenes Betriebssystem entwickeln.

Es ist wie ein Charakter in einem Videospiel, der, nachdem er mehrmals gestorben ist, die perfekte Strategie findet, um das Level zu bestehen, und dann sein eigenes „Spickzettel“ für die nächste Runde selbstständig aktualisiert. Das Paper zeigt, dass dies möglich ist, selbst mit einem sehr einfachen Ausgangspunkt.

Technisches Resümee: Self-Harness

Problemstellung

Die Leistungsfähigkeit von auf Large Language Models (LLM) basierenden Agenten wird nicht nur durch deren Basismodell-Gewichte bestimmt, sondern auch durch ihr Harness – die umgebende Systemschicht, die aus System-Prompts, Werkzeugen, Gedächtnis, Verifizierungsregeln und Laufzeitrichtlinien besteht. Während menschliche Experten derzeit diese Harnesses entwickeln, stößt dieses Paradigma auf Skalierungsprobleme, da LLMs zunehmend diverser werden und sich rasant entwickeln. Ein für ein Modell optimiertes Harness erweist sich oft als suboptimal für ein anderes, da unterschiedliche Verhaltensmuster, Werkzeugnutzungs-Gewohnheiten und Fehlermodi vorliegen. Bestehende automatisierte Ansätze verlassen sich häufig auf stärkere externe Agenten, um Verbesserungen zu steuern, was kostspielig ist und potenziell nicht auf die spezifischen Fehlermodi des Zielmodells abgestimmt ist. Die Arbeit adressiert die Herausforderung, einen LLM-basierten Agenten dazu zu befähigen, sein eigenes operatvies Harness ohne menschliches Engineering oder externe Anleitung zu verbessern.

Methodik: Der Self-Harness-Loop

Die Autoren schlagen Self-Harness vor, ein iteratives Selbstverbesserungs-Framework, bei dem ein fixes Modell sein eigenes nicht-parametrisches Gerüst verfeinert. Der Prozess arbeitet als geschlossener Kreislauf, der aus drei distinkten Phasen besteht:

1. Schwachstellenanalyse (Weakness Mining)

Der Agent führt unter dem aktuellen Harness ( $h_t$ ) eine Reihe von Aufgaben aus einem Held-in-Split ( $D_{in}$ ) aus. Das System sammelt Ausführungstraces und clustert fehlgeschlagene Traces basierend auf verifizierer-gestützten Fehlersignaturen.

Attribution: Anstatt Fehler als isolierte Ereignisse zu behandten, analysiert das System den Trace, um die terminale Verifizierer-Ebene-Ursache ( $c_i$ ), den kausalen Status des Agentenverhaltens ( $q_i$ ) und den abstrakten Agentenmechanismus ( $m_i$ ) zu identifizieren.
Clustering: Fehler werden deterministisch gruppiert, wenn sie dieselbe Signatur teilen, wodurch sichergestellt wird, dass der nachfolgende Vorschlag auf wiederverwendbare Fehlermechanismen statt auf oberflächliche Symptome abzielt.
Ausgabe: Ein Evidence Bundle ( $B_t$ ), das die dominanten Fehlermuster zusammenfasst, geordnet nach Relevanz und Handlungsfähigkeit.

2. Harness-Vorschlag (Harness Proposal)

Dasselbe fixe Modell ( $M$ ) wird in einer „Proposer“-Rolle aufgerufen, wobei es das aktuelle Harness ( $h_t$ ) und das Evidence Bundle ( $B_t$ ) als Kontext nutzt.

Constraints: Der Proposer generiert $K$ diverse, jedoch minimale Kandidaten-Edits ( $\Delta_j$ ). Jeder Edit muss einen spezifischen Fehlermechanismus adressieren und einer konkreten, editierbaren Oberfläche des Harnesss zugeordnet werden (z. B. spezifische Instruktionen, Tool-Policies oder Verifizierungsregeln).
Diversität vs. Minimalität: Das System fördert die Exploration unterschiedlicher Fehlermechanismen oder Harness-Oberflächen über die Vorschläge hinweg, erzwingt jedoch, dass einzelne Edits gezielt bleiben und keine breiten Umschreibungen der Kontrollarchitektur bewirken.
Ausgabe: Eine Menge von Kandidaten-Harness-Varianten $h^{(j)}_t = \Delta_j(h_t)$ , jeweils begleitet von einem Audit-Protokoll.

3. Validierung des Vorschlags (Proposal Validation)

Kandidaten-Edits durchlaufen vor der Annahme strenge Regressions-Tests.

Evaluierung: Sowohl das aktuelle Harness ( $h_t$ ) als auch die Kandidaten-Harnesses ( $h^{(j)}_t$ ) werden auf dem Held-in-Split ( $D_{in}$ ) und einem Held-out-Split ( $D_{ho}$ ) evaluiert.
Akzeptanzregel: Ein Kandidat wird nur dann übernommen, wenn er die Leistung auf mindestens einem Split verbessert, ohne die Leistung auf dem anderen zu verschlechtern ( $\Delta_{in} \ge 0$ , $\Delta_{ho} \ge 0$ , und $\max(\Delta_{in}, \Delta_{ho}) > 0$ ).
Merging: Wenn mehrere Kandidaten bestehen, werden ihre Edits in das nächste Iterations-Harness ( $h_{t+1}$ ) zusammengeführt. Abgelehnte Kandidaten werden protokolliert, verändern das aktive Harness jedoch nicht.

Zentrale Beiträge

Self-Harness-Paradigma: Ein neuartiges Framework, das es einem LLM ermöglicht, sein eigenes operatives Harness zu entwerfen und zu verfeinern, wodurch die Abhängigkeit von menschlichen Ingenieuren oder stärkeren externen Agenten entfällt.
Operationalisierter iterativer Loop: Eine konkrete Implementierung, die Verhaltensbeweise durch einen Zyklus aus Schwachstellenanalyse, minimaler Vorschlagserstellung und strenger Regressionstests in modellspezifische Harness-Updates transformiert.
Empirische Validierung: Demonstration, dass Self-Harness ein minimales Initial-Harness in modellspezifische Konfigurationen entwickeln kann, die das Baseline-Modell über verschiedene Modellfamilien hinweg signifikant übertreffen.

Experimentelle Ergebnisse

Die Autoren evaluierten Self-Harness auf Terminal-Bench-2.0 unter Verwendung von drei distinkten Basismodellen: MiniMax M2.5, Qwen3.5-35B-A3B und GLM-5. Alle Experimente starteten mit einem minimalen DeepAgent-basierten Harness.

Leistungssteigerungen (Held-Out Pass Rates):

MiniMax M2.5: Steigerung von 40,5 % auf 61,9 % (+21,4 Prozentpunkte).
Qwen3.5-35B-A3B: Steigerung von 23,8 % auf 38,1 % (+14,3 Prozentpunkte; eine relative Verbesserung von 138 %).
GLM-5: Steigerung von 42,9 % auf 57,1 % (+14,2 Prozentpunkte).

Qualitative Erkenntnisse:

Modellspezifische Adaption: Das System fügte nicht einfach nur generische Instruktionen hinzu. Stattdessen produzierte es distinkte, konkrete Änderungen, die auf die Schwächen des jeweiligen Modells zugeschnitten waren:
- MiniMax M2.5: Fokus auf das frühere Erstellen erforderlicher Ausgabedateien, den vorsichtigen Umgang mit strukturierten Tool-Outputs und das Stoppen unproduktiver Tool-Nutzungsschleifen.
- Qwen3.5: Fokus auf die Vorab-Prüfung von Abhängigkeiten, das Vermeiden wiederholter fehlgeschlagener Befehle, das Durchbrechen von Explorationszyklen und die Erholung von Tool-Fehlern.
- GLM-5: Fokus auf die Beibehaltung von Umgebungseinstellungen über Shell-Befehle hinweg und die Beschleunigung des Übergangs von der Exploration zur Implementierung.
Generalisierung: Verbesserungen wurden auch bei Held-out-Aufgaben beobachtet, was darauf hindeutet, dass die Harness-Edits wiederverwendbare Ausführungsmechanismen adressierten und nicht lediglich auf spezifische Trainingsfehler überfitteten.

Bedeutung und Ansprüche

Das Paper behauptet, dass Self-Harness einen Weg zur Selbsterschaffung in Agentensystemen aufzeigt, bei dem der Agent aktiv an der Gestaltung der Rahmenbedingungen (Constraints) teilnimmt, die sein Verhalten steuern.

Empirischer Zustandsübergang: Die Autoren postulieren, dass die Verbesserung des Harness als empirischer Zustandsübergang behandelt werden sollte. Ein nützlicher Edit muss in Verhaltensbeweisen begründet sein, das zu ändernde Verhalten spezifizieren und durch eine nicht-regressive Evaluierung validiert werden.
Skalierbarkeit: Durch die Internalisierung des Verbesserungs-Loops bietet Self-Harness eine skalierbare Alternative zum menschzentrierten Engineering, die in der Lage ist, sich an die schnelle Evolution und Diversität moderner LLMs anzupassen.
Limitierungen: Die Autoren merken bescheiden an, dass die aktuelle Arbeit gebundene Edits unter festen Benchmarks untersucht. Das Protokoll beruht auf der Qualität der Verifizierer-Ergebnisse und der Trace-Aufzeichnungen; höherwertige Änderungen würden robustere Akzeptanz-Gates erfordern als die reine Nicht-Regression der Pass-Rate allein.

Die Arbeit kommt zu dem Schluss, dass ein Agent zwar nicht seine eigenen Gewichte ändern kann, aber effektiv „sich selbst erschaffen“ kann, indem er das Harness iterativ verfeinert, das seine Interaktion mit der Umgebung vermittelt.