💬 NLP

Harness-G: A Graph-Structured Harness for Search Agents

Harness-G adressiert den Retrieval-Equivalence-Collapse bei Reinforcement-Learning-Suchagenten durch die Einführung einer graphstrukturierten Schnittstelle, die die Generierung freier Abfragen in eine endliche Aktionsauswahl umformuliert, gekoppelt mit einem strukturierten nicht-myopischen Kreditmechanismus, der bestehende Baselines über mehrere QA-Benchmarks hinweg signifikant übertrifft.

Ursprüngliche Autoren: Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

Veröffentlicht 2026-07-31

📖 7 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Yanning Hou, Haoyuan Chen, Sihang Zhou, Xiaoshu Chen, Xirui Liu, Duanyang Yuan, Lingyuan Meng, Quan Liu, Jian Huang

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, wie zum Beispiel herauszufinden, wer den letzten Keks aus dem Glas gestohlen hat. Sie haben einen superintelligenten Detektiv (eine Künstliche Intelligenz), der Millionen von Büchern lesen kann, um die Antwort zu finden. Aber hier ist der Haken: Der Detektiv weiß nicht, wie er den Bibliothekar um Hilfe bitten soll. Anstatt zu sagen: „Zeig mir das Buch über das Keksglas“, fängt der Detektiv an, wahllos schicke Sätze zu rufen: „Ich benötige die Geschichte des knusprigen Krümels!“ oder „Enthülle die Erzählung des zuckrigen Diebes!“

So arbeiten die meisten aktuellen KI-Suchagenten. Sie nutzen eine Technik namens Reinforcement Learning (Bestärkendes Lernen), was im Grubstück einem Videospiel-Training ähnelt, bei dem die KI ein „High Five“ (eine Belohnung) bekommt, wenn sie die richtige Antwort findet, und ein „Daumen runter“, wenn sie scheitert. Das Problem ist, dass die KI so gut darin ist, sich verschiedene Sätze auszudenken, dass sie oft exakt dieselbe Information auf zehn verschiedene Arten abfragt. Es ist, als würde sie gleichzeitig „Keks!“, „Süße Leckerei!“ und „Lecker Schnabsel!“ rufen. Der Bibliothekar (die Suchmaschine) bringt für alle diese Begriffe denselben Stapel Bücher zurück, aber die KI glaubt, sie würde neues Terrain erkunden. Dies erzeugt ein verwirrendes Chaos, bei dem die KI denkt, sie lerne gerade, während sie in Wirklichkeit nur auf der Stelle tritt und dieselben Fragen immer wieder in verschiedenen Kostümen stellt.

Forscher der National University of Defense Technology bemerkten diese Verwirrung und beschlossen, die Art und Weise zu korrigieren, wie der Detektiv mit dem Bibliothekar spricht. Sie erkannten, dass es das Problem war, die KI einfach wahllos Sätze rufen zu lassen. Anstatt der KI zu erlauben, ihre eigenen Fragen zu erfinden, bauten sie ein spezielles Menü, ähnlich einer Videospiel-Benutzeroberfläche, bei dem sie gezwungen ist, aus einer Liste spezifischer, vorab genehmigter Aktionen zu wählen. Sie kann nicht einfach „fragen“; sie muss eine bestimmte Option „Auswählen“, eine bestimmte Person „Nachschlagen“ oder eine Frage „Beantworten“. Durch diesen Zwang, aus einer klaren Liste zu wählen, verhinderten sie, dass sie sich in ihrem eigenen wortreichen Chaos verliert.

Das neue Spiel: Harness-G

Das Paper stellt ein neues System namens Harness-G vor. Betrachten Sie es so, als würde man Ihrem KI-Detektiv eine brandneue, super organisierte Karte und ein striktes Regelwerk geben.

Das Problem: Die „Illusion“ der Exploration
Die Autoren fanden heraus, dass KI-Agenten, wenn sie die alte „Freitext-Methode“ (das Rufen von wahllosen Sätzen) verwenden, unter dem leiden, was sie als „Retrieval-Equivalence Collapse“ (Äquivalenzkollaps bei der Informationsbeschaffung) bezeichnen. Stellen Sie sich vor, Sie spielen ein Spiel, bei dem Sie einen verborgenen Schatz finden müssen. Die alte KI würde versuchen, an zehn verschiedenen Stellen zu graben, aber weil sie vage Anweisungen gab, lieferte die Spiel-Engine an allen zehn Stellen exakt denselben Haufen Erde. Die KI dachte: „Wow, ich habe zehn verschiedene Dinge ausprobiert!“ Aber in Wirklichkeit hat sie nur zehnmal dasselbe Loch gegraben. Dies machte es der KI unmöglich zu lernen, welche Züge tatsächlich gut waren, weil jeder Zug für das System gleich aussah.

Die Lösung: Das Aktionsmenü
Harness-G ändert die Regeln des Spiels. Anstatt der KI zu erlauben, ihre eigenen Fragen zu schreiben, baut das System einen Graphen auf – ein riesiges Netz, das Absätze, Sätze und Namen (Entitäten) aus allen Büchern miteinander verbindet. Wenn die KI Informationen finden möchte, schreibt sie keinen Satz. Stattdessen betrachtet sie ein Menü von Optionen, das das System bereitstellt.

Das Menü bietet nur drei Arten von Zügen an:

Select (Auswählen): „Ich wähle diesen spezifischen Satz als meinen Beleg aus.“
Lookup (Nachschlagen): „Ich möchte mehr Informationen über diesen spezifischen Namen (wie ‚Caroline Leaf‘) finden.“
Answer (Antworten): „Ich bin fertig, hier ist meine Antwort.“

Das System wandelt diese Wahl dann automatisch in die perfekte Suchanfrage um. Dies verhindert, dass die KI verwirrende Synonyme erfindet. Wenn die KI nach „Caroline Leaf“ suchen möchte, wählt sie „Lookup Caroline Leaf“ aus der Liste. Sie kann nicht versehentlich „Lookup den Regisseur des Films“ wählen und ein anderes Ergebnis erhalten, da das System weiß, dass dies dasselbe ist, und dies automatisch handhabt. Dies macht jeden Zug unterscheidbar und klar.

Das intelligente Belohnungssystem: SNC
Das Paper führt auch eine neue Art der Vergabe von „High Fives“ ein, die Structured Non-myopic Credit (SNC) genannt wird. In den alten Spielen passierte es oft, dass eine KI einen klugen Zug früh machte (wie das Finden einer Brücke zwischen zwei Ideen), die endgültige Antwort aber erst viel später erhielt, und ihr für diesen frühen Zug oft kein Verdienst zugesprochen wurde. Es war, als würde ein Fußballspieler einen perfekten Pass zu einem Teamkollegen spielen, aber nur die Person, die den Ball ins Tor schießt, bekommt die Anerkennung für das Tor.

Harness-G behebt dies, indem es die gesamte Ereigniskette betrachtet. Es fragt: „Hat dieser frühe Zug den späteren Erfolg ermöglicht?“ Wenn die KI den richtigen Brückensatz wählt, erhält sie die Anerkennung dafür, selbst wenn die endgültige Antwort erst drei Schritte später erfolgt. Es vergleicht zudem die Wahl der KI mit anderen Optionen, die in diesem Moment zur Verfügung standen. Wählt die KI die beste Option, erhält sie eine große Belohnung. Wählt sie eine mittelmäßige, erhält sie weniger. Dies lehrt die KI, strategisch zu handeln, statt nur Glück zu haben.

Die Ergebnisse
Die Forscher testeten dieses neue System in sechs verschiedenen Fragestellungen, die von einfachen Trivia bis hin zu komplexen, mehrstufigen Rätseln reichten. Sie verglichen Harness-G mit den besten bestehenden Methoden, einschließlich eines Systems namens Graph-R1.

Die Ergebnisse waren eindeutig:

Harness-G gewann. Es erreichte in allen Tests die höchste durchschnittliche Punktzahl.
Es half kleinen Gehirnen am meisten. Als sie ein kleineres KI-Modell (1,5 Milliarden Parameter) verwendeten, verbesserte Harness-G dessen Punktzahl im Vergleich zur nächstbesten Methode um 10,74 Punkte. Selbst mit einem größeren Modell (3 Milliarden Parameter) schlug es die Konkurrenz immer noch um 3,98 Punkte.
Es war effizienter. Die KI musste nicht so viele Fragen stellen, um die Antwort zu finden, und verschwendete keine Zeit damit, irrelevante Informationen zu lesen.

Was sie ausschlossen
Das Paper argumentiert explizit dagegen, dass allein die Gabe von „dichteren“ Belohnungen (häufigeren High Fives) für das wahllose Schreien der KI das Problem lösen würde. Sie zeigten, dass selbst mit besserer Bewertung die KI bei der Erlaubnis, wahllose Sätze zu rufen, immer noch in dieser „Illusion der Exploration“ stecken bleibt, in der sie denkt, etwas Neues zu tun, es aber nicht tut. Die Lösung ist nicht nur eine bessere Bewertung; es ist die Änderung der Schnittstelle selbst.

Wie sicher sind sie sich?
Die Autoren sind sehr zuversichtlich in ihre Ergebnisse, da sie dies mit echten Daten über sechs verschiedene Datensätze und zwei verschiedene Größen von KI-Modellen getestet haben. Sie haben es nicht nur simuliert; sie haben die KI tatsächlich trainiert und beobachtet, wie sie lernt. Sie führten auch „Ablationsstudien“ durch, was bedeutet, dass sie ihr eigenes System zerlegten, um zu beweisen, dass sowohl das Menü als auch das intelligente Belohnungssystem notwendig waren. Wenn sie das Menü entfernten, sank die Leistung. Wenn sie das intelligente Belohnungssystem entfernten, sank die Leistung ebenfalls. Beide Teile sind essenziell.

Kurz gesagt: Harness-G zeigt, dass der beste Weg, eine KI intelligenter zu machen, manchmal nicht darin besteht, sie kreativer bei ihren Fragen werden zu lassen, sondern ihr einen klareren, strukturierteren Weg zu geben, ihren nächsten Zug zu wählen. Es verwandelt ein chaotisches Geschrei in ein präzises, strategisches Schachspiel.

Technisches Resümee: Harness-G

Problem: Retrieval-Equivalence Collapse bei RL-Suchagenten

Reinforcement Learning (RL) Suchagenten, wie etwa Search-R1, modellieren die Informationsbeschaffung (Retrieval) typischerweise als die Generierung von freiformigen natürlichen Sprachabfragen (Queries). Diese Agenten optimieren Multi-Turn-Interaktionstrajektorien mittels Final-Answer-Belohnungen (z. B. F1 oder Exact Match). Während jüngste Studien versuchen, das Training durch dichtere Kreditsignale (z. B. Informationsgewinn, Prozessbelohnungen) zu verbessern, behalten sie die grundlegende Schnittstelle bei, bei der die Policy eine Zeichenkette generiert und die Umgebung diese Zeichenkette auf ein abgerufenes Evidenzstück abbildet.

Die Autoren identifizieren einen kritischen Fehlermodus in diesem Setup, den sie als Retrieval-Equivalence Collapse (Zusammenbruch der Retrieval-Äquivalenz) bezeichnen. Während des Trainings generiert die Policy zwar diverse Oberflächen-Query-Strings (hohe Query-Form-Diversität), doch diese Queries führen oft zu nahezu identischen Mengen an abgerufener Evidenz (niedrige Retrieval-Outcome-Diversität). Mit fortschreitendem Training konvergieren die Trajektorien für dieselbe Frage in eine einzige Retrieval-Äquivalenzklasse. Dieser Zusammenbruch erzeugt zwei Optimierungsprobleme für gruppenrelative Methoden wie GRPO:

Verschwindende Advantages: Wenn mehrere Trajektorien dieselbe Evidenz abrufen und dieselbe Antwort produzieren, sind ihre Erträge (Returns) identisch, wodurch die Vorteile innerhalb der Gruppe verschwinden.
Konfundierte Retrieval-Kreditierung: Wenn Trajektorien dieselbe Evidenz abrufen, aber unterschiedliche Antworten produzieren, spiegeln die Differenzen im Ertrag eher das nachgeschaltete Reasoning wider als die Qualität des Retrievals, was es unmöglich macht, Erfolg oder Misserfolg spezifischen Retrieval-Aktionen zuzuschreiben.

Folglich ist die durch diverse Query-Strings bereitgestellte „Exploration“ oft illusorisch, da sie keinen effektiven Kontrast für das Lernen besserer Retrieval-Strategien bietet.

Methodik: Harness-G

Um dies zu adressieren, schlagen die Autoren Harness-G vor, ein graphstrukturierter Retrieval-Framework, das die Schnittstelle zwischen Policy und Umgebung neu gestaltet. Anstatt freiformige Queries zu generieren, führt die Policy eine endliche Aktionsauswahl über einen strukturierten Evidenzraum durch.

1. Graphstrukturierte Umgebung

Harness-G konstruiert offline aus dem Korpus einen leichtgewichtigen, programmatischen Tripartiten Graphen, bestehend aus:

Paragraph-Knoten: Dokumentenkontexte.
Sentence-Knoten: Die minimalen Einheiten der Evidenz.
Entity-Knoten: Brücken zwischen Sätzen und Dokumenten (Cross-Sentence/Cross-Document Hops).

Kanten verbinden Paragraphs mit Sätzen, Sätze mit Entitäten (via Mentions), benachbarte Sätze sowie identische oder ähnliche Entitäten (via Oberflächennormalisierung und Embedding-Nachbarschaft). Dieser Graph wird ohne generative LLMs aufgebaut und stützt sich auf Satzsegmentierung, NER und dichte Kodierung.

2. Das Action-Menu-Interface

In jedem Schritt stellt die Umgebung der Policy ein begrenztes, endliches Aktionsmenü ( $M_t$ ) zur Verfügung. Die Policy wählt eine Aktions-ID aus diesem Menü aus, anstatt eine Textzeichenkette zu generieren. Die Aktionen sind:

Select(s): Ein sichtbarer Satz $s$ wird als Evidenz festgelegt.
Lookup(e): Informationen im Umfeld einer spezifischen Entität $e$ abrufen. Die Umgebung konstruiert deterministisch die Query (Konkatenation der Frage und der festgelegten Evidenz) und gibt die Top- $K$ Sätze zurück.
Answer / Answer_With: Den Retrieval-Prozess beenden und eine Antwort generieren (optional die sichtbaren Sätze in einem Schritt festlegen).

Dieses Design gewährleistet:

Endlichkeit: Der Aktionsraum ist begrenzt.
Verifizierbarkeit: Ungültige Aktionen werden vor der Ausführung blockiert.
Vorschaufähigkeit (Previewability): Die Umgebung kann das Ergebnis einer jeden Kandidatenaktion deterministisch simulieren (vorschauen), ohne den Zustand zu verändern.

3. Structured Non-Myopic Credit (SNC)

Unter Ausnutzung der vorschaufähigen Aktionsfrontier führt Harness-G Structured Non-Myopic Credit (SNC) ein, um schrittweise Belohnungen zu vergeben, ohne zusätzliche Agenten-Rollouts oder externe Belohnungsmodelle zu benötigen. SNC besteht aus zwei Termen:

Frontier-Relative Advantage ( $r^{fr}_t$ ): Ein statischer Answer Scorer bewertet die Wahrscheinlichkeit der Gold-Antwort gegeben den aktuellen Kontext. Für eine Informationsakquisitions-Aktion berechnet er den marginalen Gewinn der gewählten Aktion gegenüber dem Mittelwert des Gewinns einer „Frontier“ alternativer, machbarer Aktionen im selben Zustand. Dies bietet einen lokalen Vergleich im selben Zustand, der in offenen Query-Räumen nicht möglich ist.
Enablement Credit ( $r^{en}_t$ ): Um die nicht-myopische Natur von Multi-Hop-Reasoning zu adressieren (bei dem eine frühe „Brücken“-Aktion ein späteres High-Value-Retrieval ermöglicht), propagiert SNC nachgeschaltete Gewinne entlang eines Provenance-Graphen zurück. Wenn Schritt $u$ eine Entität nutzt, die durch Schritt $t$ produziert wurde, fließt der Credit in umgekehrter topologischer Reihenfolge von $u$ nach $t$ .

Der gesamte Schritt-Advantage wird mit dem Standard-Outcome-Reward im GRPO-Objektiv kombiniert: $\hat{A}_i = \hat{A}^{out}_i + \lambda \hat{A}^{SNC}_i$ .

Wichtigste Beiträge

Identifikation des Retrieval-Equivalence Collapse: Die Arbeit zeigt empirisch auf, dass freiformige Query-Schnittstellen in RL-Suchagenten zu einem Zusammenbruch der Retrieval-Diversität führen, was die gruppenrelative Optimierung unwirksam macht.
Redesign der Schnittstelle (Harness-G): Es reformuliert Multi-Hop-Retrieval als endliche Aktionsauswahl über eine graphstrukturierte Umgebung und ersetzt die offene String-Generierung durch ein verifizierbares, vorschaufähiges Menü.
Structured Non-Myopic Credit (SNC): Es führt einen Mechanismus zur Kreditzuweisung ein, der die Vorschaufähigkeit des Aktionsmenüs nutzt, um Vergleiche im selben Zustand anzustellen und verzögerten Credit für Enabling-Aktionen zu propagieren – und das alles ohne zusätzliche Rollouts.
Empirische Validierung: Umfangreiche Experimente über sechs QA-Benchmarks (einschließlich Multi-Hop-Datensätzen wie 2Wiki, HotpotQA und MuSiQue) zeigen, dass Harness-G starke Baselines signifikant übertrifft, insbesondere in Multi-Hop-Szenarien und bei kleineren Modellskalen.

Ergebnisse

Evaluierung auf sechs Benchmarks mit Qwen2.5-1.5B und Qਆਂwen2.5-3B Modellen:

Performance: Harness-G erreicht den höchsten durchschnittlichen F1-Wert bei beiden Modellskalen.
- Bei 1.5B übertrifft es die stärkste Baseline (Graph-R1) um 10,74 Punkte im durchschnittlichen F1.
- Bei 3B übertrifft es Graph-R1 um 3,98 Punkte.
Ablationsstudien:
- Der Ersatz der Free-Query-Schnittstelle durch das Action-Menu allein verbessert den F1-Wert um durchschnittlich über 17 Punkte, wobei die Gewinne bei MuSiQue sogar über 35 Punkte liegen.
- Das Hinzufügen von SNC verbessert die Performance weiter, insbesondere bei Multi-Hop-Aufgaben, bei denen verzögerter Credit entscheidend ist.
Stabilität und Effizienz: Harness-G weist stabile Trainingsdynamiken mit begrenzten Gradientennormen auf. Es benötigt keine zusätzlichen Agenten-Rollouts für die Kreditzuweisung (nur Read-Only-Vorschauen) und verursacht minimalen Overhead (~9–11 % Rechenzeit pro Schritt). Es zeigt zudem stärkere Out-of-Distribution (O.O.D.) Transferfähigkeiten im Vergleich zu Graph-R1.

Bedeutung und Ansprüche

Das Paper behauptet, dass das Design des Aktionsraums eine komplementäre und kritische Achse zum Reward-Design für das Training von Suchagenten ist. Die Autoren argumentieren, dass die bloße Verdichtung von Belohnungen (z. B. durch Prozessbelohnungen oder Informationsgewinn) innerhalb einer freiformigen Query-Schnittstelle das Problem des Retrieval-Equivalence Collapse nicht grundlegend lösen kann, da die Schnittstelle selbst viele-zu-eins Abbildungen von Queries auf Evidenz erlaubt.

Durch die Neudefinition der Retrieval-Schnittstelle als diskret, verifizierbar und vorschaufähig ermöglicht Harness-G:

Echte Exploration: Sicherstellung, dass unterschiedliche Aktionen tatsächlich zu unterschiedlichen Retrieval-Ergebnissen führen.
Präzise Kreditzuweisung: Ermöglicht es dem Agenten zu lernen, welche spezifischen Evidenz- oder Entitätsentscheidungen gegenüber Alternativen im selben Entscheidungszustand überlegen sind.
Non-Myopic Learning: Lehrt den Agenten effektiv, notwendige „Brückenschritte“ durchzuführen, die zwar keinen sofortigen hohen Ertrag liefern, aber für den späteren Erfolg essenziell sind.

Die Arbeit schließt mit dem Hinweis, dass Harness-G derzeit textbasiert ist, sein strukturierter Ansatz zu Aktionsräumen und Kreditzuweisung jedoch ein robustes Framework für das Training von Suchagenten bietet, was darauf hindeutet, dass zukünftige Arbeiten diese Prinzipien auf multimodale Evidenz ausweiten könnten.