🤖 AI

Hybrid Open-Ended Tri-Evolution Makes Better Deep Researcher

Das Paper schlägt das Hybrid Open-Ended Tri-Evolution (HOTE) Framework vor, welches hybrides Reinforcement Learning nutzt, um einen Proposer, Solver und Judge kollaborativ zu entwickeln, wodurch ein 8B-Modell in der Lage ist, größere statische sowie hochmoderne Deep-Research-Modelle bei offen enden Aufgaben mit reduziertem Zeitaufwand zu übertreffen.

Ursprüngliche Autoren: Hongming Piao, Chi Liu, Mengzhuo Chen, Yan Shu, Derek Li, Ying Wei, Bryan Dai

Veröffentlicht 2026-06-15

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Hongming Piao, Chi Liu, Mengzhuo Chen, Yan Shu, Derek Li, Ying Wei, Bryan Dai

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Ganze: Einem Roboter beibringen, ein Super-Forscher zu sein

Stellen Sie sich vor, Sie möchten eine KI bauen, die wie ein Weltklasse-Forscher agieren kann. Sie muss Informationen im Internet finden, tausende von Artikeln lesen und einen langen, detaillierten Bericht über komplexe Themen schreiben (wie zum Beispiel: „Wie wirkt sich der Klimawandel auf die Kaffeeproduktion im Jahr 2050 aus?“).

Das Problem ist, dass die meisten KI-Modelle wie Schüler sind, die nur aus einem festen Lehrbuch lernen. Sob wenn sie das Lehrbuch fertig gelesen haben, hören sie auf zu lernen. Sie können nicht von selbst besser darin werden, neue Dinge zu erforschen.

Dieses Paper stellt ein neues System namens HOTE (Hybrid Open-Ended Tri-Evolution) vor. Betrachten Sie HOTE nicht als einen einzelnen Schüler, sondern als ein selbstverbesserndes Forschungsteam, das lernt, indem es ein Spiel gegen sich selbst spielt.

Die drei Charaktere im Team

Anstatt nur einer einzigen KI, die versucht, alles zu erledigen, nutzt HOTE drei spezialisierte Rollen, die sich gemeinsam entwickeln:

Der Solver (Der Forscher):
- Rolle: Dies ist die KI, die die eigentliche Arbeit leistet. Sie nimmt eine Frage entgegen, durchsucht das Web, liest Dokumente und schreibt einen langen Forschungsbericht.
- Analogie: Denken Sie an den Solver als einen Detektiv, der versucht, ein Rätsel zu lösen.
Der Judge (Der Kritiker):
* Rolle: Diese KI liest die vom Solver geschriebenen Berichte. Anstatt nur „Gut“ oder „Schlecht“ zu sagen, erstellt sie eine maßgeschneiderte Checkliste (ein sogenanntes „Rubric“), um den Bericht zu bewerten. Sie sucht nach spezifischen Stärken und Schwächen.
* Analogie: Der Judge ist wie ein strenger Editor oder ein Sport-Schiedsrichter. Wenn der Detektiv ein Indiz übersieht, pfeift der Schiedsrichter und sagt: „Du hast dieses spezifische Detail übersehen.“ Entscheidend ist, dass der Judge sein eigenes Regelwerk aktualisiert, sobald er neue Arten von Fehlern sieht, damit er nicht bei alten Regeln stecken bleibt.
Der Proposer (Der Quizmaster):
- Rolle: Diese KI schaut sich das Feedback des Judges und die Fehler des Detektivs an, um neue, schwierigere Fragen zu erstellen. Ihr Ziel ist es, die Schwachstellen des Detektivs zu finden und ihn herauszufordera.
- Analogie: Der Proposer ist wie ein Fitnesstrainer, der beobachtet, wie ein Athlet bei einer bestimmten Übung scheitert, und dann eine neue, etwas schwierigere Übung entwirft, um genau diese Schwäche zu beheben.

Wie sie trainieren: Das „Tri-Evolution“-Spiel

Die Magie geschieht dadurch, dass diese drei in einer Schleife zusammenarbeiten und sich ständig verbessern:

Der Quizmaster erstellt eine schwierige Forschungsfrage.
Der Detektiv versucht, sie zu beantworten, sucht im Web und schreibt einen Bericht.
Der Schiedsrichter bewertet den Bericht, erstellt eine neue Checkliste und zeigt genau auf, wo der Detektiv versagt hat.
Der Detektiv lernt aus der Bewertung und versucht es erneut.
Der Quizmaster sieht, worin der Detektiv noch schlecht ist, und erstellt für die nächste Runde eine noch schwierigere Frage.

Dieser Zyklus wiederholt sich tausende Male. Das Paper nennt dies „Tri-Evolution“, weil sich alle drei Charaktere gleichzeitig entwickeln (verbessern).

Das „Hybrid“-Geheimrezept

Das Paper erwähnt auch eine „Dual-Mode Hybrid“-Strategie. Das ist wie das Training eines Athleten auf zwei verschiedene Arten:

Modus A (Werkzeugnutzung): Der Detektiv darf das Internet nutzen (Suchwerkzeuge), um Antworten zu finden. Das ist realistisch, kann aber verrauscht und langsam sein.
Modus B (Ohne Werkzeuge): Der Detektiv muss allein aus dem Gedächtnis und der Logik antworten, ohne etwas nachzuschlagen. Das ist schneller, beruht aber darauf, was er bereits weiß.

Das HOTE-System trainiert den Detektiv in beiden Modi gleichzeitig.

Warum? Wenn man nur mit dem Internet trainiert, wird der Detektiv vielleicht faul und verlässt sich zu sehr auf Suchergebnisse. Wenn man nur ohne Internet trainiert, vergisst er vielleicht, das Internet effektiv zu nutzen. Durch die Mischung lernt der Detektiv, ein Meisterforscher zu sein, der weiß, wann er suchen muss und wie er tiefgründig ohne Werkzeuge denkt.

Die Ergebnisse: Warum es wichtig ist

Die Forscher haben dieses System an drei schwierigen Benchmarks getestet (Gesundheit, Wissenschaft und allgemeine Forschung).

Die Behauptung: Ein 8-Milliarden-Parameter-Modell (eine mittelgroße KI), das mit HOTE trainiert wurde, wurde intelligenter als viel größere Modelle (32B+) und andere hochmoderne Forschungs-KIs.
Effizienz: Es erreichte diese Ergebnisse in weniger Zeit und mit weniger Rechenleistung als andere Methoden.
Nachhaltigkeit: Im Gegensatz zu anderen Methoden, die nach einer Weile aufhören, sich zu verbessern, wurde das HOTE-Team über eine lange Zeit hinweg immer besser, da der „Quizmaster“ ständig neue, herausfordernde Probleme fand, die der „Detektiv“ noch nicht gelöst hatte.

Zusammenfassung in einem Satz

HOTE ist ein sich selbst verbesserndes KI-System, bei dem ein Forscher, ein Kritiker und ein Quizmaster ein kontinuierliches Spiel „Schach“ gegeneinander spielen, wobei sie eine Mischung aus Internetsuche und reinem Denken verwenden, um eine mittelgroße KI schneller und besser als jede andere in einen Weltklasse-Forscher zu verwandeln.

Technisches Resümee: Hybrid Open-Ended Tri-Evolution (HOTE)

Problemstellung

Deep-Research-Agenten werden für reale Anwendungen, die auf Künstliche Allgemeine Intelligenz (AGI) abzielen, zunehmend kritisch, da sie in der Lage sein müssen, Informationen autonom in offenen, langzyklischen Umgebungen abzurufen und zu integrieren. Aktuelle Deep-Research-Systeme stehen jedoch vor zwei primären Einschränkungen:

Statische Fähigkeiten: Bestehende Agenten verlassen sich auf feste Trainingsdatensätze und Strategien, was ihre parametrischen Research-Fähigkeiten begrenzt.
Verifikationslücke: Während die Evolution von Agenten durch Self-Play in Domänen mit verifizierbaren, standardisierten Antworten (z. B. Mathematik, Programmierung) vielversprechend ist, stößt dieser Ansatz bei offenen Forschungsaufgaben (z. B. Erstellung umfangreicher Berichte) an seine Grenzen, in denen deterministische Antworten fehlen. Vorherige Versuche, diese Lücke zu schließen (z. B. SPICE, Dr. Zero), bleiben auf Aufgaben mit verifizierbaren Ergebnissen beschränkt oder adressieren nicht die spezifischen Herausforderungen offener Umgebungen.

Es besteht ein kritischer Bedarf an einem Framework, das eine autonome Evolution von Agenten speziell für offene Forschungsaufgaben ermöglicht, ohne auf Standard-Ground-Truth-Antworten angewiesen zu sein.

Methodik: Hybrid Open-Ended Tri-Evolution (HOTE)

Die Autoren schlagen HOTE vor, ein Framework, das darauf ausgelegt ist, die kollaborative Evolution von drei distinkten Modulen zu ermöglichen: ein Proposer (Vorschlagender), ein Solver (Löser) und ein Judge (Richter). Das System nutzt hybride Reinforcement Learning (RL)-Modi und webweite Wissensbestände, um eine autonome Verbesserung voranzutreiben.

Kernkomponenten

Solver ( $\pi_{\theta_s}$ ):
- Rolle: Erhält eine Forschungsanfrage, erstellt einen Plan, führt eine mehrstufige Informationssuche durch (unter Verwendung von Werkzeugen wie Suchmaschinen) und produziert einen referenzierten, ausführlichen Forschungsbericht.
- Evolution: Optimiert mittels Group Relative Policy Optimization (GRPO). Der Solver zielt darauf ab, seine Outputs mit den vom Judge definierten Rubriken (Bewertungskriterien) für Forschungsberichte in Einklang zu bringen.
- Modi: Operiert sowohl im Tool-Use-Modus (unter Verwendung von Suchwerkzeugen) als auch im No-Tool-Modus (unter Rückgriff auf parametrisches Wissen).
Judge ( $\pi_{\theta_j}$ ):
- Rolle: Generiert und aktualisiert dynamisch Bewertungsrubriken, um die Antworten des Solvers zu bewerten. Er vergleicht mehrere Antworten auf dieselbe Anfrage, um Stärken und Schwächen zu identifizieren.
- Mechanismus: Anstatt sich auf feste Antworten zu verlassen, weist der Judge Belohnungen (0 oder $\pm1$ ) basierend auf einem Satz von Rubriken ( $R_{s_0}$ ) zu. Entscheidend ist, dass der Judge den Rubrikensatz selbst weiterentwickelt, indem er aktive Rubriken (neue Stärken oder häufige Fehlermuster wie Reward Hacking) und persistente Rubriken identifiziert.
- Meta-Rubriken: Um die Komplexität der Bewertung des Proposers zu bewältigen, fasst der Judge die Bewertungen in „Meta-Rubriken“ zusammen, die häufige Schwächen des Modells über verschiedene Antworten hinweg erfassen.
Proposer ( $\pi_{\theta_p}$ ):
- Rolle: Generiert herausfordernde, aber lernbare Forschungsaufgaben basierend auf den vom Judge identifizierten Schwächen. Er fungt als Adversary (Gegenspieler), um die Grenzen des Solvers zu erweitern.
- Evolution: Ebenfalls mittels GRPO optimiert. Die Belohnung des Proposers wird basierend darauf berechnet, wie effektiv seine generierten Aufgaben die Schwächen des Solvers offenlegen (d. h. Aufgaben, bei denen der Solver die Meta-Rubriken nicht erfüllt).
- Diversität: Das Framework nutzt „Diverse Proposing“, wobei der Proposer Aufgaben basierend auf verschiedenen Kombinationen früherer Aufgaben und Bewertungen generiert, um eine Themenkonzentration zu verhindern und Datendiversität sicherzustellen.

Trainingsstrategie: Dual-Mode Hybrid Training

HOTE führt eine Dual-Mode Hybrid Training Strategy ein, um Effizienz und Leistungsfähigkeit auszubalancieren:

Hybride Daten: Jeder Trainingsbatch besteht aus 50 % realen Aufgaben aus dem ursprünglichen Datensatz und 50 % synthetischen Aufgaben, die vom Proposer generiert wurden.
Hybride Modi: Aufgaben werden zufällig entweder dem Tool-Use-Modus oder dem No-Tool-Modus zugewiesen (50/50 Split).
- Begründung: Ein Training ausschließlich im No-Tool-Modus verbessert zwar die Technik der Berichtserstellung, führt aber zu einer Überreaktion auf parametrisches Wissen. Ein Training ausschließlich im Tool-Use-Modus führt zu Rauschen. Der hybride Ansatz ermöglicht es dem Modell, die Berichterstellung ohne Tools zu erlernen und gleichzeitig den Umgang mit Tools zu meistern, wodurch eine einseitige Abhängigkeit verhindert wird.
Effizienz: Das Framework beweist theoretisch, dass der hybride Modus im Vergleich zu reinen Tool-Use-Strategien eine geringere erwartete maximale Generierungszeit aufweist.

Wichtigste Beiträge

Erstes Framework für Open-Ended Evolution: HOTE ist das erste Deep-Research-Evolutions-Framework, das explizit für offene Umgebungen und Aufgaben konzipiert wurde und die Lücke zwischen Deep Research und Agenten-Evolution schließt.
Tri-Modul-Koevolution: Das Paper entwirft eine Koevolationsstrategie, bei der sich Proposer, Solver und Judge gegenseitig verstärken. Der Judge verhindert Reward Hacking durch die Evolution der Rubriken, der Proposer stellt sicher, dass die Schwierigkeit der Aufgaben hoch bleibt, und der Solver verbessert die Antwortqualität.
Dual-Mode Effizienz: Die Einführung einer hybriden Trainingsstrategie (Mischung aus Tool-Use und No-Tool-Modi) verbessert die Trainingseffizienz und die Robustheit des Modells signifikant gegenüber Single-Mode-Ansätzen.

Experimentelle Ergebnisse

Die Autoren evaluierten HOTE anhand von drei Benchmarks für langfristige Deep-Research-Aufgaben: HealthBench (Gesundheitswesen), ResearchQA (Synthese wissenschaftlicher Literatur) und DeepResearchBench (DRB) (allgemeine Domäne).

Leistung: Ein 8B-Modell, das mit HOTE trainiert wurde, übertraf die stärksten Open-Source 8-32B Modelle (einschließlich Qwen3-32B, WebThinker-32B) sowie State-of-the-Art Deep-Research-Trainingsmethoden (z. B. DR Tulu-8B-RL, GRPO, GSPO).
Effizienz: HOTE erreichte diese Ergebnisse mit geringerem Zeitaufwand. Insbesondere reduzierte der hybride Modus die Gesamtzahl der während des Trainings erforderlichen Tool-Use-Operationen im Vergleich zu Baselines wie DR Tulu.
Ablationsstudien:
- Das Entfernen eines der drei Module (Proposer, Solver oder Judge-Evolution) führte zu einer Verschlechterung der Leistung, was deren Unverzichtbarkeit bestätigt.
- Mit HOTE trainierte Modelle zeigten einen anhaltenden Aufwärtstrend der Leistung über 1500 Trainingsschritte, während Baselines früher konvergierten.
- Der hybride Modus ermöglichte erfolgreich einen kollaborativen Fortschritt sowohl in den Tool-Use- als auch in den No-Tool-Fähigkeiten und verhinderte den Leistungsabfall bei Tool-Use-Aufgaben, der oft bei Modellen beobachtet wird, die ausschließlich im No-Tool-Modus trainiert wurden.
Generalisierung: Das Framework demonstrierte seine Wirksamkeit über verschiedene Basismodelle hinweg (Qwen3-8B und Llama3.1-8B).

Bedeutung und Ansprüche

Das Paper behauptet, dass HOTE einen bedeutenden Schritt in Richtung autonom evolvierender Agenten darstellt, die in der Lage sind, offene Aufgaben ohne menschliches Eingreifen oder Standardantworten zu bewältigen. Durch die erfolgreiche Integration eines Proposer-Solver-Judge-Loops mit hybridem Training adressiert HOTE die „Verifikationslücke“, die die Agenten-Evolution bisher auf deterministische Domänen beschränkt hat.

Die Autoren positionieren diese Arbeit als einen Schritt in Richtung AGI, indem sie Agenten befähigen, autonom mit der Umgebung zu interagieren, Erfahrungen zu sammeln und ihre Fähigkeiten in komplexen, realen Forschungsszenarien zu entwickeln. Sie räumen Einschränkungen ein und merken an, dass die Evolution mit fortschreitendem Training langsamer wird und die Obergrenze möglicherweise weiterhin durch die Modellskalierung begrenzt ist, betonen jedoch, dass die Überwindung der Limitationen der ursprünglichen Trainingsdaten durch Evolution inhärent wertvoll ist. Zukünftige Arbeiten sollen die Skalierung auf größere Mixture-of-Experts (MoE) Modelle und den Umgang mit Rauschen in realen Suchwerkzeugen untersuchen.