Technische Samenvatting: Hybrid Open-Ended Tri-Evolution (HOTE)

Probleemstelling

Deep research agents zijn steeds belangrijker voor real-world toepassingen die gericht zijn op Artificial General Intelligence (AGI), met de taak om autonoom informatie op te halen en te integreren in open-ended, langdurige omgevingen. De huidige deep research-systemen kampen echter met twee primaire beperkingen:

1. Statische Capaciteiten: Bestaande agents vertrouwen op vaste trainingssets en strategieën, wat hun parametrische onderzoeksvermogen begrenst.
2. Verificatiekloof: Hoewel de evolutie van agents via self-play veelbelovend is gebleken in domeinen met verifieerbare, standaard antwoorden (bijv. wiskunde, programmeren), worstelt het met open-ended onderzoeks-taken (bijv. generatie van lang vorm rapporten) waar deterministische antwoorden ontbreken. Eerdere pogingen om deze kloof te overbruggen (bijv. SPICE, Dr. Zero) blijven beperkt tot taken met verifieerbare uitkomsten of adresseren niet de specifieke uitdagingen van open-ended omgevingen.

Er is een kritieke behoefte aan een framework dat autonome agent-evolutie mogelijk maakt, specifiek voor open-ended onderzoeks-taken zonder te vertrouwen op standaard grondwaarheid-antwoorden.

Methodologie: Hybrid Open-Ended Tri-Evolution (HOTE)

De auteurs stellen HOTE voor, een framework ontworpen om de collaboratieve evolutie van drie afzonderlijke modules te faciliteren: een Proposer, een Solver en een Judge. Het systeem maakt gebruik van hybrid-mode reinforcement learning (RL) en web-scale kennis om autonome verbetering te stimuleren.

Kerncomponenten

1. Solver ($\pi_{\theta_s}$):

   • Rol: Ontvangt een onderzoeksquery, genereert een plan, voert multi-turn informatie-zoeken uit (met behulp van tools zoals zoekmachines) en produceert een gerefereerd lang vorm onderzoeksrapport.
   • Evolutie: Geoptimaliseerd met behulp van Group Relative Policy Optimization (GRPO). De solver streeft ernaar zijn outputs af te stemmen op de eisen voor onderzoeksrapporten zoals gedefinieerd door de rubrieken van de Judge.
   • Modi: Werkt in zowel tool-use modi (gebruikmakend van zoektools) als no-tool modi (vertrouwend op parametrische kennis).

2. Judge ($\pi_{\theta_j}$):

   • Rol: Genereert en actualiseert dynamisch evaluatie-rubrieken om de responsen van de Solver te beoordelen. Het vergelijkt meerdere responsen op dezelfde query om sterktes en zwaktes te identificeren.
   • Mechanisme: In plaats van te vertrouwen op vaste antwoorden, wijst de Judge beloningen toe (0 of $\pm1$) op basis van een set rubrieken ($R_{s_0}$). Cruciaal is dat de Judge de set rubrieken zelf evolueert door actieve rubrieken (nieuwe sterktes of veelvoorkomende foutmodi zoals reward hacking) en persistente rubrieken te identificeren.
   • Meta-Rubrieken: Om de complexiteit van het evalueren van de Proposer aan te pakken, vat de Judge beoordelingen samen in "meta-rubrieken" die veelvoorkomende zwaktes van het model over verschillende responsen heen vastleggen.

3. Proposer ($\pi_{\theta_p}$):

   • Rol: Genereert uitdagende maar leerbare onderzoeks-taken op basis van de zwaktes die door de Judge zijn geïdentificeerd. Het fungeert als een tegenstander om de grenzen van de Solver op te zoeken.
   • Evolutie: Ook geoptimaliseerd via GRPO. De beloning van de Proposer wordt berekend op basis van hoe effectief de gegenereerde taken de zwaktes van de Solver blootleggen (d.w.z. taken waarbij de Solver er niet in slaagt aan de meta-rubrieken te voldoen).
   • Diversiteit: Het framework maakt gebruik van "Diverse Proposing", waarbij de Proposer taken genereert op basis van diverse combinaties van eerdere taken en beoordelingen om concentratie op specifieke onderwerpen te voorkomen en datadiversiteit te waarborgen.

Trainingsstrategie: Dual-Mode Hybrid Training

HOTE introduceert een Dual-mode Hybrid Training Strategy om efficiëntie en capaciteit in balans te brengen:

• Hybride Data: Elke trainingsbatch bestaat uit 50% echte taken uit de originele dataset en 50% synthetische taken gegenereerd door de Proposer.
• Hybride Modi: Taken worden willekeurig toegewezen aan ofwel tool-use of no-tool modi (50/50 split).
  • Rationale: Alleen trainen in no-tool mode verbetert technieken voor rapportgeneratie maar leidt tot een overmatige afhankelijkheid van parametrische kennis. Alleen trainen in tool-use mode introduceert ruis. De hybride aanpak stelt het model in staat om rapportgeneratie zonder tools te leren, terwijl het tegelijkertijd het gebruik van tools beheerst, wat overmatige afhankelijkheid van één van beide voorkomt.
• Efficiëntie: Het framework bewijst theoretisch dat de hybride mode resulteert in een lagere verwachte maximale generatietijd vergeleken met pure tool-use strategieën.

Belangrijkste Bijdragen

1. Eerste Open-Ended Evolutie Framework: HOTE is het eerste deep researcher evolutie-framework dat expliciet is ontworpen voor open-ended omgevingen en taken, waarmee de kloof tussen deep research en agent-evolutie wordt overbrugd.
2. Tri-Module Co-Evolutie: Het paper ontwerpt een co-evolutie strategie waarbij de Proposer, Solver en Judge elkaar wederzijds versterken. De Judge voorkomt reward hacking door rubrieken te evolueren, de Proposer zorgt ervoor dat de taak moeilijkheidsgraad hoog blijft, en de Solver verbetert de kwaliteit van de responsen.
3. Dual-Mode Efficiëntie: De introductie van een hybride trainingsstrategie (het mengen van tool-use en no-tool modi) verbetert de trainingsefficiëntie en de robuustheid van het model aanzienlijk vergeleken met single-mode benaderingen.

Experimentele Resultaten

De auteurs hebben HOTE geëvalueerd op drie long-form deep research benchmarks: HealthBench (gezondheidszorg), ResearchQA (wetenschappelijke literatuursynthese) en DeepResearchBench (DRB) (algemeen domein).

• Prestaties: Een 8B model getraind met HOTE presteerde beter dan de sterkste open-source 8-32B modellen (inclusclusief Qwen3-32B, WebThinker-32B) en state-of-the-art deep research training methoden (bijv. DR Tulu-8B-RL, GRPO, GSPO).
• Efficiëntie: HOTE behaalde deze resultaten met minder tijdsoverhead. Specifiek verminderde de hybride mode het totale aantal tool-use operaties tijdens de training vergeleken met baselines zoals DR Tulu.
• Ablatie-studies:
  • Het verwijderen van een van de drie modules (Proposer, Solver of Judge evolutie) resulteerde in prestatievermindering, wat hun onmisbaarheid bevestigt.
  • Modellen getraind met HOTE vertoonden een aanhoudende opwaartse trend in prestaties over 1500 trainingsstappen, terwijl baselines eerder convergeerden.
  • De hybride mode faciliteerde succesvol collaboratieve progressie in zowel tool-use als no-tool capaciteiten, waardoor de daling in prestaties bij tool-use taken werd voorkomen die vaak wordt gezien bij modellen die uitsluitend in no-tool mode zijn getraind.
• Generalisatie: Het framework demonstreerde effectiviteit over verschillende basismodellen (Qwen3-8B en Llama3.1-8B).

Betekenis en Claims

Het paper claimt dat HOTE een belangrijke stap vertegenwoordigt naar autonoom evoluerende agents die in staat zijn om open-ended taken te handelen zonder menselijke tussenkomst of standaard antwoorden. Door succesvol een Proposer-Solver-Judge loop te integreren met hybride training, adresseert HOTE de "verificatiekloof" die agent-evolutie voorheen beperkte tot deterministische domeinen.

De auteurs positioneren dit werk als een beweging richting AGI door agents in staat te stellen autonoom te interageren met de omgeving, ervaring op te doen en hun capaciteiten te evolueren in complexe, real-world onderzoeksscenario's. Zij erkennen beperkingen, waarbij zij opmerken dat evolutie vertraagt naarmaden de training vordert en dat de bovengrens nog steeds beperkt kan worden door model schaal, maar stellen dat het overstijgen van de beperkingen van de initiële trainingsdata door middel van evolutie inherent waardevol is. Toekomstig werk wordt voorgesteld om te exploreren naar het opschalen naar grotere Mixture-of-Experts (MoE) modellen en het omgaan met ruis in real-world zoektools.