OpenSeeker: Democratizing Frontier Search Agents by Fully Open-Sourcing Training Data

OpenSeeker democratiseert de ontwikkeling van geavanceerde zoekagenten door als eerste volledig open-source model en dataset te publiceren die, ondanks het gebruik van slechts 11.7.000 synthetische trainingsstalen, prestaties op het niveau van industriële concurrenten behaalt door middel van feitelijke schaalbare QA-synthese en gedenoiste trajectsynthese.

De kern

OpenSeeker: De "Open Boek" voor Slimme Zoekmachines

Stel je voor dat het internet een gigantische, onoverzichtelijke bibliotheek is met miljarden boeken. Vroeger waren zoekmachines als simpele bibliothecarissen die alleen zochten op titelwoorden. Maar nu willen we "slimme agenten" die niet alleen zoeken, maar ook nadenken, links volgen, informatie samenvoegen en complexe vragen beantwoorden. Denk aan een detective die een heel dossier oplost door tientallen aanwijzingen te volgen.

Het probleem? De grootste tech-bedrijven (zoals Google en OpenAI) hebben de beste detectives in huis, maar ze houden hun geheimen voor zich. Ze hebben de "geheime recepten" (de trainingsdata) die nodig zijn om deze slimme agenten te leren. Voor de rest van de wereld is het alsof je probeert een meesterkok te worden, maar je mag de recepten van de grote restaurants niet zien.

OpenSeeker is een groep academici die zegt: "Nee, dat is niet eerlijk." Ze hebben een nieuw systeem gebouwd dat net zo goed presteert als die dure, gesloten systemen, maar ze hebben alles openbaar gemaakt: het model, de code en vooral de trainingsdata.

Hier is hoe ze dat gedaan hebben, vertaald in alledaagse termen:

1. Het Recept: Hoe maak je een moeilijke puzzel? (Fact-grounded QA Synthesis)

Om een detective te trainen, moet je hem niet alleen simpele vragen stellen ("Wie is de burgemeester?"). Je moet hem complexe puzzels geven die meerdere stappen vereisen.

Stel je voor dat je een spel ontwerpt:

• De Kaart: Ze beginnen met een echte kaart van het internet (een webgraaf).
• De Route: Ze kiezen een startpunt en laten een "spoor" van verbonden pagina's ontstaan.
• De Verwarring: Vervolgens doen ze alsof ze de namen van de plekken op de kaart vervagen. In plaats van "Ga naar het station", zeggen ze: "Ga naar die plek waar de treinen vertrekken en waar je een koffie kunt kopen."
• Het Resultaat: De AI moet nu echt nadenken: "Oké, waar is dat? Ah, het station! En waar is de koffie? Oh, het café naast de ingang."

Dit proces zorgt ervoor dat de AI leert om meerdere stappen te plannen en niet zomaar een antwoord te raden. Het is alsof je iemand leert zwemmen door ze in een zwembad met stroming te zetten, in plaats van in een badje met stil water.

2. De Oefening: Hoe leer je door de ruis heen te kijken? (Denoised Trajectory Synthesis)

Wanneer een AI het internet doorzoekt, krijgt ze duizenden resultaten. Veel daarvan zijn onzin, reclame of herhalingen. Het is alsof je een gesprek probeert te voeren in een drukke fabriekshal.

• De Leraar (Teacher): Om de AI te leren wat het juiste antwoord is, gebruiken ze een "leraar". Deze leraar kijkt eerst door de ruis heen, vat de belangrijkste informatie samen en geeft de AI een schone, duidelijke opdracht. De leraar zegt: "Kijk, hier is het antwoord, ignoreer de reclame."
• De Leerling (Student): Maar in de echte wereld is er geen leraar die voor je samenvat. Daarom trainen ze de AI (de leerling) op de ruisige, ongesorteerde data. Ze dwingen de leerling om zelf de samenvatting te maken en het juiste antwoord te vinden, ondanks de chaos.

Dit is als een muzikant die eerst oefent met een perfecte opname (de leraar), maar dan moet spelen in een luid café (de leerling) om echt goed te worden.

Waarom is dit zo belangrijk?

Tot nu toe was het bouwen van deze slimme zoekagenten een "gesloten club" voor rijke bedrijven. Ze hadden de beste data en de beste modellen.

• De Prestatie: OpenSeeker heeft bewezen dat je met hun openbare data en een simpele trainingsmethode (SFT) net zo goed kunt presteren als die dure systemen. Ze hebben zelfs een model gemaakt dat beter scoort dan een concurrent van Alibaba (Tongyi DeepResearch) op Chinese zoekopdrachten, terwijl die concurrent veel meer middelen en complexere training heeft gebruikt.
• De Democratie: Ze hebben niet alleen het model vrijgegeven, maar ook de 11.700 trainingsvoorbeelden. Dit is alsof ze niet alleen de auto hebben gegeven, maar ook de blauwdrukken en de instructiehandleiding.

Kortom:
OpenSeeker is de "open source" revolutie voor slimme zoekmachines. Ze hebben bewezen dat je geen miljarden nodig hebt om een top-detective te maken; je hebt vooral slimme, open data nodig. Ze hebben de poort opengezet zodat elke onderzoeker, student of hobbyist nu kan meedoen aan de bouw van de toekomst van het internet.

Technische samenvatting

Probleemstelling

Hoewel diepe zoekcapaciteiten (deep search) essentieel zijn geworden voor geavanceerde Large Language Model (LLM) agents, wordt de ontwikkeling van hoogpresterende zoekagents gedomineerd door industriële reuzen (zoals OpenAI, Google, Alibaba). De belangrijkste belemmering voor de bredere onderzoeksgemeenschap is het gebrek aan transparante, hoogwaardige trainingsdata. Bestaande open-source initiatieven openen vaak alleen de modelgewichten, maar houden de trainingsdata geheim, of bieden data van onvoldoende kwaliteit om concurrerende prestaties te leveren. Dit heeft geleid tot een "data-moat" waarbij academische teams niet in staat zijn om agents van wereldklasse te bouwen.

Methodologie

OpenSeeker introduceert een volledig open-source zoekagent die prestaties op het niveau van de staat van de kunst bereikt door twee kerninnovaties in de datageneratie:

1. Feit-gebaseerde schaalbare en controleerbare QA-synthese

Om complexe meerstapsredenering (multi-hop reasoning) te forceren, reverse-engineert het systeem de webgrafiek in plaats van te vertrouwen op simpele zoekopdrachten. Het proces verloopt als volgt:

• Grafische expansie: Het begint met een willekeurige "seed"-pagina en breidt dit uit tot een subgrafiek van verbonden pagina's om samenhangende kennisclusters te vinden.
• Entiteitsextractie: Sleutelentiteiten worden uit deze subgrafiek gedistilleerd tot een gestructureerde "Entity Subgraph".
• Vraaggeneratie: Een generator creëert een vraag die structureel vereist dat de agent meerdere knopen in de grafiek moet traverseren om het antwoord te vinden.
• Obfuscatie: Om directe zoekopdrachten te voorkomen, worden specifieke entiteiten vervangen door vage, beschrijvende referenties. Dit dwingt de agent om contextueel te redeneren in plaats van te zoeken op trefwoorden.
• Validatie: Een tweestapsvalidatie (via afwijzingsstochastiek) zorgt ervoor dat vragen zowel moeilijk zijn (niet oplosbaar zonder tools) als oplosbaar (logisch consistent met de brondata).

2. Gedenoiste Traject-synthese

Webinhoud is vaak ruisrijk. Om dit op te lossen, gebruikt OpenSeeker een asymmetrische aanpak tussen het genereren van de data en het trainen van het model:

• Leraren-model (Synthese): Tijdens het genereren van de oplossingspaden (trajecten) wordt een retrospectieve samenvattingsmechanisme gebruikt. Na elke tool-call wordt de ruwe respons samengevat tot een schone "Summarized Response". De leraar leert dus op een schoon, gedenoist verloop.
• Student-model (Training): Het uiteindelijke trainingsdataset bevat echter de ruwe, onbewerkte tool-responsen. Het model wordt getraind om de expert-acties te voorspellen op basis van deze ruisrijke data.
• Doel: Dit dwingt het model om intrinsieke vaardigheden te ontwikkelen om ruis te filteren en cruciale informatie ("de naald in de hooiberg") te extraheren, wat essentieel is voor prestaties in de echte wereld.

Belangrijkste Bijdragen

1. Eerste volledig open-source zoekagent: OpenSeeker is het eerste werk van een puur academisch team dat state-of-the-art (SOTA) prestaties bereikt op frontier-zoekbenchmarks, terwijl het de volledige trainingsdataset (QA-paren en gedetailleerde trajecten) openbaar maakt.
2. Nieuwe datageneratie-technieken: De paper introduceert de bovengenoemde methoden voor feit-gebaseerde QA-synthese en gedenoiste traject-synthese, die het mogelijk maken om hoogwaardige, complexe trainingsdata in grote schaal te genereren.
3. Efficiëntie: Het model is getraind op slechts 11.7k samengestelde samples via eenvoudige Supervised Fine-Tuning (SFT), zonder complexe RL-pipelines of continue pre-training.

Resultaten

OpenSeeker (gebaseerd op Qwen3-30B) presteert opvallend goed op vier benchmarks:

• BrowseComp: 29,5% (vs. 15,3% voor de tweede beste open-source agent, DeepDive).
• BrowseComp-ZH (Chinees): 48,4%. Dit is een opmerkelijke prestatie omdat het Tongyi DeepResearch (Alibaba) verslaat (46,7%), een model dat is getraind met een zware pipeline van CPT, SFT en RL.
• xbench-DeepSearch: 74,0%.
• WideSearch: 59,4% (item F1).

De resultaten tonen aan dat OpenSeeker, ondanks het gebruik van slechts SFT en een relatief kleine dataset, beter presteert dan veel gesloten bronmodellen en andere open-source agents die vaak RL of grotere datasets gebruiken. De gegenereerde data blijkt zelfs complexer te zijn dan bestaande benchmarks (gemeten aan het aantal tool-calls en tokens per traject).

Betekenis en Impact

• Democratisering van AI: OpenSeeker breekt de "data-moat" van grote techbedrijven. Door de volledige "receptuur" (data en code) openbaar te maken, stelt het de academische wereld in staat om mee te doen aan de ontwikkeling van geavanceerde zoekagents.
• Transparantie: Het paper demonstreert dat strategische data-synthese effectiever kan zijn dan brute kracht (grote datasets + RL) en dat transparantie de innovatie in de gemeenschap kan versnellen.
• Toekomstperspectief: Het werk legt de basis voor een meer open, collaboratief en gezond ecosysteem voor autonome agents, waarbij de focus ligt op datakwaliteit in plaats van alleen op modelgrootte of gesloten bronnen.

Kortom, OpenSeeker bewijst dat academische teams, door slimme datageneratiestrategieën, kunnen concurreren met industriële reuzen in de zoekagent-domein, mits ze de volledige trainingsdata openbaar maken.