LoHoSearch: Benchmarking Long-Horizon Search Agents Beyond the Human Difficulty Ceiling
Om het moeilijkheidsplafond van bestaande door mensen geschreven zoekbenchmarks te doorbreken, introduceert dit artikel LoHoSearch, een geautomatiseerde, op kennisgrafen gebaseerde benchmark met 544 complexe, langetermijnvragen over 11 domeinen die de huidige state-of-the-art zoekagenten aanzienlijk uitdaagt, waarbij hun nauwkeurigheid wordt teruggebracht naar 34,74%.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Het Grote Probleem: De "Easy Mode" Valstrik
Stel je een videogame voor waarbij het doel is om een specifieke verborgen schat te vinden. Het afgelopen jaar hebben onderzoekers AI "zoekagenten" (robots die het internet afzoeken) getest met een spel genaamd BrowseComp.
In het begin was het spel moeilijk. Maar omdat mensen de vragen hadden ontworpen, maakten ze ze per ongeluk te makkelijk. Mensen kiezen vaak bekende zaken (zoals "de Eiffeltoren" of "Taylor Swift") en verbinden die met overduidelijke aanwijzingen. Het is alsof je een schat verstopt achter een deur met het label "Schat".
Omdat de aanwijzingen zo overduidelijk waren, leerden de beste AI-robots snel om 90% van de puzzels op te lossen. Het spel verloor zijn vermogen om het verschil te zien tussen een slimme robot en een écht slimme robot. De moeilijkheidsgraad bereikte een "plafond" dat menselijke ontwerpers niet konden doorbreken, omdat zij niet over een perfecte kaart van het hele internet beschikken om te zien hoeveel andere "schatten" aan de aanwijzingen zouden kunnen voldogen.
De Oplossing: Een "Superkaart" Bouwen
De auteurs van dit paper, LoHoSearch, besloten te stoppen met vertrouwen op menselijke gokwerk. In plaats daarvan bouwden ze een enorm, geautomatiseerd systeem gebaseerd op een Knowledge Graph (kennisgrafiek).
Beschouw deze Knowledge Graph als een gigantische, digitale kaart van het hele internet (specifiek Wikipedia), met meer dan 7 miljoen entiteiten (mensen, plaatsen, dingen) en hoe zij met elkaar verbonden zijn.
In plaats van dat een mens een vraag kiest, gebruikt de computer deze kaart om:
- De "Moeilijke" Paden te Vinden: Het zoekt naar verbindingen waar duizenden mogelijke antwoorden zijn, niet slechts één of twee beroemde namen.
- Complexe Doolhoven te Bouwen: Het creëert vragen die de robot dwingen om veel doodlopende wegen te controleren voordat hij het juiste pad vindt.
- Het Antwoord te Verifiëren: Het bewijst wiskundig dat slechts één specifieke aanwijzing past, zodat de puzzel eerlijk is.
Het Nieuwe Spel: LoHoSearch
Het resultaat is een nieuwe benchmark genaamd LoHoSearch (Long-Horizon Search). Deze bevat 544 lastige vragen verdeeld over 11 verschillende onderwerpen (zoals muziek, sport en films).
Hier is hoe het nieuwe spel de regels verandert:
- De Zoekruimte is Enorm: In het oude spel, als de aanwijzing was "Wie heeft dit liedje gezongen?", waren er misschien 5 beroemde zangers. In LoHoSearch kan de aanwijzing zijn: "Wie heeft dit obscure liedje gezongen uit een specifiek jaar binnen een specifief genre?", waarbij er honderden mogelijke zangers zijn. De robot moet ze allemaal controleren.
- Het Doolhof is Verwarrend: De vragen zijn niet een rechte lijn. Ze zijn als een verstrengeld web waarbij je aanwijzingen moet kruisverwijzen die weer op elkaar terugkoppelen. Je kunt niet simpelweg gokken; je moet diep nadenken.
De Resultaten: Robots Lopen Tegen een Muur Aan
De onderzoekers testten de slimste AI-modellen ter wereld op dit nieuwe spel. De resultaten waren schokkend:
- Het Oude Spel: De beste modellen scoorden boven de 90%.
- Het Nieuwe Spel: Zelfs het allerbeste model (GPT-5.5) scoorde slechts 34,7%.
Het is alsof de robots van "Grootmeesters" in schaken zijn veranderd in spelers die worstelen met het leren van de regels van een nieuw, veel moeilijker spel.
Waarom Huidige Trucs Niet Werken
Wanneer robots vastlopen op moeilijke puzzels, proberen ze meestal een strategie genaamd "Context Management". Stel je een detective voor die 100 pagina's aan aantekeningen heeft geschreven. Als het notitieblok te vol raakt, probeert de detective de aantekeningen samen te vatten of oude pagina's weg te gooien om ruimte te maken voor nieuwe.
De onderzoekers testten deze strategieën op LoHoSearch.
- Op het oude, makkelijke spel hielpen deze trucs de robots met 14% te verbeteren.
- Op het nieuwe, moeilijke spel hielpen de trucs slechts met 6,8%.
Dit laat zien dat het probleem niet alleen gaat over het onthouden van zaken; het probleem is dat het "doolhof" zo complex is en de "zoekruimte" zo groot, dat de huidige breinen van de robots de vereiste lange keten van redeneringen simpelweg niet aankunnen.
De Kernboodschap
LoHoSearch bewijst dat we niet simpelweg steeds iets moeilijkere door mensen geschreven vragen kunnen blijven maken. Om echt te testen of AI slimmer wordt, moeten we een door een computer gegenereerde kaart gebruiken om puzzels te creëren die wiskundig gegarandeerd moeilijk zijn.
Deze nieuwe benchmark fungeert als een "stress-test" die de huidige grenzen van AI blootlegt. Het laat zien dat hoewel AI geweldig is in het vinden van gemakkelijke antwoorden, het nog steeds aanzienlijk moeite heeft wanneer het door een enorme, complexe web van informatie moet navigeren om tot één enkele, verborgen waarheid te komen.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.