LiveBrowseComp: Are Search Agents Searching, or Just Verifying What They Already Know?
Dit artikel onthult dat huidige op LLM's gebaseerde zoekagenten vaak vertrouwen op intrinsieke kennis in plaats van op echt webzoeken, wat aanleiding geeft tot de introductie van LiveBrowseComp, een dynamische benchmark die recente, niet-opvallende feiten gebruikt om ware op bewijs gebaseerde ontdekkingsvermogens effectief te evalueren.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
De Grote Vraag: Verkennen ze of controleren ze alleen hun huiswerk?
Stel je voor dat je een super slimme detective (een AI-agent) huurt om een specifiek, obscuur feit te vinden. Je geeft hen een bibliotheekpas (internettoegang) en zegt: "Ga het antwoord zoeken."
Het artikel stelt een verdachte vraag: Zoekt deze detective echt in de bibliotheek naar nieuwe informatie, of opent hij gewoon een boek dat hij al uit zijn hoofd kent, vindt het antwoord in zijn hoofd, en gebruikt de bibliotheekpas alleen om te zeggen: "Zie je wel? Ik zei toch dat ik gelijk had"?
De auteurs noemen dit gedrag Intrinsic Knowledge Dependence (IKD) (Afhankelijkheid van intrinsieke kennis). Het is als een student die de antwoorden op een oefentoets al uit zijn hoofd heeft geleerd. Wanneer hij de echte toets maakt, hoeft hij niet te studeren; hij schrijft gewoon op wat hij zich herinnert en gebruikt de "open boek"-regel om te dubbelchecken of zijn geheugen klopt.
Het Probleem met Huidige Tests (De "Statische" Benchmarks)
Momenteel testen we deze AI-detectives met "Statische Benchmarks" (zoals BrowseComp). Denk hierbij aan oude, stoffige triviaquizzen.
- Het Probleem: Omdat deze quizzen al een tijdje bestaan, hebben de AI-modellen de vragen waarschijnlijk al "gelezen" tijdens hun training.
- Het Resultaat: De AI behaalt een hoge score, maar niet omdat hij goed is in zoeken. Het is omdat hij goed is in onthouden. Hij raadt het antwoord uit zijn geheugen en gebruikt het internet alleen om zich zelfverzekerd te voelen.
De Drie "Leugendetector"-Tests
Om hun verdenking te bewijzen, voerden de onderzoekers drie eenvoudige experimenten uit met bestaande AI-modellen:
- De "Geen-Tools"-Test: Ze namen het internet af.
- Resultaat: De AI's hadden nog steeds ongeveer 44% van de antwoorden goed. Dit bewees dat ze vertrouwden op hun interne geheugen, niet op het zoekhulpmiddel.
- De "Gebroken Bibliotheek"-Test: Ze lieten de AI het internet gebruiken, maar verwijderden in het geheim alle pagina's die het juiste antwoord bevatten. De AI zag alleen irrelevante rommel.
- Resultaat: De scores van de AI's instortten. In plaats van de rommel te negeren en bij hun geheugen te blijven, raakten ze in de war en gaven ze verkeerde antwoorden. Dit toonde aan dat ze het zoeken niet gebruikten om waarheid te ontdekken; ze gebruikten het om te bevestigen wat ze al hadden geraden.
- De "Spoor van Aanwijzingen"-Test: Ze keken naar de zoekgeschiedenis van de AI.
- Resultaat: Ze ontdekten dat meer dan 50% van de zoekvragen die de AI stelde, gebaseerd waren op zijn eigen guesses, niet op dingen die hij daadwerkelijk op het web vond. Hij joeg zijn eigen staart na.
De Oplossing: Introductie van "LiveBrowseComp"
Om dit op te lossen, bouwden de onderzoekers een nieuwe test genaamd LiveBrowseComp.
De Analogie:
Als de oude tests waren als een aflevering van Jeopardy! van vorig jaar (die de AI misschien op tv heeft gezien), dan is de nieuwe test als een live nieuwsuitzending die nu plaatsvindt.
- Frisheid: De vragen zijn gebaseerd op feiten die in de laatste 90 dagen zijn gepubliceerd. De AI kon deze niet hebben onthouden omdat ze niet bestonden toen de AI "geboren" werd (getraind).
- Obscuriteit: De feiten zijn geen bekende koppen (zoals "Wie won de Super Bowl?"). Het zijn "long-tail" feiten, zoals "Wat was de specifieke aardbevingssterkte in een klein stadje in Peru drie weken geleden?" of "Wat is de naam van een niche-videospel dat gisteren werd uitgebracht?"
- Het Doel: De AI dwingen om daadwerkelijk op informatie te jagen, in plaats van alleen maar te raden vanuit het geheugen.
Wat Gebeurde Er Toen Ze de Nieuwe Test Uitvoerden?
De resultaten waren schokkend:
- Geheugen Faalt: Toen de AI probeerde deze nieuwe vragen te beantwoorden zonder het internet te gebruiken (Closed-Book), daalde hun score naar minder dan 2%. Ze wisten bijna niets van deze verse feiten.
- Zoekscores Daalden: Zelfs toen ze het internet mochten gebruiken, daalden de AI-scores met 25–40 punten vergeleken met de oude tests.
- Rankings Veranderden: De AI-modellen die "winnaars" waren op de oude tests (omdat ze een goed geheugen hadden), werden plotseling gemiddeld of slecht op de nieuwe test. De modellen die goed waren in echt zoeken, klommen naar de top.
De Menselijke Vergelijking
De onderzoekers vroegen ook echte mensen om deze vragen op te lossen.
- De Bevinding: Mensen deden ongeveer even lang over het oplossen van de "Oude" vragen en de "Nieuwe" vragen.
- De Betekenis: De nieuwe vragen zijn niet "moeilijker" of "slimmer". Ze zijn gewoon nieuw. De enige reden dat de AI moeite had, was dat het niet kon vertrouwen op zijn geheugen-korte weg.
De Conclusie
Het artikel concludeert dat huidige AI-evaluaties gebrekkig zijn omdat ze geheugen belonen in plaats van zoeken.
- Oude Manier: "Kun je het antwoord raden en vervolgens een website vinden om het te onderbouwen?" (AI krijgt een A).
- Nieuwe Manier (LiveBrowseComp): "Kun je een antwoord vinden dat je nog nooit hebt gezien?" (AI krijgt een F).
De auteurs betogen dat we om echt te testen of een AI een goede "Zoekagent" is, hem moeten testen op dingen die hij niet al weet, waardoor hij het harde werk van ontdekking moet doen in plaats van alleen maar verificatie.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.