Search Arena: Analyzing Search-Augmented LLMs

Dit paper introduceert Search Arena, een groot, crowd-sourced dataset met menselijke voorkeuren voor zoekversterkte LLMs, en onthult dat gebruikers vaak gebaseerd op citaties oordelen in plaats van feitelijke ondersteuning, terwijl het ook aantoont dat webzoekfuncties de prestaties in niet-zoekscenario's niet verslechteren.

De kern

Stel je voor dat je een superintelligente robot hebt die alles weet over de wereld, maar die robot zijn kennis alleen heeft opgehaald uit boeken die in 2023 zijn geschreven. Als je hem vraagt wat er gisteren in het nieuws was, of welke sneaker nu het populairst is, kijkt hij verbaasd en probeert hij het te raden op basis van zijn oude kennis. Dat is een LLM (een grote taalmodel) zonder internet.

Nu hebben onderzoekers van de Universiteit van Californië (Berkeley) een oplossing bedacht: ze hebben die robot een telefoon gegeven. Ze noemen dit een "Search-Augmented LLM". De robot kan nu live op het internet zoeken, net als jij op Google.

Maar hoe goed is die robot eigenlijk? En wat vinden mensen er echt van? Om dit uit te vinden, hebben ze Search Arena gebouwd. Hier is een uitleg in gewone taal, met een paar leuke vergelijkingen.

1. De "Proefkeuken" (Search Arena)

Stel je voor dat je twee chefs hebt die voor je koken. De ene chef werkt alleen met zijn oude receptenboek (de robot zonder internet), en de andere chef heeft een live-kookshow waar hij elke minuut nieuwe ingrediënten kan bestellen (de robot met internet).

De onderzoekers hebben een gigantische proefkeuken gebouwd waar duizenden mensen (ongeveer 11.650) langs zijn gekomen. Ze hebben deze mensen gevraagd om vragen te stellen aan twee anonieme robots. De mensen mochten dan stemmen: "Welke antwoord was het lekkerst?"

• Het resultaat: Ze hebben 24.000 gesprekken verzameld. Dat is veel meer dan eerdere proeven, die vaak alleen bestonden uit simpele vragen als "Wie heeft de uitvinding van de lamp gedaan?" (feitencheck).
• De variatie: Mensen stelden niet alleen feitelijke vragen. Ze vroegen om advies ("Welke hardloopschoenen moet ik kopen?"), creatieve verhalen ("Schrijf een satirisch artikel over een historische figuur"), of complexe analyses. Het was dus een echte, levendige conversatie, geen examen.

2. Wat hebben ze ontdekt? (De verrassingen)

Hier komen de interessante dingen die de onderzoekers uit de "proefkeuken" hebben gehaald:

A. De "Aanwijzingen" (Citations) zijn een valstrik
Stel je voor dat een chef zegt: "Ik heb dit recept gebruikt." En hij noemt drie bronnen. Mensen denken dan: "Oh, hij heeft bronnen, dus het moet wel waar zijn!"

• De verrassing: De onderzoekers zagen dat mensen liever een antwoord gaven met veel aanwijzingen (links), zelfs als die links niets te maken hadden met wat de chef eigenlijk zei.
• De les: Mensen worden beïnvloed door het aantal links, niet per se door of die links kloppen. Het is alsof je een jurist gelooft omdat hij 10 boeken op zijn bureau heeft staan, zelfs als hij de verkeerde pagina's citeert.

B. Wikipedia is niet altijd de beste vriend
Je zou denken: "Wikipedia is toch betrouwbaar?"

• De verrassing: Mensen vonden antwoorden met Wikipedia-links vaak minder goed, vooral als het om actuele nieuwsvragen ging.
• De reden: Wikipedia is vaak statisch en uitgebreid. Als je vraagt "Wat is er gisteren gebeurd in de sport?", is Wikipedia te traag en te breed. Mensen vonden links naar nieuwswebsites, tech-forums of sociale media (zoals Reddit of TikTok) juist betrouwbaarder voor actuele vragen.

C. Meer is vaak beter (maar niet altijd)
Mensen vonden langere antwoorden en antwoorden met meer "redenering" (de robot die uitlegt hoe hij tot een conclusie komt) vaak beter.

• De nuance: Als je gewoon een feit wilt weten (bijv. "Hoeveel graden is het?"), willen mensen een kort, krachtig antwoord. Maar als je advies vraagt, willen ze een uitgebreide uitleg.

3. De Grote Test: Internet vs. Geen Internet

De onderzoekers deden een experiment om te zien of de "internet-robot" altijd beter is.

• Scenario 1: De Feiten-Test. Als je vraagt om feiten of samenvattingen van nieuws, wint de robot met internet altijd. Hij is sneller en actiever.
• Scenario 2: De Creatieve Test. Als je vraagt om een gedicht te schrijven of een logisch raadsel op te lossen, doet de robot zonder internet soms net zo goed, of zelfs iets beter.
  • Waarom? Soms maakt het zoeken op internet de robot afgeleid. Hij probeert te veel informatie te verwerken en raakt de draad kwijt. Voor creatieve taken is zijn eigen "kennis" soms juist sterker.

Conclusie: Wat betekent dit voor ons?

Deze studie (Search Arena) is als een grote spiegel voor de toekomst van AI.

1. We zijn te makkelijk te misleiden: We geloven een AI sneller als hij veel links toont, zelfs als die links niet kloppen. We moeten kritischer zijn.
2. Internet is een tweesnijdend zwaard: Het helpt enorm bij feiten en nieuws, maar het kan de creativiteit en logica van de robot soms verstoren.
3. De toekomst: De beste AI's zullen waarschijnlijk slim moeten weten wanneer ze op het internet moeten zoeken en wanneer ze gewoon hun eigen kennis moeten gebruiken.

Kortom: Search Arena is de eerste grote, echte test die laat zien hoe mensen echt omgaan met deze nieuwe, internet-verbonden robots. Het leert ons dat "meer informatie" niet altijd "beter antwoord" betekent, en dat we moeten opletten dat we niet blindelings vertrouwen op een lijstje met links.

Technische samenvatting

Probleemstelling

Zoekverrijkte taalkundige modellen (Search-Augmented LLMs) combineren webzoekfuncties met Large Language Models (LLMs) om antwoorden actiever, grondiger en feitelijker te maken. Ondanks de snelle ontwikkeling van deze systemen, blijft de analyse ervan uitdagend. Bestaande datasets voor evaluatie zijn beperkt in schaal en scope: ze zijn vaak statisch, beperkt tot één interactie (single-turn), monolinguïstisch en gericht op feitelijke verificatie (fact-checking).

In de praktijk zijn gebruikersvragen echter veel complexer: ze omvatten multi-turn dialogen, diverse intenties (zoals analyse, creatieve generatie, aanbevelingen) en talrijke talen. Er ontbreekt een groot, menselijk voorkeurdataset dat de echte interacties tussen gebruikers en zoekverrijkte LLMs in de "wild" (in-the-wild) vastlegt.

Methodologie

De auteurs introduceren Search Arena, een crowdsourced platform voor de evaluatie van zoekverrijkte LLMs, geïntegreerd in de bestaande Chatbot Arena-omgeving.

1. Dataverzameling:

   • Tussen maart en mei 2025 werden 24.069 conversaties verzameld, waarbij gebruikers interactie hadden met 13 verschillende zoekverrijkte modellen (o.a. van Perplexity, Gemini en OpenAI).
   • Er werden 12.652 gepaarde menselijke voorkeursstemmen (votes) verzameld waarbij gebruikers een van de twee anonieme modelantwoorden selecteerden.
   • Het dataset omvat data van 11.650 unieke gebruikers uit 136 landen, beslaat 71 talen (waarvan 11% meertalige prompts) en bevat volledige systeemsporen (retrieved URLs, reasoning traces, etc.).

2. Intens classificatie:

   • De auteurs ontwikkelden een taxonomie van 9 intentie-categorieën: Feitelijke Opzoeking (Factual Lookup), Informatie Synthese, Analyse, Aanbeveling, Uitleg, Creatieve Generatie, Richtinggeven (Guidance), Tekstverwerking en Overig.
   • Deze classificatie werd geschaald naar het volledige dataset met behulp van GPT-4.1, gevalideerd door menselijke annotatie (Cohen's kappa = 0,812).

3. Analyse van Voorkeuren:

   • Gebruikersvoorkeuren werden gemodelleerd met het Bradley-Terry-model om de invloed van verschillende response-kenmerken te kwantificeren.
   • Citaat-analyse: Een geautomatiseerde pipeline (met LLM's) analyseerde circa 800 voorbeelden om te bepalen of citaten de claims ondersteunen, irrelevant zijn of in tegenspraak zijn met de bron.
   • Cross-Arena Evaluatie: Er werd een experiment uitgevoerd waarbij een niet-zoekmodel werd getest in de Search Arena en een zoekverrijkt model in de standaard Text Arena, om te zien hoe prestaties verschuiven afhankelijk van de context en verwachtingen.

Belangrijkste Bijdragen

1. Eerste Groot-Schalige Dataset: De release van het eerste menselijke voorkeurdataset van 24k conversaties met zoekverrijkte LLMs, inclusief metadata, intenties en volledige zoeksporen.
2. Diepgaande Analyse van Menselijke Voorkeuren: De eerste systematische analyse van hoe specifieke kenmerken van zoekverrijkte antwoorden (zoals citatie-aantal, brontype en redenering) correleren met menselijke voorkeuren.
3. Cross-Arena Validatie: Een uniek experiment dat de prestaties van modellen vergelijkt in zoek- versus niet-zoekomgevingen, wat inzicht geeft in de generaliseerbaarheid van zoekverrijking.

Resultaten en Kieksbevindingen

• Invloed van Citaties:

  • Gebruikers geven de voorkeur aan antwoorden met meer citaties, zelfs als de inhoud van die citaties de claims niet direct ondersteunt. Er is een sterke positieve correlatie tussen het aantal citaties en de voorkeur (β = 0,209).
  • Perceptie vs. Realiteit: Interessant genoeg correleren irrelevante citaties even sterk positief met voorkeuren (β = 0,273) als ondersteunende citaties (β = 0,29). Dit suggereert dat gebruikers vaak misleiden door de aanwezigheid van citaties, ongeacht de kwaliteit of relevantie.
  • Bronnen: Gebruikers geven de voorkeur aan technische platforms, community-blogs en sociale media. Wikipedia wordt daarentegen negatief beoordeeld (β = -0,071), waarschijnlijk omdat het als minder actueel of te breed wordt gezien voor specifieke, real-time vragen.

• Model Kenmerken:

  • Redenering: Modellen met redeneringscapaciteiten presteren beter, voornamelijk omdat ze bronnen filteren en irrelevante informatie uitsluiten. Ze citeren echter minder vaak dan niet-redenerende modellen.
  • Zoek Context: Modellen met een grotere zoekcontext (meer bronnen) presteren beter, maar dit leidt ook tot langere antwoorden.
  • Lengte: Gebruikers hebben een bias naar langere, meer uitgebreide antwoorden, hoewel dit effect kleiner is bij feitelijke opzoekvragen.

• Cross-Arena Prestaties:

  • In zoek-intensieve settings: Niet-zoekmodellen presteren significant slechter (p-waarde = 0,009). Webzoek is essentieel voor actuele informatie.
  • In algemene chat settings: Zoekverrijkte modellen presteren vergelijkbaar met niet-zoekmodellen, met een lichte verbetering bij feitelijke vragen en een lichte daling bij tekstverwerking (waarschijnlijk door een minder gestructureerde presentatie).
  • Conclusie: Het toevoegen van zoekfuncties schaadt de prestaties in niet-zoeksettings niet, maar het ontbreken van zoekfuncties schaadt de prestaties in zoeksettings aanzienlijk.

Significantie

Dit paper markeert een verschuiving in de evaluatie van LLMs van statische, feitelijke benchmarks naar dynamische, mens-gedreven evaluaties in real-world scenario's.

• Kritische Inzichten: Het onthult een gevaarlijke kloof tussen waargenomen geloofwaardigheid (veel citaties = betrouwbaar) en werkelijke feitelijke grondigheid. Dit is een belangrijke waarschuwing voor ontwikkelaars van RAG-systemen (Retrieval-Augmented Generation).
• Toekomstige Richtingen: De dataset biedt een basis voor het ontwikkelen van betere reward-modellen die niet alleen kijken naar de aanwezigheid van bronnen, maar ook naar de correcte toewijzing (attribution) en relevantie.
• Open Science: Door de dataset en het platform open source te maken, faciliteert het onderzoek naar mens-AI interacties en de ontwikkeling van robuustere zoekverrijkte systemen.

Kortom, Search Arena biedt een onmisbaar inzicht in hoe gebruikers echt omgaan met zoekverrijkte AI, waarbij de bevindingen aantonen dat gebruikers vaak oppervlakkige signalen (zoals het aantal citaties) verkiezen boven diepere, feitelijke correctheid.