BenchBrowser -- Collecting Evidence for Evaluating Benchmark Validity

Probleemstelling

De huidige praktijk voor het evalueren van Taalmodellen (LLM's) leunt zwaar op publieke benchmarks. Practitioners (ontwikkelaars en onderzoekers) gaan vaak uit van het gevaarlijke veronderstelling dat deze benchmarks betrouwbare proxies zijn voor hun specifieke gebruiksscenario's. Het paper identificeert twee fundamentele validiteitsproblemen die hieruit voortvloeien:

1. Gebrek aan Content Validity: Benchmarks dekken vaak niet alle facetten van een vaardigheid die een practitioner wil testen. Een benchmark voor "programmeren" kan bijvoorbeeld grotendeels beperkt zijn tot Python, terwijl de practitioner ook Go of Rust nodig heeft. De metadata is vaak te vaag (bijv. "poëzie") om te garanderen dat specifieke vormen (bijv. "haiku") worden getest.
2. Gebrek aan Convergente Validiteit: Wanneer verschillende benchmarks dezelfde vaardigheid proberen te meten (bijv. "redeneren"), leiden ze vaak tot tegenstrijdige rangschikkingen van modellen. Een model kan uitstekend presteren op wetenschappelijke redeneervragen maar falen bij redeneren over narratieve consistentie. Dit maakt het voor practitioners onmogelijk om te bepalen welk model het beste is voor hun specifieke doel.

Het diagnosticeren van deze problemen is momenteel een tijdrovend en duur proces dat vaak handmatige audits vereist, wat niet schaalbaar is voor de tienduizenden items in moderne benchmark suites.

Methodologie: BenchBrowser

Om deze kloof te overbruggen, stellen de auteurs BenchBrowser voor, een zoekhulpmiddel dat practitioners in staat stelt om bewijs te verzamelen over hoe benchmarks hun specifieke gebruiksscenario's vertegenwoordigen. Het systeem werkt in drie fasen:

1. Anchorgeneratie (Query Rewriting):
   Directe zoekopdrachten met natuurlijke taal zijn vaak onvoldoende omdat practitioners intenties abstract formuleren (bijv. "instructie-opvolging") terwijl benchmarks specifieke formaten hebben. BenchBrowser gebruikt een LLM (GPT-5-mini) om de gebruikersquery om te zetten in meerdere "anchors" (zoektermen) via vier strategieën:

   • Original: De originele query.
   • Rephrasing: Het decomponeren van de query in sub-topics of benodigde vaardigheden.
   • Example Synthesis: Het genereren van synthetische voorbeelden in diverse formaten (MCQ, lang formaat, invulvragen) om de distributie van de benchmark-database beter te benaderen.
   • Shorthand: Het omzetten van queries en database-items in een gestructureerde notatie (<vaardigheid>&<key1>&<key2>), gefinetuned met een Llama-3-model om semantische clusters te verbeteren.

2. Semantische Retrieval:
   De gegenereerde anchors worden ingebed met het model bge-en-icl (een in-context learning embedding model). Vervolgens wordt een efficiënte vergelijkingszoekopdracht uitgevoerd met Faiss om de top-k meest relevante voorbeelden uit een database van meer dan 20 benchmark suites (ongeveer 70.000 items) op te halen.

3. Filtering:
   Een LLM-judge filtert de geretrieveerde resultaten op basis van drie dimensies: topische overlap, overlap in benodigde vaardigheden, en of het succes op het voorbeeld geloofwaardig bewijs levert voor de beoogde competentie. Dit elimineert duidelijk irrelevante items zonder de uiteindelijke keuze aan de practitioner te ontnemen.

Belangrijkste Bijdragen

• Interactieve Validiteitsdiagnose: BenchBrowser biedt een tool waarmee practitioners snel bewijs kunnen verzamelen om content en convergente validiteit te beoordelen, in plaats van blindelings op benchmark-scores te vertrouwen.
• Kwantificering van Validiteitsgaten: Het systeem maakt het mogelijk om te meten hoe sterk de dekking varieert tussen verschillende facetten van dezelfde vaardigheid (bijv. Python vs. Go) en hoe rangschikkingen van modellen veranderen afhankelijk van het gebruikte testset.
• Openbare Tool en Dataset: De tool, de code en de geannoteerde datasets zijn publiek beschikbaar gesteld, wat transparantie in benchmark-evaluatie bevordert.

Resultaten

De auteurs hebben BenchBrowser gevalideerd via uitgebreide experimenten en een menselijke studie met 10 NLP-practitioners:

• Retrieval Kwaliteit: De methode Example Synthesis (het genereren van synthetische voorbeelden) presteerde consistent het beste, met een significant hogere precisie (Prec@k) dan niet-neurale baselines (BM25) en directe zoekopdrachten. De precisie bleef stabiel zelfs bij het vergroten van de hoeveelheid geretrieveerde voorbeelden (k).
• Menselijke Validatie: Er was een sterke correlatie tussen de beoordelingen van de LLM-judge en menselijke annotatoren. Mensen beoordeelden de geretrieveerde voorbeelden als relevant voor diverse gebruiksscenario's, wat de betrouwbaarheid van het geautomatiseerde filter bevestigt.
• Content Validiteit: Het onderzoek toonde aan dat er grote dispariteiten zijn in de dekking van facetten. Bijvoorbeeld, voor de vaardigheid "code genereren" zijn er veel voorbeelden voor Python, maar drastisch minder voor Go of Rust. Dit betekent dat algemene scores voor "programmeren" vaak vertekend zijn door de dominantie van specifieke talen.
• Convergente Validiteit: Het paper demonstreerde dat geretrieveerde voorbeelden (die menselijk als relevant worden beoordeeld) vaak leiden tot andere modelrangschikkingen dan de originele benchmarks. Dit wijst op construct non-equivalence: benchmarks die ogenschijnlijk hetzelfde meten, testen in feite verschillende onderliggende competenties of gebruiken verschillende evaluatiemaatstaven (rubrics).

Betekenis en Impact

BenchBrowser verschuift de focus van "benchmark-scores als waarheid" naar "benchmark-items als bewijs". De tool stelt practitioners in staat om:

1. Bewust te worden van bias: Te zien welke facetten van een vaardigheid ondervertegenwoordigd zijn in bestaande benchmarks.
2. Betere beslissingen te nemen: Te begrijpen waarom modellen op sommige benchmarks goed presteren en op andere niet, gebaseerd op de onderliggende data en rubrics.
3. Nieuwe benchmarks te bouwen: Op basis van de gevonden gaten kunnen practitioners gerichter nieuwe testsets ontwikkelen die beter aansluiten bij hun specifieke gebruiksscenario's.

Kortom, BenchBrowser is een cruciale stap naar een meer transparante, practitioner-gedreven en valide evaluatie van AI-systemen, waarbij de nadruk ligt op het begrijpen van wat er precies wordt gemeten in plaats van alleen op de uitkomst.