💬 NLP

Large Language Model Selection with Limited Annotations

Het artikel introduceert SELECT-LLM, een nieuw raamwerk dat gebruikmaakt van de verwachte informatiewinst afgeleid van paarwijze modeloutputgelijkenissen om actief een minimale set van queries voor annotatie te selecteren, waardoor de evaluatiekosten aanzienlijk worden verlaagd terwijl tegelijkertijd effectief het beste Large Language Model voor een gegeven taak wordt geïdentificeerd zonder toegang tot modelgewichten te vereisen.

Oorspronkelijke auteurs: Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yavuz Durmazkeser, Patrik Okanovic, Andreas Kirsch, Torsten Hoefler, Nezihe Merve Gürel

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een wervingsspecialist bent die de perfecte werknemer zoekt voor een zeer specifieke functie. Je hebt een enorme pool van 156 kandidaten (dit zijn de Grote Taalmodellen, of LLM's). Je weet dat ze allemaal slim zijn, maar je weet niet welke er werkelijk het beste is bij jouw specifieke taak.

Normaal gesproken zou je om dit uit te vinden elke enkele kandidaat een volledige toets van 100 vragen laten maken, en vervolgens een team van dure menselijke experts inhuren om elk enkel antwoord te beoordelen. Dit is traag, duur en vermoeiend.

Het artikel introduceert een nieuwe methode genaamd SELECT-LLM. Denk hierbij aan een superintelligente wervingsassistent die de beste kandidaat kan vinden door hen slechts een klein fractie van de toets te laten maken—misschien slechts 5 of 10 vragen in plaats van 100.

Hieronder wordt uitgelegd hoe het werkt, met behulp van eenvoudige analogieën:

Het Probleem: De "Blinde Proeverij"

Stel je voor dat je 156 verschillende chefs hebt (de AI-modellen) en je wilt degene vinden die de beste pizza maakt.

De Oude Manier: Je vraagt elke chef om 100 pizza's te maken. Je huurt 100 foodcritici in om elke enkele pizza te proeven en een rapport te schrijven. Dit kost een fortuin aan tijd en geld.
De Willekeurige Manier: Je vraagt de chefs om slechts 5 pizza's te maken, maar je kiest die 5 vragen willekeurig uit. Misschien blijken alle 5 chefs geweldig te zijn in het maken van kaaspizza, maar slecht in pepperoni. Je zou door pech de verkeerde winnaar kunnen kiezen.

De Oplossing: SELECT-LLM (De "Slimme Quiz")

SELECT-LLM is als een detective die precies weet welke vragen de waarheid zullen onthullen. Het kiest niet zomaar willekeurige vragen; het kiest de meest informatieve vragen.

Hier is het stap-voor-stap proces:

De Opstelling: Je hebt een "pool" van potentiële vragen (de toetsbank) en een lijst met kandidaat-modellen.
Het Raadselspel: Het systeem bekijkt wat alle modellen zouden zeggen als ze een vraag beantwoorden (zonder dat er nog een mens nodig is om het te beoordelen).
De "Meningsverschil"-Detector: Het systeem vraagt zich af: "Als ik deze vraag stel, zullen de topkandidaten dan zeer verschillende antwoorden geven?"
- Als alle topchefs exact hetzelfde antwoord geven, is de vraag niet erg nuttig om ze uit elkaar te houden.
- Als de beste chefs zeer verschillende antwoorden geven, is die vraag goud. Het is de vraag die je zal helpen uit te vinden wie er werkelijk de beste is.
De Selectie: Het systeem kiest die "gouden" vraag en vraagt een menselijk expert (de "Orakel") om slechts dat ene antwoord te beoordelen.
De Update: Op basis van die enkele beoordeling, update het systeem zijn rangschikking van de chefs. Het kan zeggen: "Oh, Chef A had het goed, maar Chef B had het fout. Chef A is nu waarschijnlijker de winnaar."
Herhalen: Het herhaalt dit proces, waarbij het altijd de volgende vraag kiest die de meeste "meningsverschillen" zal veroorzaken onder de overige topkandidaten, totdat het zeker genoeg is om een winnaar te kiezen.

Waarom is dit een grote zaak?

Het artikel heeft deze methode getest op 23 verschillende soorten taken (zoals wiskunde, nieuws samenvatten, talen vertalen en wetenschappelijke vragen beantwoorden) en 156 verschillende AI-modellen.

Het Resultaat: SELECT-LLM vond het beste model met tot 84% minder menselijke beoordelingen dan de volgende beste methode.
De Analogie: In plaats van 100 critici in te huren om 100 pizza's te proeven, heeft deze methode misschien slechts 15 critici nodig om 15 pizza's te proeven om precies dezelfde winnaar te vinden.

Belangrijkste Kenmerken

Het is "Black-Box" Vriendelijk: Je hoeft niet te weten hoe de AI-modellen van binnen zijn opgebouwd (zoals hun code of gewichten). Je hoeft alleen te zien wat ze zeggen. Dit werkt voor zowel open-source modellen als dure, gesloten commerciële modellen (zoals die waar je voor betaalt via een API).
Het is Model-Agnostisch: Het maakt niet uit of de modellen groot of klein zijn, of welke taal ze spreken. Het kijkt alleen naar de gelijkenis van hun antwoorden.
Het is Veilig: Zelfs als het niet het absolute nummer 1-model kiest, kiest het bijna altijd een model dat zeer dicht bij de beste ligt, zodat je niet eindigt met een vreselijk resultaat.

Samenvattend

SELECT-LLM is een slimme strategie om te stoppen met geld verspillen aan onnodige testen. In plaats van elke AI een volledig examen te laten maken en mensen alles te laten beoordelen, stelt het slechts de juiste paar vragen om snel het superster-model te identificeren. Het verandert een enorme, dure zoektocht in een snelle, efficiënte jacht.

Technische Samenvatting: SELECT-LLM

Probleemstelling

De snelle proliferatie van Large Language Models (LLM's) heeft een aanzienlijke uitdaging op het gebied van modelselectie gecreëerd. Hoewel moderne LLM's sterke zero-shot capaciteiten bezitten, is hun relatieve prestatie sterk contextafhankelijk en varieert deze aanzienlijk tussen domeinen, taken en talen. Het identificeren van het optimale LLM voor een specifieke toepassing vereist doorgaans het evalueren van kandidaten tegen vaste benchmarksets. Echter, standaard benchmarking wordt steeds moeilijker te gebruiken voor selectie, omdat benchmarks vaak achterlopen op nieuwe modelreleases en mogelijk geen rekening houden met domeinspecifieke behoeften.

Een meer praktische alternatief houdt in het gebruik van kleine, geannoteerde subsets van queries om het beste model te selecteren. Echter, leiden willekeurige of op heuristieken gebaseerde selecties van deze subsets vaak tot een inefficiënt gebruik van annotatiebudgetten en falen ze om betekenisvolle prestatieverschillen tussen kandidaten aan het licht te brengen. Hoewel actief leren uitgebreid is bestudeerd voor classificatietaken, zijn bestaande methoden voor generatieve settings beperkt; ze beperken vergelijkingen vaak tot twee modellen of richten zich op het testen van een enkel model in plaats van selectie uit willekeurige pools van kandidaten. Het kernprobleem dat wordt aangepakt, is hoe men onder beperkte annotatiemiddelen betrouwbaar het beste LLM voor een doeltaak en data-distributie kan identificeren.

Methodologie: SELECT-LLM

De auteurs stellen SELECT-LLM voor, een kader voor de actieve modelselectie van LLM's. Het doel is om een kleine set van $b$ queries (waarbij $b \ll n$ ) te selecteren uit een pool van $n$ niet-geannoteerde queries, zodat hun annotaties de onzekerheid over de identiteit van het beste model maximaal reduceren.

Formulering

Het probleem wordt geformuleerd als het maximaliseren van de wederzijdse informatie tussen de onbekende identiteit van het beste model ( $F$ ) en de verkregen annotaties ( $A$ ). De auteurs definiëren het beste model als het model dat de hoogste gemiddelde prestatiescore behaalt over de query-set wanneer geëvalueerd tegen grondwaarheidsreferenties.

Om dit hanteerbaar te maken, hanteren ze een probabilistische formulering waarbij de waarschijnlijkheid van een modeloutput evenredig is met zijn gelijkenis aan het referentieantwoord, beheerd door een temperatuurparameter $\tau$ . Het doel is om queries te selecteren die de verwachte informatiewinst maximaliseren:
$A_{opt}[b] = \arg \max_{A \subseteq \{(q_i, r_i)\}, |A| \le b} I(F; A)$

Algoritme en Benadering

De directe berekening van informatiewinst is onhanteerbaar voor open-ended generatie vanwege de onbegrensde referentieruimte. SELECT-LLM leidt een hanteerbare selectieregel af via drie belangrijke benaderingen:

Taylor-benadering: Het logaritmische term in de wederzijdse informatie-objecitve wordt benaderd met behulp van een Taylor-ontwikkeling van de tweede orde, waardoor het doel wordt omgezet in een kwadratische vorm die paarsgewijze vergelijkingen omvat.
Linearisatie: Het waarschijnlijkheidsmodel wordt lokaal gelineariseerd, waarbij verschillen in waarschijnlijkheid worden vervangen door verschillen in gelijkenisscores tussen modeloutputs en potentiële referenties.
Vervanging door Gelijkenis: De gemiddelde over mogelijke referentie-antwoorden wordt benaderd door de dissimilariteit tussen de modeloutputs van de kandidaten zelf.

Dit resulteert in een gretige selectieregel (Vergelijking 5) die de volgende query $q_t$ selecteert door de posterior-gewogen paarsgewijze gelijkenis tussen kandidaat-modeloutputs te minimaliseren:
$q_t = \arg \min_{q \in U_t} \sum_{j=1}^{m} \sum_{k=1}^{m} P(F = f_j | A_t) P(F = f_k | A_t) s(f_j(q), f_k(q))$
Intuïtief prioriteert het algoritme queries waarbij de meest waarschijnlijke kandidaat-modellen de meest verschillende antwoorden produceren, waardoor de informatie die uit een enkele annotatie wordt verkregen, wordt gemaximaliseerd.

Modelonafhankelijke Aard

Een kritiek kenmerk van SELECT-LLM is dat het uitsluitend vertrouwen op gegenereerde modelresponsen. Het vereist geen toegang tot modelgewichten, logits of interne toestanden. Dit maakt het kader toepasbaar op zowel open-weight als black-box (alleen API) LLM's.

Parameterselectie

De temperatuurparameter $\tau$ , die de scherpte van de posterior-verdeling controleert, wordt geselecteerd voorafgaand aan het actieve selectieproces zonder dat orakel-annotaties nodig zijn. De auteurs gebruiken een ruisig proxy-signaal afgeleid van paarsgewijze gelijkenissen tussen modelresponsen om een grid-search uit te voeren en de $\tau$ te identificeren die de beste identificatieprestatie oplevert.

Belangrijkste Bijdragen

Eerste Formulering: Voor zover de auteurs weten, is dit de eerste formulering en studie van actieve modelselectie voor LLM's onder beperkte annotatiebudgetten.
SELECT-LLM Kader: Een principieel, modelonafhankelijk kader dat gretig queries selecteert om informatiewinst te maximaliseren. Het leidt een hanteerbare benadering af op basis van paarsgewijze gelijkenissen tussen modeloutputs, waardoor de noodzaak voor interne modeltoegang wordt vermeden.
Uitgebreide Evaluatie: Het kader wordt gevalideerd over 23 diverse datasets (die redeneren, QA, samenvatten, vertalen, etc. omvatten) en 156 geëvalueerde modellen (inclusief open-source en alleen-API-modellen) met behulp van meerdere referentie-gebaseerde metrics (BERTScore, ROUGE, BLEU, F1, Exact Match, etc.).

Resultaten

De evaluatie toont aan dat SELECT-LLM consistent betere prestaties levert dan aangepaste baseline-strategieën (waaronder Random, Margin, Min Agreement, VMA en AMC) in alle settings:

Identificatie van het Beste Model: SELECT-LLM identificeert het ware beste model met aanzienlijk minder annotaties dan de sterkste baseline. De reductie in annotatiekosten bedroeg tot 81,8% (bijvoorbeeld op de XSum-dataset met ROUGE-L).
Selectie van een Bijna-Beste Model: Wanneer het doel wordt versoepeld tot het identificeren van een model binnen een klein prestatiegap ( $\delta$ ) van het beste, bereikt SELECT-LLM nog hogere efficiëntie, met annotatiereducties tot 84,78%.
Robuustheid: In termen van het prestatiegap op het 95e percentiel (het worst-case verschil tussen het geselecteerde model en het ware beste) behoudt SELECT-LLM consistent het laagste gap over datasets en identificatiekansniveaus (70%, 80%, 90%, 100%), wat robuustheid aangeeft zelfs in moeilijke realisaties.
Generalisatie: De methode presteert goed over diverse taakfamilies en evaluatiemetrics, wat aangeeft dat deze niet gebonden is aan een specifieke scoringsregel of domein.

Betekenis en Claims

Het artikel claimt dat SELECT-LLM een praktische aanpak biedt voor actieve modelselectie in realistische black-box settings. Door uitsluitend vertrouwen op modeloutputs en een extern orakel, overbrugt het de kloof tussen theoretisch actief leren en de praktische beperkingen van moderne LLM-implementatie.

De auteurs merken op dat hoewel de methode de annotatiekosten voor modelselectie aanzienlijk verlaagt, deze werkt onder specifieke aannames:

Het veronderstelt een betrouwbaar orakelsignaal (referentie-gebaseerde evaluatie) in plaats van ruisige menselijke voorkeuren of LLM-as-a-Judge-systemen.
Het veronderstelt dat de kandidatenpool en de querypool vaststaan voordat de selectie begint.

Het werk benadrukt dat efficiënte selectie een rigoureuze vergelijking van LLM's toegankelijker kan maken, maar waarschuwt ook dat bevooroordeelde annotaties of evaluatiecriteria kunnen leiden tot bevooroordeelde modelkeuzes, met name in veiligheidskritieke domeinen. De auteurs positioneren dit als een fundamentele stap naar efficiëntere en betrouwbaardere evaluatieprotocollen voor LLM's.