Beyond the Singular: Revealing the Value of Multiple Generations in Benchmark Evaluation

Technische Samenvatting: Voorbij het Enkelvoudige: Het Blootleggen van de Waarde van Meerdere Generaties in Benchmarkevaluatie

Probleemstelling
Huidige evaluaties van benchmarks voor Large Language Models (LLM's) vertrouwen voornamelijk op één generatie per prompt, waarbij ofwel deterministische greedy decoding of een enkele willekeurige steekproef wordt gebruikt. De auteurs betogen dat dit paradigma de inherente stochasticiteit van LLM's negeert. Deterministische generatie komt niet overeen met real-world toepassingen waar willekeurigheid intrinsiek is, wat kan leiden tot vertekende prestatieschattingen. Omgekeerd introduceert het vertrouwen op een enkele willekeurige steekproef aanzienlijke steekproefvariatie, wat resulteert in onbetrouwbare benchmarkscores, vooral wanneer de datasetgroottes klein zijn. Bovendien falen benaderingen met één generatie om gedetailleerde inzichten te bieden in de moeilijkheidsgraad van individuele prompts of de semantische consistentie van modelantwoorden, wat de mogelijkheid beperkt om datasetkwaliteit of modelzwaktes te diagnosticeren.

Methodologie
Het artikel stelt een hiërarchisch statistisch model voor om benchmarkevaluatie te herformuleren als een schattingsprobleem dat expliciet zowel benchmarkkenmerken als LLM-willekeurigheid omvat.

1. Hiërarchische Modelformulering:

   • De benchmark wordt gemodelleerd met $n$ prompts. Voor elke prompt $i$ wordt een latente moeilijkheidsparameter $p_i$ (de waarschijnlijkheid van een correct antwoord) getrokken uit een onbekende verdeling $P(\mu, \sigma; \theta)$, waarbij $\mu$ de gemiddelde benchmarkscore is en $\sigma$ de variabiliteit in promptmoeilijkheid vertegenwoordigt.
   • Voor elke prompt worden $k$ generaties gegenereerd. De correctheid van de $j$-de generatie voor prompt $i$, aangeduid als $y_{i,j}$, volgt een Bernoulli-verdeling met parameter $p_i$.
   • De auteurs leiden momentenschatters af voor de promptniveau-waarschijnlijkheid $\hat{p}_i$ en de algehele benchmarkscore $\hat{\mu}$.

2. Variantieanalyse:

   • Met behulp van Lemma 2.1 toont het artikel theoretisch aan dat de variantie van de benchmarkscoreschatter $\hat{\mu}$ kan worden ontbonden in "variantie binnen prompt" en "variantie tussen prompts".
   • Cruciaal is dat de variantie binnen prompt afneemt naarmate het aantal generaties $k$ toeneemt, en convergeert naar nul wanneer $k \to \infty$. Daarentegen blijft de variantie tussen prompts onaangetast door $k$. Dit bewijst dat het verhogen van $k$ de algehele schattingsfout vermindert.

3. Promptniveau-metrics:

   • $P(\text{correct})$: Gedefinieerd als de geschatte waarschijnlijkheid $\hat{p}_i = \frac{1}{k}\sum_{j=1}^k y_{i,j}$. Dit dient als een gedetailleerde moeilijkheidsscore voor individuele prompts.
   • Semantische consistentie ($S(\text{consistency})$): Om labelfouten op te sporen, introduceren de auteurs een metric gebaseerd op de entropie van semantische clusters. Antwoorden worden gegroepeerd in $C$ semantische sets, en consistentie wordt gemeten als $S(\text{consistency}) = \sum_{c=1}^C \text{Prop}_c \log \text{Prop}_c$. Hoge consistentie (lage entropie) gecombineerd met lage $P(\text{correct})$ suggereert dat een prompt mogelijk verkeerd gelabeld of dubbelzinnig is.

4. Datamapping:

   • De auteurs visualiseren het verband tussen $P(\text{correct})$ en $S(\text{consistency})$ om een "datamap" te creëren. Deze kaart helpt bij het identificeren van uitschieters, zoals prompts waarbij het model consistente maar onjuiste antwoorden genereert, wat wijst op potentiële datasetruis.

Belangrijkste Resultaten
De methodologie werd geëvalueerd over vier benchmarks (MMLU-Pro, GSM8K, MuSR, IFEval) met behulp van vier open-source LLM's (Llama 3.1 8B/70B, Qwen 2.5 7B, Ministral 8B) met $k=50$ generaties.

• Variantiereductie: Het verhogen van $k$ versmalt de 95%-betrouwbaarheidsintervallen van benchmarkscores aanzienlijk. Bijvoorbeeld, op GSM8K was het prestatieverschil ($\Delta$) tussen de beste en slechtste runs met één generatie zo hoog als 18,6 voor Llama 3.1 8B, terwijl de schatting met $k=50$ een stabiele score leverde met een standaardfout van 0,68.
• Greedy versus Willekeurige Steekproeven: De studie vond dat greedy decoding en willekeurige steekproeven vaak verschillende benchmarkscores opleveren. Bijvoorbeeld, op MuSR scoorde Llama 3.1 8B 24,8 met greedy decoding maar 29,0 met willekeurige steekproeven ($k=50$). De auteurs merken op dat zelfs een bescheiden aantal gestaalde generaties vaak de ware $P(\text{correct})$ beter benadert dan greedy decoding.
• Modelgedraganalyse:
  • Modellen vertoonden "diffuse dichtheid"-verdelingen van $P(\text{correct})$ op redeneringszware taken (MMLU-Pro, IFEval, MuSR), waarbij ze zich gedroegen als willekeurige steekproefnemers.
  • Simpele taken (GSM8K) toonden stabielere verdelingen met staarten dicht bij 0 en 1.
  • Grotere modellen (Llama 70B) vertoonden over alle benchmarks heen stabielere redeneerprocessen in vergelijking met kleinere modellen.
• Foutdetectie: In een casestudie over GSM8K identificeerde de datamap 18 prompts met lage $P(\text{correct})$ en hoge $S(\text{consistency})$. Handmatige controle onthulde dat 44,4% van deze prompts verkeerd gelabeld of dubbelzinnig was, wat de bruikbaarheid van meerdere generaties voor datasetopruiming valideert.

Betekenis en Claims
Het artikel beweert dat het benutten van meerdere generaties benchmarkevaluatie transformeert van een puntsschatting naar een robuust statistisch proces. De primaire bijdragen zijn:

1. Theoretische Validatie: Het verstrekken van een wiskundig bewijs dat meerdere generaties schattingsvariantie verminderen, waarmee de onbetrouwbaarheid van benchmarks met één steekproef wordt aangepakt.
2. Gedetailleerde Diagnostiek: Het introduceren van $P(\text{correct})$ als een moeilijkheidsmetric op promptniveau, waardoor een dieper begrip van modelsterktes en -zwaktes mogelijk wordt, verder dan geaggregeerde scores.
3. Kwaliteitscontrole: Het aantonen dat de combinatie van meerdere generaties en semantische consistentiemetrics effectief verkeerd gelabelde of dubbelzinnige prompts kan detecteren, en zo een schaalbaar hulpmiddel biedt voor het verbeteren van benchmarkconstructie.

De auteurs handhaven een bescheiden toon wat betreft beperkingen, en erkennen dat meerdere generaties de rekentkosten verhogen en dat hun huidige methode voor foutdetectie een true positive rate heeft van ongeveer 50%. Zij suggereren dat toekomstig werk de minimale generatie-eisen voor robuuste evaluatie en meer geavanceerde semantische metrics voor foutdetectie moet verkennen.