Evaluation of Large Language Models via Coupled Token Generation

Dit paper introduceert een causaal model voor gekoppelde autoregressieve generatie dat de invloed van randomisatie op de evaluatie van grote taalmodellen elimineert, wat leidt tot efficiëntere benchmarks en aantoont dat bestaande rangschikkingen op basis van paarvergelijkingen door deze randomisatie kunnen worden vertekend.

De kern

De Kunst van het Gelijke Speelveld: Waarom AI-testen nu eerlijker kunnen

Stel je voor dat je twee zeer slimme, maar wispelturige studenten wilt testen: Llama en Mistral. Je geeft ze een moeilijke vraag: "Wat is de hoofdstad van Frankrijk?"

In de huidige wereld van kunstmatige intelligentie (AI) gebeurt het volgende:

• Je vraagt het aan Llama. Het denkt even, en zegt: "Parijs." (Goed!)
• Je vraagt het aan Mistral. Het denkt even, en zegt: "Lyon." (Fout!)
• Je vraagt het aan Llama opnieuw. Nu zegt het: "Lyon." (Fout!)
• Je vraagt het aan Mistral opnieuw. Nu zegt het: "Parijs." (Goed!)

Het probleem: AI-modellen zijn niet als een rekenmachine die altijd hetzelfde antwoord geeft. Ze werken met een beetje "geluk" of willekeur (randomness) om creatief te zijn. Dit betekent dat als je ze één keer test, je misschien een toevallig goed of fout antwoord krijgt, niet per se hun echte niveau. Om zeker te weten wie de beste is, moet je ze duizenden keren testen, wat tijd en geld kost. En zelfs dan kan het zijn dat je een verkeerde conclusie trekt omdat de "geluksfactor" de uitslag heeft beïnvloed.

De oplossing uit dit papier: De "Tweeling-Test"

De auteurs van dit paper hebben een slimme truc bedacht, die ze gekoppelde generatie (coupled generation) noemen.

Stel je voor dat je in plaats van twee aparte studenten, twee identieke tweelingen hebt die precies hetzelfde brein hebben, maar die je op verschillende momenten test.

• De oude manier (Onafhankelijk): Je geeft Student A een vraag en laat hem een munt opgooien om zijn antwoord te kiezen. Dan geef je Student B dezelfde vraag en laat hem ook een munt opgooien. Het kan zijn dat Student A per toeval een munt op "kop" gooit (goed antwoord) en Student B op "munt" (fout antwoord). Je denkt dan: "Student A is slimmer!" Maar dat is alleen omdat A meer geluk had met de munt.
• De nieuwe manier (Gekoppeld): Je geeft beide studenten precies dezelfde vraag, maar je zorgt ervoor dat ze precies dezelfde munt gebruiken. Als de munt op "kop" valt, moeten ze allebei "Parijs" zeggen. Als hij op "munt" valt, moeten ze allebei "Lyon" zeggen.

Waarom is dit zo geweldig?

1. Je hebt minder tests nodig: Omdat je nu de "geluksfactor" uit de vergelijking haalt, zie je direct wie echt beter is. Als Llama en Mistral identieke muntworpen doen, en Llama toch vaker het goede antwoord geeft, dan is Llama echt beter. Je hoeft niet duizenden keren te testen om dit te zien; je hebt er veel minder voor nodig. De paper laat zien dat je tot 75% minder tests kunt doen voor hetzelfde resultaat.
2. Eerlijkere ranglijsten: Soms kan de oude manier je een verkeerde ranglijst geven. Stel je hebt drie modellen. Door toeval kan het lijken dat Model A de beste is, terwijl Model B eigenlijk beter is, maar net even minder geluk had met de munt. Met de "Tweeling-Test" (gekoppelde generatie) zie je de echte ranglijst. In de paper bleek dat bij sommige tests de winnaar zelfs veranderde!

De metafoor van de race

Stel je voor dat je twee renners wilt vergelijken op een racebaan.

• De oude methode: Je laat Renner A rennen op een dag met veel wind, en Renner B op een dag zonder wind. Als A wint, was het misschien niet omdat hij sneller is, maar omdat de wind hem tegenhield en B juist meedroeg. Je moet ze honderden keren laten rennen om de echte snelheid te vinden.
• De nieuwe methode: Je laat ze tegelijkertijd rennen, op dezelfde dag, met dezelfde wind. Als A dan wint, is het puur omdat hij sneller is. Je hebt veel minder rondes nodig om het verschil te zien.

Conclusie voor de gemiddelde mens

Dit paper zegt eigenlijk: "Hé, laten we stoppen met AI-modellen te testen alsof ze willekeurige dobbelstenen gooien. Laten we ze testen alsof ze in een perfecte, eerlijke race tegen elkaar lopen."

Dit maakt het testen van AI:

• Sneller: Je hebt minder rekenkracht en tijd nodig.
• Betrouwbaarder: Je weet zeker dat de winnaar echt de beste is, niet degene die het meest geluk had.
• Eerlijker: Het voorkomt dat we modellen verkeerd beoordelen puur door toeval.

Het is een simpele, maar krachtige manier om de chaos van AI-testen een beetje meer orde te geven, zodat we echt kunnen zien welke modellen het beste presteren.

Technische samenvatting

Probleemstelling

State-of-the-art Large Language Models (LLMs) gebruiken vaak stochastische (willekeurige) processen voor het genereren van tokens, bekend als sampling-based decoding. Dit betekent dat hetzelfde model, bij dezelfde prompt, verschillende antwoorden kan geven bij meerdere uitvoeringen.

De huidige evaluatie- en rangschikkingsprotocollen voor LLMs negeren deze bron van onzekerheid vaak. Ze behandelen elke generatie als een onafhankelijke steekproef. Dit leidt tot twee belangrijke problemen:

1. Inefficiëntie: Om een betrouwbaar verschil in prestatie tussen twee modellen vast te stellen, zijn vaak veel meer steekproeven nodig omdat de variabiliteit door de willekeurigheid de echte prestatieverschillen maskeert.
2. Verkeerde Rangschikkingen: Bij het vergelijken van meer dan twee modellen op basis van paar-voor-paar vergelijkingen (pairwise comparisons), kan de inherente willekeurigheid leiden tot rangschikkingen die niet de werkelijke prestaties weerspiegelen. Een model kan lijken te winnen puur door "geluk" in de steekproef, in plaats van door superieure kwaliteit.

Methodologie: Gekoppelde Autoregressieve Generatie

De auteurs introduceren een causaal model voor gekoppelde autoregressieve generatie (coupled autoregressive generation). Het kernidee is om de willekeurige bronnen van verschillende LLMs te synchroniseren tijdens de evaluatie.

• Causaal Model: De auteurs modelleren de generatie van een LLM als een Structureel Causaal Model (SCM). In dit model wordt de stochastische component van de sampler (het proces dat het volgende token kiest) behandeld als een exogene variabele (ruis).
• De Coupling: Bij de "standaard" (onafhankelijke) evaluatie gebruikt model $M$ en model $M'$ elk hun eigen onafhankelijke ruisvariabele ($U$ en $U'$). Bij de gekoppelde evaluatie worden beide modellen geïntervenieerd met exact dezelfde ruisvariabele $U$ voor dezelfde prompt.
• Counterfactual Stability: De methode maakt gebruik van een sampling-mechanisme dat voldoet aan counterfactual stability (zoals de Gumbel-Max SCM, die standaard in PyTorch wordt gebruikt). Dit garandeert dat als twee modellen dezelfde token-distributie hebben, ze met dezelfde ruiswaarde exact hetzelfde token zullen genereren. Als de distributies verschillen, zorgt de koppeling ervoor dat het verschil in output puur te wijten is aan het verschil in de modellen, niet aan toeval.
• Implementatie: Technisch gezien vereist dit geen extra rekentijd of geheugen. Het komt neer op het uitvoeren van generaties met dezelfde random seed voor alle modellen die vergeleken worden.

Belangrijkste Bijdragen en Theoretische Resultaten

De paper levert zowel theoretische als empirische bewijzen voor de voordelen van deze aanpak:

1. Evaluatie op Benchmark Datasets (Binaire Scores):

   • Voor benchmarks met een vast grondwaarheid (zoals meerkeuzevragen), is de verwachte prestatieverschil tussen twee modellen theoretisch hetzelfde onder gekoppelde en onafhankelijke generatie.
   • Kernresultaat: De variantie van het verschil in scores is echter aanzienlijk lager onder gekoppelde generatie (zolang de scores positief gecorreleerd zijn). Dit betekent dat proefbaar minder steekproeven nodig zijn om tot dezelfde statistische conclusie te komen.
   • De auteurs bewijzen dat dit geldt voor specifieke scenario's, zoals wanneer modellen slechts twee mogelijke antwoorden hebben of wanneer ze zeer vergelijkbaar zijn (bijv. gefinetuned versies van hetzelfde model).

2. Evaluatie op Basis van Paar-voor-Paar Vergelijkingen (Win-rates):

   • Bij open-ended taken waar een "judge" (vaak een ander LLM) de beste output kiest, is de win-rate niet-lineair.
   • Kernresultaat: De auteurs bewijzen dat de win-rates en de daaruit afgeleide rangschikkingen fundamenteel kunnen verschillen tussen gekoppelde en onafhankelijke generatie, zelfs met oneindig veel steekproeven.
   • Dit suggereert dat bestaande rangschikkingen (zoals in de LMSYS Chatbot Arena) mogelijk vertekend zijn door de inherente willekeurigheid van de generatieprocessen. Gekoppelde generatie biedt een "eerlijkere" vergelijking waarbij modellen niet tegen elkaar spelen met verschillende "geluksfactoren".

Experimentele Resultaten

De auteurs hebben experimenten uitgevoerd met modellen uit de Llama, Mistral en Qwen families op diverse datasets (MMLU, GSM8K, HumanEval, en LMSYS-Chat-1M).

• Efficiëntie: Op benchmark datasets (zoals MMLU) bleek dat gekoppelde generatie tot 75% minder steekproeven nodig had om dezelfde nauwkeurigheid in de schatting van prestatieverschillen te bereiken vergeleken met onafhankelijke generatie. Dit effect was het sterkst bij vergelijkbare modellen (bijv. verschillende quantisaties van hetzelfde model).
• Rangschikkingen: Bij paar-voor-paar vergelijkingen op de LMSYS-Chat-1M dataset bleken de win-rates en de uiteindelijke rangschikkingen te verschillen tussen de twee methoden.
  • Voorbeeld: Bij de Llama-familie werden onder onafhankelijke generatie de 8B en de gekwantiseerde bnb-8bit versie als gelijkwaardig gerangschikt. Onder gekoppelde generatie bleek de 8B versie echter significant beter, wat een meer intuïtief en logisch resultaat is.
  • De gekoppelde methode leidde vaak tot meer "ties" (gelijkspelen) tussen zeer vergelijkbare modellen, wat de rangschikkingen stabieler en betrouwbaarder maakt.

Betekenis en Conclusie

Deze studie is van groot belang voor de gemeenschap van Large Language Models:

1. Betere Evaluatie-Protocollen: Het biedt een praktische, goedkope methode (geen extra compute nodig) om evaluaties te versnellen en te verduidelijken.
2. Validiteit van Rangschikkingen: Het waarschuwt dat huidige "leaderboards" en rangschikkingen op basis van willekeurige steekproeven mogelijk niet de echte hiërarchie van modelkwaliteit weergeven. Gekoppelde generatie elimineert de "ruis" en isoleert het effect van de modelarchitectuur.
3. Toekomstgericht: De auteurs stellen dat deze methode essentieel is voor het vergelijken van modellen die zeer op elkaar lijken (zoals tijdens het fine-tuning proces), waar kleine verschillen anders door willekeurigheid zouden worden overschaduwd.

Kortom, de paper pleit ervoor om de willekeurigheid in LLM-generatie niet als een onvermijdelijk nadeel te accepteren, maar als een controleerbare variabele te gebruiken om eerlijkere en efficiëntere evaluaties mogelijk te maken.