Technische Samenvatting: ArxivRoll – Benchmarken van Overschatting onder het Eenmalige-Versleutelingsraamwerk

1. Probleemstelling

De evaluatie van Large Language Models (LLM's) staat voor een kritieke uitdaging: overschatting van capaciteiten als gevolg van data-verontreiniging en bevooroordeeld overtrainen.

• Data-verontreiniging: Teststalen uit publieke benchmarks (bijv. MMLU, GSM8K) worden vaak onbedoeld of opzettelijk opgenomen in de pre-training of fine-tuning datasets van LLM's. Dit stelt modellen in staat om antwoorden te "onthouden" in plaats van oprechte redenering te demonstreren, wat leidt tot opgeblazen prestatie-indicatoren.
• Bevooroordeeld overtrainen: Ontwikkelaars kunnen modellen strategisch optimaliseren voor specifieke benchmarkdomeinen terwijl ze andere verwaarlozen, waardoor een illusie van alomvattende capaciteit ontstaat.
• Beperkingen van bestaande oplossingen: Huidige mitigatiestrategieën, zoals privé-benchmarks die door derden worden onderhouden (bijv. Chatbot Arena) of symbolische opmaak-benchmarks (bijv. GSM-Symbolic), lijden onder gebrek aan transparantie, reproduceerbaarheid of een beperkte domeindekking. Bovendien falen bestaande methoden om de omvang van de overschatting te kwantificeren; ze bieden slechts een binair slaag/haal-resultaat of een enkele prestatiescore zonder onderscheid te maken tussen oprechte bekwaamheid en bedrog.

2. Methodologie: Het ArxivRoll-raamwerk

De auteurs stellen ArxivRoll voor, een dynamisch evaluatieraamwerk dat is geïnspireerd op het One-Time Pad (OTP)-versleutelingsprincipe uit de cryptografie. Net zoals OTP een unieke, geheime sleutel gebruikt voor éénmalig gebruik om perfecte geheimhouding te garanderen, maakt ArxivRoll gebruik van unieke, privé-benchmarks die "éénmalig" worden gebruikt en vervolgens verlopen om verontreiniging te voorkomen.

Kerncomponenten

Het raamwerk bestaat uit twee primaire mechanismen:

A. SCP (Sequencing, Cloze, and Prediction)

Om verse, vertrouwelijke testgevallen te genereren die LLM's niet tijdens de training hebben gezien, maken de auteurs gebruik van ArXiv-preprints die binnen een specifiek recent tijdsvenster zijn gepubliceerd (bijv. de laatste zes maanden). Aangezien deze papers conceptueel onbekend zijn voor modellen die zijn getraind op oudere data, fungeren ze als een veilige bron van evaluatiegegevens. De SCP-generator automatiseert het creëren van testgevallen via drie objectieve taken:

1. Sequencing: Zinnen uit een tekstfragment worden door elkaar gehaald; het model moet de juiste volgorde selecteren.
2. Cloze: Specifieke zinnen binnen een fragment worden gemaskeerd; het model moet de juiste zinnen selecteren om de gaten op te vullen uit een set kandidaten.
3. Prediction: Gegeven een context en een correcte daaropvolgende reeks, moet het model de juiste volgende reeks identificeren onder afleidingsmogelijkheden.

Dit proces zorgt ervoor dat de benchmarks vertrouwelijk zijn (ongezien tijdens training), moeilijk (flexibel en complex, geen vaste patronen), objectief (meerkeuze-selectie) en omvattend (dekking van acht domeinen: CS, Econ, EESS, Math, Phy, Bio, Fin, Stat).

B. Rugged Scores (RS)

Om overschatting te kwantificeren, introduceert het raamwerk Rugged Scores, die de "ruwheid" of discrepantie meten tussen de prestaties van een model op publieke benchmarks versus privé-benchmarks.

• RSI (Absolute Rugged Score): Meet de prestatiekloof tussen een model op een publieke benchmark ($T_p$) en de corresponderende privé-benchmark ($T_c$) binnen hetzelfde domein. Een hoge RSI wijst op significante verontreiniging of overfitting op de publieke benchmark.
  $$RSI = \frac{M(m, T_p) - M(m, T_c)}{M(m, T_p) + M(m, T_c)}$$
  (Waarbij $M$ de prestatie-indicator is).
• RSII (Biased Overtraining Score): Meet de variantie van de prestaties van een model over verschillende privé-benchmarks. Een hoge variantie suggereert dat het model is overgetraind op specifieke domeinen terwijl het onderpresteert in andere.
  $$RSII = \sqrt{\sum (M(m, T_c) - \bar{M})^2}$$

Werkstroom

1. Generatie: SCP genereert een nieuwe privé-benchmark (ArxivRollBench) uit recente ArXiv-papers.
2. Evaluatie: LLM's worden geëvalueerd op zowel publieke benchmarks als de nieuwe privé-benchmark.
3. Scoren: Rugged Scores worden berekend om overschatting te kwantificeren.
4. Publicatie & Verloop: De privé-benchmark wordt publiek vrijgegeven om reproduceerbaarheid te waarborgen, maar wordt gemarkeerd als "verlopen" om gebruik in toekomstige evaluaties te voorkomen, waardoor de "éénmalige" beveiligingseigenschap behouden blijft.

3. Belangrijkste Bijdragen

1. Nieuwe Benchmark-constructiestrategie (SCP): Een geautomatiseerde methode om hoogwaardige, uitdagende en verse testgevallen te genereren vanuit ArXiv, wat vertrouwelijkheid waarborgt en het risico op data-verontreiniging vermindert.
2. Kwantificering van Overschatting (Rugged Scores): De eerste studie die indicatoren (RSI en RSII) voorstelt die expliciet het aandeel overschatting en bevooroordeeld overtrainen meten, en zo voorbijgaan aan eenvoudige prestatierangschikking.
3. Dynamisch Evaluatieraamwerk (ArxivRoll): Een systeem dat privé-benchmarks en rugged scores integreert om een systematische, transparante en reproduceerbare evaluatie van LLM's te bieden, inclusief een leaderboard die rekening houdt met overschatting.

4. Experimentele Resultaten

De auteurs hebben uitgebreide experimenten uitgevoerd op een breed scala aan open-source en gesloten-source LLM's (waaronder de Llama-, Qwen-, Phi-, GPT-, Claude- en Gemini-serie) met behulp van ArxivRollBench2024b.

• Benchmarkkwaliteit: Meta-evaluaties bevestigden dat de SCP-generatiestrategie stabiel is (lage standaardafwijking over willekeurige zaden) en een hoge correlatie vertoont (Spearman $\rho \approx 0,76$) met gevestigde privé-benchmarks zoals Chatbot Arena, wat de betrouwbaarheid valideert.
• Prestaties versus Overschatting:
  • Open-source versus gesloten-source: Sommige open-source modellen (bijv. Kimi-K2) behaalden prestaties die vergelijkbaar waren met of die van propriëtaire modellen op privé-benchmarks overtroffen.
  • Detectie van overschatting: De studie onthulde aanzienlijke overschatting bij verschillende modellen. Zo vertoonden de Qwen- en Phi-series in sommige gevallen RSI-waarden die 100% overschreden, wat aangeeft dat hun scores op publieke benchmarks zwaar waren opgeblazen door verontreiniging.
  • Bevooroordeeld overtrainen: Modellen zoals Llama-3.1-Nemotron-70B vertoonden hoge RSII-scores, wat wijst op ongelijke prestaties over domeinen, wat werd gemaskeerd door hun hoge gemiddelde publieke scores.
  • Kleine Taalmodellen (SLM's): Modellen zoals Phi-3-mini vertoonden slechte prestaties op privé-benchmarks ondanks claims van hoge bekwaamheid, wat suggereert dat hun publieke scores mogelijk te hoog zijn aangegeven.

5. Betekenis en Beweringen

Het artikel beweert dat ArxivRoll de fundamentele beperkingen van de huidige LLM-evaluatie aanpakt door:

• Versheid te waarborgen: Door een "one-time-pad"-aanpak te gebruiken met dynamische, tijdsgebonden benchmarks, wordt het risico op data-verontreiniging effectief gemitigeerd.
• Transparantie te bieden: In tegenstelling tot "black box" privé-leaderboards, geeft ArxivRoll de benchmarks vrij na evaluatie, wat volledige reproduceerbaarheid mogelijk maakt.
• Integriteit te kwantificeren: Het verlegt de focus van "hoe goed een model presteert" naar "hoeveel van die prestatie oprecht is", waardoor een eerlijkere beoordeling van modelcapaciteiten wordt geboden.

De auteurs concluderen dat, hoewel er diverse robuuste evaluatiemethoden bestaan, ArxivRoll een unieke combinatie biedt van dynamische generatie, transparantie en kwantitatieve indicatoren voor overschatting, en zo een noodzakelijk hulpmiddel biedt voor de eerlijke en betrouwbare beoordeling van LLM's in een tijdperk van wijdverbreide data-verontreiniging.