Technische Samenvatting: Submodulaire Benchmarkselectie

Probleemstelling

Een uitgebreide evaluatie van Large Language Models (LLM's) vereist het uitvoeren van tests op een enorme en groeiende set benchmarks. Dit proces is rekenkundig duur en tijdrovend. Empirisch bewijs suggereert echter dat veel benchmarks sterk gecorreleerd zijn; sterke prestaties op de ene voorspellen vaak sterke prestaties op de andere. Deze redundantie impliceert dat een kleine, goed gekozen subset van benchmarks het grootste deel van de informatie in de volledige set kan vastleggen. De kernuitdaging ligt in het identificeren van welke specifieke subset moet worden geselecteerd en het bepalen van de optimale subsetgrootte om informatiewinst te maximaliseren terwijl evaluatiekosten worden geminimaliseerd.

Methodologie

De auteurs formaliseren benchmarkselectie als een submodulair optimalisatieprobleem. Gegeven een scorematrix $B \in \mathbb{R}^{M \times N}$ die $M$ modellen vertegenwoordigt die zijn geëvalueerd op $N$ benchmarks, worden de scores gemodelleerd als onafhankelijke trekkingen uit een multivariate Gaussische verdeling $\mathcal{N}(\mu, \Sigma)$. Het doel is om een subset $A \subseteq \{1, \dots, N\}$ van grootte $k$ te selecteren om een van twee doelen te optimaliseren:

1. Entropiemaximalisatie ($H(X_A)$): Het maximaliseren van de gezamenlijke onzekerheid van de geselecteerde benchmarks. Onder het Gaussische model is dit equivalent aan het maximaliseren van $\log \det(\Sigma_{AA})$. Dit doel is monotoon submodulair (met passende verschuiving) en valt samen met de gepivoteerde Cholesky-decompositie. Het gulden algoritme voor dit doel selecteert benchmarks die de residuvoorwaardelijke variantie maximaliseren, wat een diagnose biedt die gekoppeld is aan het covariantiespectrum.
2. Mutual Information-maximalisatie ($I(X_A; X_{\bar{A}})$): Het maximaliseren van de informatie die de geselecteerde benchmarks bieden over de niet-geselecteerde complement. Dit doel is submodulair maar over het algemeen niet-monotoon. De auteurs merken op dat voor kleine subsetgroottes $k$ de marginale winst positief blijft, wat het gebruik van een gulden heuristiek mogelijk maakt. Deze benadering combineert voorwaartse Cholesky-updates met complementherfactorisatie om de marginale winst efficiënt te berekenen.

Omgaan met ontbrekende data:
Scorematrices uit de echte wereld zijn vaak incompleet (niet alle modellen zijn op alle benchmarks uitgevoerd). De auteurs maken gebruik van het Expectation-Maximization (EM)-algoritme om de mean-vector $\mu$ en de covariantiematrix $\Sigma$ te schatten uit gedeeltelijk waargenomen waarden, waarbij ontbrekende waarden worden behandeld als latente variabelen onder de aanname van 'Missing At Random' (MAR).

Imputatie:
Zodra een subset $A$ is geselecteerd, worden niet-geobserveerde scores voor nieuwe modellen geïmputeerd met behulp van de voorwaardelijke verwachting van de Gaussische verdeling:
$$E[B_{i\bar{A}} | B_{iA}] = \mu_{\bar{A}} + \Sigma_{\bar{A}A} \Sigma_{AA}^{-1} (B_{iA} - \mu_A)$$

Belangrijkste Bijdragen

Het artikel presenteert een end-to-end pijplijn voor benchmarkselectie met de volgende specifieke bijdragen:

1. Submodulaire Doelen: De formulering van twee submodulaire doelen (Entropie en Mutual Information) voor benchmarkselectie, samen met efficiënte, numeriek stabiele gulden algoritmen voor beide.
2. EM-gebaseerde Schatting: Een methode voor het schatten van de covariantiematrix uit incompleet scorematrices met behulp van EM, waardoor de toepassing van deze methoden op real-world, schaarse leaderboard-data mogelijk wordt.
3. Spectrale Diagnose: Een diagnosehulpmiddel dat gebruikmaakt van eigenwaarde-afname en de spoor van de gepivoteerde-Cholesky-residuen om de geschikte subsetgrootte $k$ te bepalen. Snelle empirische spectrale afname geeft aan dat kleine subsets waarschijnlijk effectief zullen zijn.
4. Empirische Validatie: Experimenten op drie scorematrices afgeleid van tien publieke leaderboards (MMLU, MTEB en een samengevoegde heterogene set).

Experimentele Resultaten

De auteurs evalueerden hun aanpak met behulp van 10-voudige cross-validatie op drie datasets:

• MMLU (5.452 modellen, 57 taken, volledig geobserveerd): Met slechts $k=5$ geselecteerde benchmarks bereikte de Mutual Information (MI)-selectie een imputatie-$R^2$ van 0,91. Entropie-selectie bereikte 0,89. Beide methoden presteerden aanzienlijk beter dan willekeurige selectie.
• MTEB (263 modellen, 56 taken, 77% geobserveerd): MI-selectie presteerde beter dan entropie voor kleine $k$ (bijv. $k \le 3$), met een verschil van ongeveer 10 $R^2$-punten.
• MERGED (118 modellen, 114 taken, 31% geobserveerd): Deze schaarse, heterogene dataset was het meest uitdagend. MI-selectie behield een duidelijk voordeel ten opzichte van entropie voor grotere $k$, met een $R^2 \approx 0,59$ bij $k=15$ vergeleken met 0,55 voor entropie.

Belangrijkste Bevindingen:

• De "Surrogate Gap": Hoewel entropie-selectie de residuvariantie van de geselecteerde set minimaliseert (een eigenschap van gepivoteerde Cholesky), maximaliseert het niet altijd de voorspellende kracht voor de niet-geselecteerde benchmarks. MI-selectie, die expliciet koppeling met het complement beloont, levert superieure imputatiekwaliteit op voor kleine subsetgroottes.
• Schalbaarheid: Voor goed gestructureerde datasets haalt entropie-selectie op den duur MI in of overtreft deze naarmate $k$ toeneemt. Voor scenario's met budgetbeperkingen (kleine $k$) is MI echter het voorkeursdoel.
• Robuustheid: Hoewel formele normaliteitstests de Gaussische aanname op alle datasets verwierpen, leverde het Gaussische voorwaardelijke gemiddelde (de beste lineaire voorspeller) zeer nauwkeurige imputaties op, wat het Gaussische model valideert als een praktische werkbenadering.

Betekenis en Claims

Het artikel claimt een principieel, informatietheoretisch kader te bieden voor prescriptieve benchmarkselectie. In tegenstelling tot eerdere werken die zich richten op het verminderen van redundantie binnen een enkele benchmark of het leren van latente vaardigheden, selecteert deze aanpak volledige benchmarks om uit te voeren en imputeert de rest zonder een complex voorspellend model te trainen dat verder gaat dan covariantieschatting.

De auteurs benadrukken dat:

• MI superieur is voor kleine budgetten: Mutual Information-selectie is de aanbevolen strategie wanneer rekenkracht beperkt is en het doel is om scores voor de resterende benchmarks te imputeren.
• Entropie nuttig is voor diversiteit: Entropie-selectie blijft waardevol voor het maximaliseren van de diversiteit van de geselecteerde set of het verminderen van residuvariantie in goed gestructureerde, grotere subsets.
• Spectrale analyse diagnostisch is: De eigenwaarde-afname van de scorecovariantie dient als een betrouwbare indicator voor wanneer kleine benchmark-subsets effectief zullen zijn.

Het werk concludeert dat een klein aantal zorgvuldig gekozen benchmarks een disproportioneel groot deel van de evaluatieve informatie kan vastleggen, wat potentieel de rekenkosten van LLM-evaluatie kan verminderen terwijl een hoge betrouwbaarheid in prestatieschatting wordt behouden.