A Unified Perturbation Framework for Analyzing Leaderboard Stability and Manipulation

Technische Samenvatting: Een Gecombineerd Perturbatiekader voor het Analyseren van Leaderboardstabiliteit en Manipulatie

Probleemstelling

Evaluatieladders, zoals LMArena en Chatbot Arena, zijn centraal in het benchmarken van Large Language Models (LLM's) door het aggregeren van menselijke paarvoorkeuren tot rangschikkingen met behulp van het Bradley–Terry (BT)-kader. Hoewel deze platformen de adoptie van modellen en industriële erkenning stimuleren, blijft de robuustheid van hun rangschikkingen tegen gestructureerde datamodificaties slecht begrepen. Bestaande literatuur heeft geïsoleerde kwetsbaarheden geïdentificeerd—zoals gevoeligheid voor steminjectie, datalekken of het verwijderen van specifieke vergelijkingen—maar mist een verenigde formalisering om te analyseren hoe verschillende soorten perturbaties zich voortplanten via de rangschikkings estimator om diverse doelen te beïnvloeden (bijv. lidmaatschap van top-k, globale consistentie en statistische onzekerheid). Dit artikel adresseert de vraag hoe kleine, gestructureerde wijzigingen in vergelijkingsdatasets leaderboardconclusies beïnvloeden over meerdere dimensies.

Methodologie

De auteurs stellen een verenigd op invloed gebaseerd perturbatiekader voor voor Bradley–Terry-leaderboards. De kern van de methode bestaat uit het gebruik van invloedsfuncties om het lokale effect van het wijzigen van wedstrijdgewichten te benaderen, zonder dat voor elke kandidaat-actie een volledige herberekening van het model nodig is.

1. Invloedvoortplanting:
Het kader behandelt datasetwijzigingen als gestructureerde interventies op de gewogen BT-estimator. Het maakt gebruik van invloedsfuncties om de verandering in de latente vaardigheidsvector $\hat{\theta}$ te benaderen die voortvloeit uit een perturbatie van een wedstrijdgewicht $w_n$:
$$\frac{\partial \hat{\theta}(w)}{\partial w_n} \bigg|_{w=1} = -H^{-1} g_n$$
waarbij $H$ de Hessiaan van het verlies is en $g_n$ de gradiënt voor wedstrijd $n$. Deze parametersensitiviteiten worden voortgeplant naar scalaire leaderboarddoelen $f(\hat{\theta}, w)$. Om rekening te houden met het eindige karakter van de perturbaties (in plaats van infinitesimale veranderingen), maken de auteurs gebruik van een één-staps Newton (1sN) verfijning om de krommingsveranderingen in de geperturbeerde doelstelling gedeeltelijk te corrigeren.

2. Actieruimte:
Het kader definieert drie fundamentele perturbaties op wedstrijdniveau en één interventie op spelniveau:

• Verwijderen (Drop): Een bestaande wedstrijd verwijderen ($w_n: 1 \to 0$).
• Toevoegen (Add): Een nieuwe wedstrijd introduceren ($w_{new}: 0 \to 1$). De auteurs beschouwen drie kandidaatruimten met toenemende niveaus van controle: all_pairs (uitkomst vastgesteld door vaardigheid), all_outcomes_weighted (uitkomsten gewogen volgens BT-kans) en all_outcomes (uitkomst volledig gecontroleerd).
• Omdraaien (Flip): De uitkomst van een bestaande wedstrijd omkeren ($y_n \to 1-y_n$), gemodelleerd als het verwijderen van de originele en het toevoegen van de omgekeerde wedstrijd.
• Speler Verwijderen: Alle wedstrijden die betrekking hebben op een specifieke speler verwijderen, geanalyseerd via gegroepeerde Newton-verfijning.

3. Evaluatiedoelen:
Het kader evalueert perturbaties tegen drie distincte klassen van doelen:

• Lidmaatschap Top-k (Gap-doelstelling): Meet het vaardigheidsverschil ($\theta_i - \theta_j$) over top-k-grenzen heen om te bepalen of een model de top-k-set binnenkomt of verlaat.
• Globale Rangschikkingsconsistentie (Kendall's $\tau$): Gebruikt een differentieerbare tanh-gebaseerde surrogate om de correlatie tussen de geperturbeerde rangschikking en de originele referentierangschikking te meten.
• Statistische Onzekerheid (Betrouwbaarheidsintervallen): Gebruikt een lokale informatiebenadering (inverse Fisher-informatie) om de variantie van vaardigheidsschattingen te schatten. Doelen omvatten het verminderen van de onzekerheid van een specifieke speler ($f_{CI-player}$) of de globale trace-onzekerheid ($f_{CI-trace}$).

Belangrijkste Bijdragen

1. Verenigd Kader: Het artikel introduceert een enkele formalisering die het perturbatiemechanisme (Verwijderen, Toevoegen, Omdraaien) ontkoppelt van het geauditeerde doel, waardoor gelijktijdig onderzoek mogelijk is naar robuustheidsfalen en gerichte interventies.
2. Systematische Non-Robuustheid: Door experimenten op zeven datasets (waaronder Chatbot Arena, MT-Bench en sportrangschikkingen zoals NBA en ATP) tonen de auteurs aan dat moderne leaderboards niet-robuust zijn. Sub-1% gerichte perturbaties zijn voldoende om het top-gerangschikte model te veranderen, de globale rangschikkingsconsistentie te degraderen en betrouwbaarheidsintervallen te wijzigen.
3. Efficiënte Gerichte Manipulatie: Dezelfde invloedscores maken efficiënte gerichte interventies mogelijk. Het kader kan specifieke modellen promoten of degraderen met minder acties dan eerdere stemvervalsingsbaselines (bijv. omni-rigging) en de onzekerheid van het doelmodel effectiever verminderen dan actieve-steekproefbaselines (bijv. Arena Active).
4. Analyse Speler Verwijderen: De studie kwantificeert de "leaderboardillusie" door aan te tonen dat het verwijderen van invloedrijke spelers (bijv. sterk verbonden modellen) een brede herordening van de overige modellen kan veroorzaken, wat rangschikkingen verschuift en lidmaatschappen van de top-10 verandert.
5. Genormaliseerde Robuustheidsscores: De auteurs aggregeren door invloed geleide fouten tot genormaliseerde datasetniveau-robuustheidsscores ($R_{Top-1}$, $R_{CI}$, $R_{\tau}$), waardoor een compact auditprofiel over verschillende perspectieven van leaderboardstabiliteit wordt geboden.

Resultaten

• Robuustheid: Op grote LLM-leaderboards (bijv. Arena 55k) kunnen minder dan 1% van de gerichte acties (specifiek Omdraaien of Verwijderen) het Top-1-model veranderen. Bijvoorbeeld, slechts 3 Omdraai-acties of 5 Verwijder-acties waren nodig om het Top-1 op Arena 55k te veranderen.
• Doelgevoeligheid:
  • Omdraaien (Flip) is over het algemeen de meest actie-efficiënte perturbatie voor het veranderen van rangschikkingen en het degraderen van Kendall's $\tau$.
  • Verwijderen (Drop) is conservatiever maar nog steeds zeer effectief.
  • Toevoegen (Add)-varianten zijn minder effectief voor het veranderen van rangschikkingen, maar het meest effectief voor het verminderen van onzekerheid (constructieve interventie).
• CI-bewuste Robuustheid: Hoewel rekening houden met betrouwbaarheidsintervallen het budget dat nodig is om een rangschikking te veranderen, verhoogt (gemiddeld 13× vergeleken met punt-schattingen), blijven leaderboards kwetsbaar. Gerichte verwijderingen kunnen nog steeds lidmaatschap van top-k veranderen onder strikte CI-bewuste criteria.
• Datasetvariantie: Door experts samengestelde datasets (bijv. MT-Bench) vertonen een hogere robuustheid dan door crowdsourcing gegenereerde arena-achtige datasets. Sparse grafieken (bijv. ATP Top-10) tonen de laagste globale rangschikkingsstabiliteit.
• Speler Verwijderen: Het verwijderen van een enkele zeer invloedrijke speler kan tot 28 spelers in rangschikking verschuiven en tot 6 lidmaatschappen van de top-10 veranderen, waarbij "graad" (aantal wedstrijden) de sterkste voorspeller is van de invloed van een speler.

Betekenis en Beweringen

Het artikel claimt een praktisch en nuttig hulpmiddel te bieden voor het auditen van leaderboardstabiliteit. Door robuustheidsanalyse en adversariele manipulatie te verbinden, onthult het kader fundamentele beperkingen in huidige leaderboardontwerpen. De auteurs benadrukken dat dezelfde technieken die worden gebruikt om fragiliteit te auditeren, theoretisch ook kunnen worden gebruikt om rangschikkingen te manipuleren, wat een spanning van tweeledig gebruik benadrukt.

De betekenis van dit werk ligt in het vermogen om:

1. Meer robuuste evaluatieprotocollen te motiveren door de fragiliteit van huidige systemen te kwantificeren.
2. Een defensief mechanisme te bieden, waarbij lage robuustheidsscores of sterk invloedrijke vergelijkingen kunnen leiden tot conservatieve rapportage, gerichte dataverzameling of vertraagde updates.
3. Een verenigd perspectief te bieden dat verder reikt dan studies met enkele perturbaties, en die wedstrijdtoevoeging, -verwijdering en -omkering bestrijkt over meerdere rangschikkingsdoelen.

De auteurs blijven bescheiden wat de reikwijdte betreft, en erkennen dat invloedschattingen lokale benaderingen zijn en dat hun onzekerheidsdoelen vertrouwen op schaalbare proxies die mogelijk niet alle bronnen van annotatieruis of rechterbias vangen. Zij suggereren dat toekomstig werk zich moet richten op attributiemethoden van hogere orde en schatters die robuust zijn tegen uitschieters.