📊 statistics

Heterogeneous Judge-Aware Ranking with Sensitivity, Disagreement, and Confidence

Dit artikel introduceert Heterogeneous Judge-Aware (HJA) ranking, een gestructureerd raamwerk dat multi-rechterlijke paarwijze vergelijkingen decomposeert in identificeerbare consensusranglijsten, rechter-specifieke sensitiviteiten en residuele meningsverschillen om herstel, robuustheid en onzekerheidskalibratie bij de evaluatie van grote taalmodellen te verbeteren.

Oorspronkelijke auteurs: Shibo Yu, Yingzhou Wang, Yan Chen, Guodong Li, Jin-Hong Du

Gepubliceerd 2026-05-07

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Shibo Yu, Yingzhou Wang, Yan Chen, Guodong Li, Jin-Hong Du

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je de beste restaurants in je stad wilt rangschikken. In plaats van slechts één foodcriticus te vragen, vraag je een panel van 20 verschillende personen.

In het verleden, als je 20 mensen vroeg, zou je hun antwoorden misschien gewoon nemen, middelen en één enkele "Top 10"-lijst maken. Je zou er vanuit gaan dat als twee mensen het oneens zijn, het gewoon willekeurige ruis of een vergissing is.

Het Probleem:
De auteurs van dit paper betogen dat deze "middeling"-benadering gebrekkig is. Niet alle juryleden zijn hetzelfde.

Jurylid A kan een "food snob" zijn die pittig eten haat maar van chique presentatie houdt.
Jurylid B kan een "liefhebber van kruiden" zijn die denkt dat chique presentatie geldverspilling is.
Jurylid C kan zeer streng zijn en alleen de top 3 restaurants leuk vinden, terwijl Jurylid D ontspannen is en bijna alles leuk vindt.

Als je hun scores gewoon middelt, verlies je de nuance. Je weet niet waarom ze het oneens zijn, en je kunt eindigen met een rangschikking die niemand tevreden stelt.

De Oplossing: HJA (Heterogeneous Judge-Aware) Ranking
Het paper stelt een nieuwe manier voor om hiermee om te gaan, genaamd HJA. Denk hierbij aan een slim teammanager die niet alleen stemmen telt, maar de persoonlijkheid van elke stemmer begrijpt.

Het HJA-model breekt de uiteindelijke rangschikking op in drie distincte onderdelen, zoals het scheiden van ingrediënten in een recept:

Het Consensus (Het "Gemeenschappelijke Grond"):
Dit is het gedeelte waar iedereen het over eens is. Misschien zijn ze het er allemaal over eens dat "verse ingrediënten" goed zijn. Het model vindt deze gedeelde "waarheid" of basisrangschikking die de meeste juryleden proberen te beschrijven.
De Gevoeligheid (Het "Volumeknop"):
Dit meet hoe sterk een specifieke jurylid dat gemeenschappelijke grond volgt.
- Analogie: Stel je voor dat het consensus een radiostation is dat een nummer afspeelt. Jurylid A heeft het volume op 10 gezet (ze zijn het sterk eens). Jurylid B heeft het volume op 2 (ze zijn een beetje wazig of onzeker). Jurylid C heeft het volume op -5 (ze vinden het nummer eigenlijk verschrikkelijk en geven de voorkeur aan het tegenovergestelde!).
- HJA meet dit "volume" voor elke jurylid apart, in plaats van ervan uit te gaan dat iedereen de radio even hard hoort.
Het Oneenszijn (De "Geheime Saus"):
Dit is het belangrijkste onderdeel. Het vangt de gestructureerde redenen waarom juryleden niet het eens zijn.
- Analogie: Zelfs als de radio hard staat, kan Jurylid A nog steeds de "Pittige" track prefereren, terwijl Jurylid B de "Zoete" track prefereert. Dit is geen willekeurige ruis; het is een specifieke, voorspelbare voorkeur.
- HJA isoleert deze specifieke voorkeuren. Het beseft dat Jurylid A niet gewoon "fout" is; ze hebben gewoon een ander "smaakprofiel" dat het model kan in kaart brengen.

Waarom is dit beter?

Het is eerlijk over onzekerheid: Het model geeft je niet zomaar een lijst; het vertelt je hoe zeker het is. Als twee restaurants qua kwaliteit zeer dicht bij elkaar liggen, zegt het model: "We zijn niet zeker welke #1 is, en hier is het bereik van mogelijkheden."
Het gaat om met "Bijna-gelijk": In de echte wereld is het verschil tussen restaurant #1 en #2 vaak minimaal. Oude modellen raken hierdoor in de war. HJA is ontworpen om deze "moeilijke keuzes" beter aan te kunnen.
Het vindt de "Slechte Acteurs": Het model kan opsporen als een jurylid raar of bevooroordeeld is. Bijvoorbeeld, als een jurylid consequent de producten van hun eigen bedrijf hoger beoordeelt dan iedereen anders (een "zelf-preferentie" bias), kan HJA dit patroon in het "Oneenszijn"-gedeelte detecteren en daarvoor corrigeren, in plaats van toe te staan dat dit de hele lijst verpest.

Hoe hebben ze het getest:
De auteurs hebben dit getest op zowel neppe data (waarbij ze het "ware" antwoord wisten) als echte data van internet (zoals mensen die AI-chatbots rangschikken).

Het Resultaat: HJA was beter in het vinden van de ware rangschikkingen, robuuster wanneer er ruis of bevooroordeelde juryleden aan de mix werden toegevoegd, en bood betere "betrouwbaarheidsintervallen" (waarmee je wordt verteld hoe zeker je kunt zijn van de rangschikking) in vergelijking met de oude "middelen-alles"-methodes.

In het Kort:
In plaats van een panel van juryleden te behandelen als één enkele, wazige stem, luistert HJA naar elke jurylid individueel. Het komt erachter waar ze het allemaal over eens zijn, hoe sterk ze erover voelen, en precies waarom ze het oneens zijn. Dit leidt tot een helderere, betrouwbaardere en eerlijker rangschikkingssysteem.

Technische Samenvatting: Heterogene Judge-Aware Ranking met Sensitiviteit, Onenigheid en Zekerheid

Probleemstelling

De evaluatie van grote taalmodellen (LLM's) is steeds meer afhankelijk van paarwijze vergelijkingen van panels met meerdere judges (menselijke annotators, modelgebaseerde judges of variërende protocollen). Standaard rankingpijplijnen bundelen deze oordelen typisch tot één vector met latente scores, waarbij systematische onenigheid tussen judges wordt behandeld als uitwisselbare ruis. Echter, recente bewijzen geven aan dat judge-onenigheid vaak gestructureerd is en aanzienlijk varieert tussen judge-modellen, talen, taken en protocollen. Deze heterogeniteit is bijzonder consequent bij subjectieve evaluaties en "near-tie"-vergelijkingen, waarbij kleine verstoringen de uiteindelijke leaderboards drastisch kunnen veranderen.

Het kernprobleem is dat de overstap van één judge naar een panel niet simpelweg de steekproefomvang vergroot voor een klassiek rankingprobleem; het verandert fundamenteel het object van inferentie. Het doel verschuift van het herstellen van één gebundelde ordening naar het begrijpen van een gestructureerd multi-judge rankingprobleem dat rekening houdt met consensus, judge-specifieke sensitiviteit en systematische residuale onenigheid.

Methodologie: Heterogene Judge-Aware (HJA) Ranking

De auteurs stellen Heterogene Judge-Aware (HJA) ranking voor, een raamwerk dat judge-specifieke latente scores decomposeert in drie distincte, identificeerbare componenten:

1. Modelformulering

Het raamwerk modelleert de matrix met latente scores $S \in \mathbb{R}^{K \times N}$ (waarbij $K$ het aantal judges is en $N$ het aantal items) met behulp van een gestructureerde decompositie:
$S = \gamma\mu^\top + UV^\top$

Consensus Ranking ( $\mu$ ): Een richting van gemiddelde consensus die het populatieniveau rankingdoel vertegenwoordigt.
Consensus Sensitiviteit ( $\gamma$ ): Een vector van judge-specifieke parameters ( $\gamma_k$ ) die meet hoe sterk judge $k$ de gedeelde consensussignaal volgt. In tegenstelling tot globale kwaliteitsmetrieken, meet $\gamma_k$ specifiek de afstemming met de consensusrichting.
Gestructureerde Onenigheid ( $UV^\top$ ): Een component met lage rang die systematische afwijkingen van de consensus vastlegt die niet alleen door scalair herschalen verklaard kunnen worden. Deze term is beperkt tot orthogonaal te zijn met de consensusrichting.

De paarwijze voorkeurskansen volgen het Bradley-Terry-Luce (BTL)-model:
$\text{logit}(p_{kij}) = \gamma_k(\mu_i - \mu_j) + U_{k,:}(V_{i,:} - V_{j,:})^\top$

2. Identificeerbaarheid en Beperkingen

Om te waarborgen dat de decompositie statistisch goed gedefinieerd is, leggen de auteurs specifieke normalisatie- en rangvoorwaarden op (Voorwaarde 1):

Centrering: $\mu$ en kolommen van $V$ zijn gecentreerd; rijen van $U$ sommeren tot nul.
Schaling: $\gamma$ somt tot $K$ ; $U$ en $V$ zijn geschaald naar eenheidsnormen.
Orthogonaliteit: De consensusrichting $\mu$ is orthogonaal tot de heterogene deelruimte $V$ .
Deelruimte Ankeren: Singuliere waarden van de residuale component zijn distinct en geordend.

Onder deze voorwaarden en aannemende dat de geaggregeerde score tussen judges niet nul is, bewijzen de auteurs (Propositie 1) dat de consensusrichting, sensitiviteitsparameters en de residuale onenigheidsdeelruimte identificeerbaar zijn uit de paarwijze vergelijkingsdata, uniek tot tekenveranderingen per kolom.

3. Schattingsalgoritme

De auteurs ontwikkelen een beperkte maximum likelihood-schatter (MLE). Vanwege het niet-convexe karakter van de bilineaire factorisatie en de niet-lineaire ankerbeperkingen, stellen zij een geankerd proksimaal alternerend algoritme voor (Algoritme 1):

Blok Updates: Alternerende minimalisatie over judge-parameters ( $\gamma, U$ ) en item-parameters ( $\mu, V$ ) met proksimale termen om stabiliteit te waarborgen.
Herverankering: Een kritieke stap (Algoritme C.2) die de niet-lineaire identificatiebeperkingen herstelt na elke blokupdate, waarbij de identificerende geometrie van de decompositie behouden blijft.
Convergentie: Het algoritme is bewezen lokale lineaire convergentie te genieten (Stelling 2) onder standaard regulariteitsaannames.

4. Kwantificering van Onzekerheid

Het raamwerk ondersteunt statistische inferentie in een regime van herhaalde vergelijkingen met een vast panel, waarbij het aantal judges $K$ constant kan blijven terwijl informatie groeit door herhaalde vergelijkingen.

Asymptotische Normaliteit: De beperkte MLE blijkt asymptotisch normaal te zijn (Stelling 3).
Betrouwbaarheidsintervallen: Met behulp van de Fisher-informatiematrix afgeleid uit de grafstructuur van vergelijkingen, biedt de methode betrouwbaarheidsintervallen voor contrasten in consensusscores, judge-specifieke contrasten, sensitiviteitsparameters en paarwijze kansen. Dit maakt kwantificering van onzekerheid mogelijk zelfs wanneer het judge-panel klein of vast is.

Belangrijkste Resultaten

Synthetische Experimenten

Herstel: HJA herstelt succesvol consensus-rankings, judge-specifiek gedrag en gestructureerde heterogeniteit naarmate vergelijkingsinformatie toeneemt.
Robuustheid: Fout gespecificeerde baselines (gepoolde BTL en enkel sensitiviteitsmodellen zoals JA-Ranking) degraderen aanzienlijk onder sterke heterogeniteit, en concentreren zich rondom vooroordeel-bevattende scorematrices.
Kalibratie van Onzekerheid: HJA biedt goed gekalibreerde onzekerheidsuitspraken, terwijl baselines falen in het vastleggen van de ware variantie in gestructureerde onenigheid.

Real-Data Benchmarks

Geëvalueerd op vier datasets (Chatbot Arena, MT-Bench, UltraFeedback en een interne dataset), demonstreert HJA:

Verbeterde Robuustheid: Hogere stabiliteit in rankings wanneer er ruisachtige judges worden ingebracht.
Betere Voorspelling: Superieure voorspellingsnauwkeurigheid voor buitenstaande paarwijze vergelijkingen.
Prestatie bij Near-Ties: Significante winsten in nauwkeurigheid voor empirisch ambigu near-tie-paren, waarbij standaardmethoden kwetsbaar zijn.
Diagnostische Nut: Het gefit model identificeert judges met hoge hefboomwerking (die met hoge sensitiviteit maar ook hoge residuale onenigheid) en onthult gestructureerde patronen van judge-model affiniteit (bijvoorbeeld familiegerichte zelf-preferentie-effecten) zonder deze te behandelen als universele bevindingen.

Betekenis en Claims

Het artikel claimt een statistisch onderbouwd raamwerk te bieden voor ranking onder heterogene vergelijkende oordelen. De primaire bijdragen zijn:

Decompositie van Doelen: Het scheidt consensus-ranking, judge-sensitiviteit en gestructureerde onenigheid in aparte inferentiële doelen, in plaats van ze te laten instorten tot één score of onenigheid te behandelen als ruis.
Identificeerbaarheid: Het vestigt voorwaarden waaronder deze componenten uniek herstelbaar zijn uit paarwijze data, verder gaand dan willekeurige factorisaties van latente ruimtes.
Inferentie met Vast Panel: Het maakt rigoureuze kwantificering van onzekerheid (betrouwbaarheidsintervallen) mogelijk voor rankingdoelen, zelfs wanneer het judge-panel niet groeit, een veelvoorkomende beperking bij LLM-evaluatie.
Diagnostische Kracht: Het raamwerk dient als diagnostisch hulpmiddel om onbetrouwbare judges te detecteren, sensitiviteit voor consensus te kwantificeren en systematische affiniteitspatronen (zoals zelf-preferentiebias) te lokaliseren binnen de term voor residuale onenigheid.

De auteurs merken bescheiden op dat het raamwerk niet bedoeld is om rankings te certificeren onder adversariele judge-panelen waar ernstige gecoördineerde bias de schatting van de consensus kan beïnvloeden, noch garandeert het globale optimaliteit vanwege het niet-convexe karakter van de optimalisatie. In plaats daarvan wordt het gepositioneerd als een diagnostische laag voor heterogene evaluatie om de robuustheid en interpreteerbaarheid van rankingconclusies te verbeteren.