💬 NLP

SCOPE: Selective Conformal Optimized Pairwise LLM Judging

Het artikel stelt SCOPE voor, een framework dat een nieuw Bidirectional Preference Entropy (BPE) onzekerheidssignaal combineert met selectieve conformale voorspelling om LLM-pairwise judges te kalibreren, waarmee betrouwbare foutcontrole en een significant hogere oordeelsdekking wordt bereikt vergeleken met standaard baselines.

Oorspronkelijke auteurs: Sher Badshah, Ali Emami, Hassan Sajjad

Gepubliceerd 2026-06-01

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Sher Badshah, Ali Emami, Hassan Sajjad

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een enorme talentenjacht organiseert waarin duizenden deelnemers (AI-modellen) met elkaar strijden om te winnen. Om te beslissen wie de winnaar is, huur je een "Rechter" in (een andere AI) die paren deelnemers met elkaar vergelijkt en degene kiest die beter is.

Het probleem? Deze Rechter is niet perfect. Soms raakt de Rechter in de war, soms heeft het een vreemde bias (zoals een voorkeur voor de deelnemer die als eerste wordt genoemd), en soms gokt het maar doet het alsof het 1 de 100% zeker is. Als je blindelings elke beslissing van deze Rechter vertrouwt, kunnen je uiteindelijke ranglijsten volledig fout zijn.

Dit artikel introduceert SCOPE, een nieuw systeem om ervoor te zorgen dat deze AI-Rechter betrouwbaar is. Denk aan SCOPE als een veiligheidsinspecteur en een slim filter dat tussen de Rechter en de definitieve resultaten in zit.

Zo werkt het, onderverdeeld in drie eenvoudige delen:

1. Het Probleen: De "Zeker maar Foute" Rechter

Normaal gesproken, wanneer een AI een keuze maakt, geeft het een "betrouwbaarheidsscore" (zoals zeggen: "Ik ben 90% zeker dat A beter is dan B"). Maar het onderzoek toonde aan dat deze score vaak een leugenaar is.

De Bias-val: Als je de Rechter laat zien "Deelnemer A dan Deelnemer B", kan de Rechter A kiezen. Als je ze omwisselt naar "Deelnemer B dan Deelnemer A", kan de Rechter B kiezen. De Rechter is in de war door de volgorde van de presentatie, niet door de werkelijke kwaliteit.
De Vals Vertrouwen: De Rechter kan zeggen: "Ik ben 99% zeker!", zelfs wanneer het eigenlijk gewoon aan het gokken is vanwege die volgorde-bias.

2. De Oplossing Deel A: De "Dubbelcheck" (BPE)

Om de leugenachtige betrouwbaarheid te corrigeren, hebben de auteurs een nieuwe tool gemaakt genaamd BPE (Bidirectional Preference Entropy).

De Analogie: Stel je voor dat je een vriend vraagt: "Wie is er beter, Alice of Bob?"
- De normale manier: Je vraagt het één keer. Je vriend zegt: "Alice!"
- De BPE-manier: Je stelt dezelfde vraag twee keer, maar je wisselt de volgorde om. Eerst: "Alice versus Bob." Daarna: "Bob versus Alice."
- Als je vriend beide keren "Alice" zegt, is hij echt zelfverzekerd.
- Als hij de eerste keer "Alice" zegt en de tweede keer "Bob", dan is hij in de war.
De Score: BPE neemt deze twee antwoorden en berekent een "Verwarringsscore". Als de Rechter in de war is (hoge score), markeert BPE dit als riskant. Als de Rechter het met zichzelf eens is (lage score), zegt BPI dat het veilig is. Dit verwijdert de bias van wie er als eerste werd vermeld.

3. De Oplossing Deel B: Het "Risicobudget" (SCOPE)

Nu we een eerlijke "Verwarringsscore" hebben, hebben we een regel nodig voor wanneer we de Rechter moeten vertrouwen. Hier komt SCOPE in beeld.

De Analogie: Denk aan een Risicobudget. Je vertelt het systeem: "Ik ben bereid een foutpercentage van 10% te accepteren." (Dat wil zeggen: van elke 100 beslissingen die we behouden, vinden we het oké als er tot 10 fout zijn).
Het Filter: SCOPE kijkt naar de Verwarringsscore van de BPE-stap.
- Als de score laag is (de Rechter is duidelijk en consistent), zegt SCOPE: "Houd deze beslissing aan."
- Als de score hoog is (de Rechter is in de war of bevooroordeeld), zegt SCOPE: "Stop! Gebruik deze beslissing niet. We weten niet genoeg."
De Garantie: Het artikel bewijst wiskundig dat als je deze regel volgt, je je 10% foutenbudget nooit zult overschrijden. Het is als een snelheidslimietbord dat garandeert dat je niet harder rijdt dan de limiet, ongeacht hoe de wegcondities veranderen.

Waarom is dit een grote zaak?

Vóór dit moment moesten mensen kiezen tussen twee slechte opties:

Alles vertrouwen: Veel data krijgen, maar het kan vol zitten met fouten.
Niets vertrouwen: Superveilig zijn, maar 90% van de data weggooien omdat je het niet zeker weet.

SCOPE is het ideale middenpad. Het gebruikt de "Dubbelcheck" (BPE) om de echt zelfverzekerde momenten te vinden en het "Risicobudget" (SCOPE) om je toe te staan 2,4 keer meer correcte beslissingen te behouden dan voorheen, terwijl het nog steeds garandeert dat je binnen je veiligheidslimieten blijft.

Kortom: SCOPE is een systeem dat AI-rechters eerlijk maakt over wanneer ze in de war zijn, en dat automatisch de risicovolle gokken eruit filtert zodat je de resultaten die je wel behoudt, kunt vertrouwen.

Technische Samenvatting: SCOPE (Selective Conformal Optimized Pairwise LLM Judging)

Probleemstelling

Large Language Models (LLMs) worden steeds vaker ingezet als schaalbare "rechters" voor paarwijze evaluatie in AI-workflows, variërend van Reinforcement Learning from Human Feedback (RLHF) tot geautomatiseerde leaderboards. Deze modellen lijden echter aan systematische miskalibratie en biases, zoals positiebias (de voorkeur geven aan het eerste of tweede antwoord ongeacht de kwaliteit) en verbositeitsbias. Huidige methoden voor het beoordelen van de betrouwbaarheid van rechters vertrouwen op heuristische vertrouwensscores (bijv. maximale softmax-waarschijnlijkheid) of eenvoudige drempelwaarden, die geen statistische garanties voor eindige steekproeven bieden. Hierdoor is het moeilijk om te garanderen dat de foutmarge onder de geaccepteerde oordelen onder een door de gebruiker gespecificeerd niveau blijft, wat leidt tot vertekende ranglijsten en onbetrouwbare trainingssignalen.

Methodologie

Het artikel stelt SCOPE voor (Selective Conformal Optimized Pairwise Evaluation), een framework dat conformal risk control combineert met een nieuwe onzekerheidsschatter om strikte statistische garanties te bieden voor paarwijze LLM-beoordeling.

1. Bidirectional Preference Entropy (BPE)

Om het probleem aan te pakken dat standaardvertrouwensproxies besmet zijn door positiebias, introduceren de auteurs Bidirectional Preference Entropy (BPE).

Mechanisme: Voor een gegeven paar reacties $(r_A, r_B)$ wordt de rechter twee keer bevraagd: één keer in de voorwaartse volgorde $(r_A, r_B)$ en één keer in de omgekeerde volgorde $(r_B, r_A)$ .
Aggregatie: De voorkeursvoorkeuren van het model voor $r_A$ in beide volgordes worden gemiddeld om een bias-neutrale waarschijnlijkheid $\bar{p}$ te creëren.
Scoring: De onzekerheidsscore $s(x)$ wordt gedefinieerd als de binaire entropie van $\bar{p}$ :
$s(x) = -[\bar{p} \ln \bar{p} + (1 - \bar{p}) \ln (1 - \bar{p})]$
Eigenschappen: Deze score is permutatie-invariant. Lage entropie duidt op een hoge mate van vertrouwen (sterke overeenstemming tussen de volgordes), terwijl hoge entropie duidt op ambiguïteit of onenigheid tussen de volgordes, wat dient als een robuust signaal voor onthouding.

2. Conformal Risk Control

SCOPE maakt gebruik van de theorie van conformal prediction om een acceptatiedrempel $\hat{\lambda}$ te kalibreren die garandeert dat de False Discovery Rate (FDR) onder de geaccepteerde oordelen de door de gebruiker gespecificeerde waarde $\alpha$ niet overschrijdt.

Geliniariseerde Loss: Om de ratio-restrictie van FDR-controle op eindige steekproeven aan te pakken, gebruikt de methode een geliniariseerde lossfunctie $L(x, \lambda) = S(x, \lambda) \cdot (E(x) - \alpha)$ , waarbij $S$ de selectie-indicator is en $E$ de fout-indicator.
Kalibratie: De drempelwaarde $\hat{\lambda}$ wordt gekozen als de grootste waarde waarvoor de cumulatieve geliniariseerde loss op een kalibratieset voldoet aan een voor eindige steekproeven voldoende voorwaarde: $\sum L(x_i, \lambda) \leq -1$ .
Garantie: Onder de aanname van uitwisselbaarheid (exchangeability) tussen de kalibratie- en testdata, garandeert deze procedure dat de marginale test-tijd FDR begrensd is door $\alpha$ .

Belangrijkste Bijdragen

SCOPE Framework: Een methode voor selectieve voorspelling voor paarwijze LLM-beoordeling die statistische garanties biedt voor eindige steekproeven op de foutmarge van geaccepteerde oordelen, een capaciteit die voorheen ontbrak in heuristische benaderingen.
Bidirectional Preference Entropy (BPE): Een nieuwe onzekerheidsschatter die positiebias mitigeert door de voorspellingen van beide reactievolgordes te aggregeren. BPE presteert beter dan standaard vertrouwensproxies (zoals voorspellende waarschijnlijkheid of verbaal geuite vertrouwensscores) op het gebied van kalibratie en discriminatie.
Empirische Validatie: Uitgebreide experimenten over meerdere benchmarks (MT-Bench, RewardBench, Chatbot Arena) en modelmaten (Qwen-2.5 serie, Llama-3.1-70B) laten zien dat SCOPE consequent de beoogde risicobrede maximaliseert terwijl het de target risico binnen de grenzen houdt.

Resultaten

Onzekerheidskwaliteit: BPE bereikt een lagere Expected Calibration Error (ECE) en een hogere Area Under the ROC Curve (AUROC) en Precision-Recall Curve (AUPRC) vergeleken met baselines, inclus# de "Swap-and-Aggregate" en "Simulated Annotators".
Risicocontrole: Over alle benchmarks en modellen heen houdt SCOPE de empirische FDR nauw geconcentreerd rond de doelwaarde $\alpha$ (bijv. $\approx 0.097\text{--}0.099$ bij $\alpha = 0.10$ ). In tegen tegenstelling hiertoe overschrijden vanilla baselines en heuristische drempelwaardes de risicobrede regelmatig.
Coverage Efficiency: SCOPE presteert aanzienlijk beter dan conservatieve baselines. Bij $\alpha = 0.10$ accepteert SCOPE tot wel 2,4 $\times$ meer oordelen dan naïeve kalibratiemethoden terwijl dezelfde risicobrede behouden blijft. Bijvoorbeeld, op MT-Bench met Qwen-7B bereikt SCOPE een dekking van 0,246 vergeleken met 0,102 voor naïeve kalibratie.
Robuustheid: Het framework blijft geldig onder labelruis in de kalibratieset (wordt conservatiever in plaats van de grens te schenden) en vereist bescheiden kalibratiesetgroottes ( $n \approx 200\text{--}500$ ) om te convergeren.

Betekenis en Claims

Het artikel claimt dat SCOPE het eerste framework biedt dat false-discovery-rate controle voor eindige steekproeven biedt voor de paarwijze beoordeling door een enkele model-LLM. Door de onzekerheidssignaal (BPE) te ontkoppelen van het risicocontrolmechanisme (Conformal Prediction), laten de auteurs zien dat het mogelijk is om LLM-rechters in te zetten als schaalbare evaluatoren zonder de betrouwbaarheid op te offeren.

De auteurs positioneren SCOPE als een "drop-in" kalibratielaag die geen hertraining van het onderliggende rechtermodel vereist. Het transformeert LLM-beoordeling van een ondoorzichtige black box naar een systeem met bekende, door de gebruiker instelbare betrouwbaarheidseigenschappen. Het werk suggereert dat het combineren van bias-neutrale onzekerheidsschatting met conformal risk control een fundamentele stap is naar verantwoorde en transparante AI-evaluatie, met name voor toepassingen zoals RLHF reward modeling en leaderboard rankings waar systematische fouten downstream gevolgen kunnen hebben.

Het artikel erkent beperkingen en merkt op dat garanties rusten op de aanname van uitwisselbaarheid (die kan verzwakken door distributieverschuivingen) en dat BPE toegang vereist tot model-logits (waardoor het minder toepasbaar is op volledig black-box API-instellingen zonder benadering). Er wordt gesuggereerd dat toekomstig werk zich kan richten op het uitbreiden van deze garanties naar multi-respons rangschikking en rubric-gebaseerde scoring.