Technische Samenvatting: Gecalibreerd Preferentieel Leren: De Casus van Label Ranking

Probleemstelling

Probabilistische Label Ranking (ProLR) beoogt een waarschijnlijkheidsverdeling over de mogelijke ordeningen van een verzameling items te voorspellen op basis van een context. Hoewel kalibratie — de afstemming van voorspelde waarschijnlijkheden met de werkelijke uitkomstfrequenties — goed bestudeerd is voor classificatie en regressie, is het voor ProLR niet formeel behandeld.

Het behandelen van label ranking als een standaard multi-class classificatieprobleem (waarbij elke unieke rangschikking een klasse is) is om verschillende redenen ontoereikend:

1. Computationele Onhandelbaarheid: Het aantal ranking-klassen groeit factorial ($m!$), wat kwantitatieve kalibratiemeting moeilijk maakt, zelfs voor een gematigd aantal items.
2. Structurele Onwetendheid: Naïeve classificatie negeert de metrische structuur van de ranking-ruimte. Bijvoorbeeld, twee rangschikkingen die een gemeenschappelijke sub-rangschikking delen (bijv. $i_1 \succ i_2 \succ i_3$ en $i_1 \succ i_3 \succ i_2$) worden behandeld als disjuncte klassen, waardoor het niet wordt gevangen dat kalibratie op de één de kalibratie op de ander kan induceren.
3. Praktische Modaliteiten: Belangrijke applicatie-specifieke modaliteiten, zoals paarwijze vergelijkingen en top-$k$ voorspellingen, worden niet natuurlijk gevangen door volledige rank-classificatiemetrieken.

Deze kloof is bijzonder kritiek in toepassingen zoals Reinforcement Learning from Human Feedback (RLHF), waar beloningsmodellen vertrouwen op paarwijze voorkeuren (substructuren van volledige rangschikkingen) om Large Language Models (LLMs) af te stemmen op menselijke voorkeuren.

Methodologie

De auteurs formaliseren kalibratie voor label ranking door een hiërarchie van kalibratiebegrippen te ontwikkelen die verder gaan dan de multi-class classificatievisie. Ze definiëren kalibratie op verschillende granulariteiten:

1. Full-Rank Kalibratie

• Full-Rank Kalibratie: Analoog aan sterke kalibratie in multi-class classificatie. Een model is full-rank gekalibreerd als, voor elke voorspelde distributie $p$ over alle rangschikkingen, de empirische frequentie van de ware rangschikking $\pi$ overeenkomt met $p[\pi]$.
• Rankwise Kalibratie: Analoog aan zwakke kalibratie. Een model is rankwise gekalibreerd als, voor elke toegewezen voorspelde waarschijnlijkheid $\alpha$ aan een specifieke rangschikking $\pi$, de empirische frequentie van $\pi$ onder instanties waar $h(x)[\pi]=\alpha$ exact $\alpha$ is.

2. Marginale Kalibratie (Sub-rangschikkingen en Top-$k$)

De paper introduceert kalibratie voor projecties van de volledige ranking-distributie:

• Sub-$k$ Kalibratie: Richt zich op subsets van items $B$ ($|B|=k$). Het vereist dat de marginale distributie over de rangschikkingen van $B$ gekalibreerd is. Dit omvat paarwijze kalibratie ($k=2$), wat centraal staat in RLHF.
• Top-$k$ Kalibratie: Richt zich op de top $k$ posities van de rangschikking. Het vereist dat de marginale distributie van de top-$k$ items gekalibreerd is.

3. Zwakkere Varianten

Vergelijkbaar met het onderscheid tussen sterke en zwakke kalibratie, definiëren de auteurs Rankwise Sub-$k$ en Rankwise Top-$k$ kalibratie, die alleen conditioneren op de waarschijnlijkheid van een specifieke sub-rangschikking in plaats van de gehele marginale distributie.

Theoretisch Kader

De paper stelt een hiërarchie van implicaties en uitsluitingen vast tussen deze begrippen (gevisualiseerd in Figuur 1):

• Implicaties: Full-rank kalibratie impliceert zowel rankwise, sub-$k$, als top-$k$ kalibratie. Sub-$k$ (en top-$k$) kalibratie impliceert hun respectieve rankwise varianten.
• Niet-implicaties:
  • Sub-$k$ kalibratie impliceert niet full-rank kalibratie (modificaties aan de volledige distributie kunnen elkaar in de marginale distributie opheffen).
  • Top-$k$ kalibratie impliceert niet full-rank kalibratie.
  • Sub-$k$ en top-$k$ kalibratie zijn onvergelijkbaar; een model kan sub-$k$ gekalibreerd zijn maar niet top-$k$ gekalibreerd, en vice versa.
  • Rankwise kalibratie (full of sub-$k$) impliceert de sterkere marginale kalibratiebegrippen niet, noch impliceert het de andere rankwise varianten.

Deze relaties houden voor algemene modelklassen, inclusief veelgebruikte Plackett–Luce en Mallows modellen.

Empirische Evaluatie

De auteurs evalueren populaire label ranking modellen (Plackett–Luce, Mallows, Ranking by Pairwise Comparison, en een neurale RankClassifier) op real-world datasets (films, politiek) en RLHF beloningsmodellen (RewardBench2).

• Metrieken: Ze gebruiken Expected Calibration Error (ECE), aangepast voor ranking door het binnendozen van voorspelde waarschijnlijkheden en het vergelijken met empirische frequenties. Vanwege de factorial groei van klassen beperken ze de ECE-berekening tot de 95% meest frequente geobserveerde rangschikkingen.
• RLHF Analyse: Ze onderzoeken de correlatie tussen kalibratie (Top-1 ECE) en benchmark nauwkeurigheid in RewardBench2.

Belangrijkste Resultaten

1. Slechte Kalibratie in Populaire Modellen: Empirische resultaten tonen aan dat populaire label ranking modellen (Plackett–Luce, Mallows) vaak slecht gekalibreerd zijn, met name naarmate het aantal items toeneemt.
2. Divergentie van Metrieken: Er zijn substantiële verschillen tussen sub-rangschikking en top-$k$ kalibratiemetrieken. Een model kan goed presteren op de ene metriek terwijl het faalt op de andere, wat de theoretische onvergelijkbaarheid bevestigt.
3. RLHF Beloningsmodellen: In de context van RLHF correleert kalibratie sterk maar niet perfect met benchmark nauwkeurigheid. Dit sugggeert dat kalibratie een betekenisvolle kwaliteit-dimensie vangt die onderscheidt van top-1 nauwkeurigheid.
4. Rank Breaking Effecten: Modellen getraind via "rank breaking" (bijv. het leren van paarwijze voorkeuren en het aggregeren daarvan in een volledige distributie) vertonen vaak een slechtere kalibratie vergeleken met modellen die direct op paarwijze data of volledige rangschikkingen zijn getraind.

Betekenis en Bijdragen

De paper claimt de volgende bijdragen:

1. Formalisering: Het introduceert een op maat gemaakte hiërarchie van kalibratiebegrippen voor probabilistische label ranking, bewegend voorbij de beperkingen van het beschouwen van het probleem als multi-class classificatie.
2. Theoretische Unificatie: Het biedt een verenigd theoretisch beeld van de relaties tussen deze begrippen, waarbij bewezen wordt dat kalibratie op sub-rangschikkingen geen full-rank kalibratie impliceert, zelfs niet voor standaardmodellen zoals Plackett–Luce en Mallows.
3. Empirisch Inzicht: Het toont aan dat bestaande label ranking leerders frequent misgekalibreerd zijn en dat kalibratie een onderscheidende, waardevolle metriek is voor RLHF beloningsmodellen, wat potentieel inzichten biedt die verder gaan dan standaard nauwkeurigheidsbenchmarks.

De auteurs concluderen dat deze bevindingen toekomstig werk motiveren naar het begrijpen van de downstream effecten van miskalibratie en het ontwikkelen van specifieke methoden om dit te corrigeren in label ranking taken. Ze merken expliciet op dat hoewel hun werk fundamenteel is, het de noodzaak benadrukt voor kalibratietechnieken die specifiek zijn ontworpen voor probabilistische label ranking in plaats van het simpelweg aanpassen van classificatiemethoden.