Technische Samenvatting: Een Regimekaart voor Eindige Kalibratie van LLM-Judge Panelen

Probleemstelling

Het artikel behandelt de uitdaging van het inzetten van Large Language Model (LLM) judge-panelen onder beperkte budgetten voor menselijke labels. Hoewel het gebruik van meerdere judges (een paneel) de bias van een enkele judge kan verminderen, verhoogt het toevoegen van judges de complexiteit van de kalibratie taak. Specifiek vereist het mappen van de gezamenlijke output van $K$ judges naar menselijke labels het schatten van een conditionele predictieregel over een gezamenlijke patroonruimte. Naarmate de paneelgrootte groeit, groeit het aantal mogelijke outputpatronen (cellen) exponentieel.

De kernafwegening is tussen:

1. Laagdimensionale stackers (bijv. scalaire aggregatie, ridge stacking): Deze hebben lage schattingskosten (minder parameters) maar lijden aan benaderingsfouten als de outputs van judges significante interacties bevatten (niet-additieve effecten).
2. Gezamenlijke outputtabellen (niet-parametrisch): Deze kunnen willekeurige interacties representeren maar brengen hoge schattingskosten met zich mee. Onder eindige budgetten lijden ze aan ijle cel-aantallen (sparse cell counts), smoothing-bias en hoge fouten op "ongeziene" patronen (patronen die niet geobserveerd zijn in de kalibratieset).

De auteurs vragen: Wanneer moet een gebruiker eindige labels besteden aan een flexibele gezamenlijke tabel, en wanneer zijn die labels beter besteed aan een lager dimensionaal betrouwbaarheids- of stackingmodel?

Methodologie

1. Theoretisch Kader: Regimekaart voor Eindige Kalibratie

De auteurs formaliseren de beslissing voor inzet als het selecteren van een tuple $(\pi, K, A)$, waarbij $\pi$ het judge-pad (volgorde) is, $K$ de prefix-grootte (aantal judges) en $A$ de aggregator-familie. De eindige steekproefrisico $R(\hat{f})$ wordt gedecomposeerd in drie termen:
$$R(\hat{f}_{\pi,K,A}) - R^* \approx \text{Approx}(\pi, K, A) + \text{Est}(\pi, K, A, n_M) + \text{Sel}(C, n_V)$$

• Benaderingsfout (Approximation Error): De bias geïntroduceerd door de aggregator-familie (bijv. een scalair model kan interacties niet vatten).
• Schattingsfout (Estimation Error): De variantie door eindige data. Voor gezamenlijke tabellen wordt dit gedreven door cel-aantallen en ongeziene massa; voor scalaire modellen schaalt dit polynomiaal met $K$.
• Selectiefout (Selection Error): De straf voor het kiezen van het beste model uit een eindige kandidaatverzameling $C$ met behulp van een validatieset van grootte $n_V$.

Belangrijk theoretisch inzicht (Corollary 1): De gezamenlijke tabel is alleen te prefereren wanneer de benaderingskloof van het scalaire model ($\Delta_K(A)$) groter is dan het verschil in schattingsdruk tussen de tabel en het scalaire model. Met andere woorden, een flexibele tabel is alleen de labelkosten waard als de interacties tussen de judges sterk genoeg zijn om de straf voor ijle data (sparsity penalty) te rechtvaardigen.

2. Eindige-Kalibratie Paneelselectie (FCPS)

De auteurs implementeren deze theorie in een inzetbare validatieselectie, FCPS, die als volgt werkt:

• Data Splitsing: Gelabelde data wordt verdeeld in selectie-, kalibratie-, validatie- en testblokken.
• Kandidaat Generatie:
  • Paden: Judges worden geordend via "informatie-eerst" (oracle performance), "random" of "complexiteit-gestrafte" heuristieken.
  • Prefixes: Verschillende prefix-groottes $K$ worden getest.
  • Aggregators: Een menu inclusief gezamenlijke tabellen, gemiddelde/stem-aggregatie, ridge stacking, logistische stacking en one-coin betrouwbaarheidsmodellen.
• Selectie: Voor elke kandidaat $(\pi, K, A)$ wordt een aggregator gefit op het kalibratieblok. Het paar dat de validatierisico $\hat{R}_{val}$ minimaliseert, wordt geselecteerd.
• Diagnostiek: Het systeem rapporteert entropie-effectieve ondersteuning ($H_K$), exacte cel-druk (een proxy voor schattingsvariantie) en ongeziene patroon-ratio's om het geselecteerde regime te interpreteren.

3. Aggregator Families

• Gezamenlijke Tabel (Joint Table): Een niet-parametrische estimator die geobserveerde gezamenlijke patronen mapt naar gesmoothde cel-gemiddelden, met een fallback naar de kalibratie-marginaal voor ongeziene patronen.
• Scalair/Stacking: Omvat gemiddelde aggregatie met isotone kalibratie, ridge/logistische stacking, en one-coin betrouwbaarheidsmodellen. Deze gaan uit van additieve of laag-orde interactiestructuren.

Belangrijkste Resultaten

1. Real-World Benchmarks (Additief/Redundant Regime)

Geëvalueerd op RewardBench, LLMBar, SummEval, en Arena100K met een pool van zeven judges (inclusief DeepSeek V4 Flash, Qwen2.5, Llama-3.1, etc.):

• Dominantie van Scalaire Modellen: In 16 van de 20 dataset-budget cellen presteerde de gevalideerd-geselecteerde scalaire aggregatie beter dan de gevalideerd-geselecteerde gezamenlijke tabel prefix-kalibratie.
• Interpretatie: De outputs van huidige real-world judges lijken vaak additief of redundant te zijn. De flexibiliteit van een gezamenlijke tabel rechtvaardigt de eindige-labelkosten (sparsity) in deze settings niet.
• Prefix Grootte: Geselecteerde prefixes waren doorgaans kleiner dan de volledige pool van zeven judges, en het risico vlakte af of nam toe bij grotere $K$ vanwege de schattingsdruk.

2. Gecontroleerde Experimenten (Interactie Regime)

In gecontroleerde "kalibratie-groei" regimes ontworpen om specifieke interacties op te wekken:

• Zes-weg Interactie: Wanneer een sterke zes-weg interactie aanwezig was, werd de gezamenlijke tabel superieur zodra het kalibratiebudget groot genoeg was om de ongeziene massa te elimineren.
• Prestatiewinst: In dit regime daalde de test MSE van de geselecteerde gezamenlijke tabel van 0.224 naar 0.061 naarmate het budget toenam en ongeziene cellen verdwenen.
• Additief Regime: In puur additieve regimes bleven scalaire modellen superieur, zelfs naarmate de hoeveelheid labels groeide.

3. Diagnostiek

De voorgestelde diagnostiek (cel-druk, ongeziene ratio) identificeerde succesvol regimes waar de flexibiliteit van de tabel niet werd ondersteund door de data. Hoge cel-druk correleerde met het falen van gezamenlijke tabellen in real-world benchmarks.

Bijdragen

1. Regime Theorie: Een formele decompositie van het eindige steekproefrisico voor judge-panelen, die de grens definieert tussen wanneer laag-dimensionale aggregators en gezamenlijke tabellen optimaal zijn op basis van benaderingskloven en schattingsdruk.
2. Inzetbare Selector (FCPS): Een praktisch protocol voor het selecteren van judge-paden, prefix-groottes en aggregator-families onder een vast label-budget, vergezeld van interpreteerbare diagnostiek (effectieve ondersteuning, cel-druk).
3. Empirisch Bewijs: Een tweezijdige demonstratie die laat zien dat huidige real-world benchmarks de voorkeur geven aan scalaire aggregatie (vanwege redundantie/additiviteit), terwijl gecontroleerde interactie-regimes gezamenlijke tabellen bevoordelen zodra de label-budgetten voldoende zijn om de patroonruimte te dekken.

Betekenis en Claims

Het artikel claimt dat de praktische vraag voor het inzetten van judge-panelen niet is "hoeveel judges?", maar "of de informatie van de volgende judge schatbaar is onder de beschikbare menselijke labels."

De auteurs stellen dat de complexiteit van een paneel "verdiend" moet worden door kalibratie-bewijs. Als de beschikbare labels de schatting van de geïnduceerde gezamenlijke patroon-tabel niet kunnen ondersteunen (door ijle data of ongeziene massa), zal het toevoegen van judges of het gebruiken van complexe tabellen de prestaties verslechteren. Omgekeerd, als sterke interacties bestaan en de labels voldoende zijn om de patroonruimte te dekken, bieden gezamenlijke tabellen aanzienlijke winst. Het FCPS-framework biedt het mechanisme om deze grens empirisch te bepalen.