Calibeating Prediction-Powered Inference

Titel: Calibeating Prediction-Powered Inference

Auteurs: Lars van der Laan en Mark van der Laan
Datum: 24 april 2026

---

1. Het Probleem: Semisupervised Mean Estimation met Miscalibratie

Het artikel behandelt het probleem van semisupervised mean estimation (het schatten van een populatiegemiddelde) in een setting met:

• Een klein gelabeld dataset $\{(X_i, Y_i)\}_{i=1}^n$ waaruit zowel covariaten ($X$) als uitkomsten ($Y$) bekend zijn.
• Een groot ongelabeld dataset $\{\tilde{X}_j\}_{j=1}^N$ waaruit alleen covariaten bekend zijn.
• Een black-box voorspellingsmodel dat een score $m(X)$ genereert, maar waarvan de output mogelijk miscalibrated is.

De kernuitdaging:
In veel praktische scenario's (zoals biobank-analyses, klinische trials of evaluatie van Large Language Models) zijn uitkomsten duur om te verzamelen, maar zijn voorspellingscores goedkoop en ruim voorhanden. Standaardmethoden zoals AIPW (Augmented Inverse Probability Weighting) en PPI (Prediction-Powered Inference) zijn robuust tegen misspecificatie van het model (ze zijn consistent zelfs als het model verkeerd is), maar ze zijn vaak inefficiënt.

De inefficiëntie ontstaat omdat deze methoden de voorspellingscore $m(X)$ als vast beschouwen. Een score kan goed zijn voor het rangschikken van individuen (bijv. wie heeft een hogere kans op een gebeurtenis), maar slecht gekalibreerd qua niveaus (de numerieke waarde geeft de verwachte uitkomst niet correct weer). Als $m(X)$ systematisch te hoog of te laag is, blijven de residuen $Y - m(X)$ onnodig variabel, wat leidt tot bredere betrouwbaarheidsintervallen en minder nauwkeurige schattingen.

2. Methodologie: Calibrated Prediction-Powered Inference

De auteurs introduceren een nieuw raamwerk: Calibrated Prediction-Powered Inference. De basisidee is om de bestaande voorspellingscore $m(X)$ post-hoc te kalibreren op het kleine gelabelde dataset voordat deze wordt gebruikt voor semisupervised schatting.

Het proces:

1. Voorspelling: Gebruik een extern getraind black-box model om scores $m(X)$ te genereren voor zowel het gelabelde als het ongelabelde dataset.
2. Kalibratie (Post-processing): Leer een transformatie $f_n: \mathbb{R} \to \mathbb{R}$ op het gelabelde dataset $\{(m(X_i), Y_i)\}$ om de score te kalibreren. De getransformeerde score is $m^*_n(X) = f_n(m(X))$.
   • De transformatie wordt gevonden door empirisch risicominimalisatie (bijv. kwadratisch verlies) binnen een specifieke klasse van functies $\mathcal{H}$.
   • De auteurs focussen op twee specifieke kalibratiemethoden:
     • Lineaire kalibratie: $f(t) = a + bt$. Dit is vergelijkbaar met Platt-scaling of temperatuur-schaling.
     • Isotone kalibratie: $f(t)$ is een niet-dalende functie. Dit wordt geschat via isotone regressie (vaak met PAVA-algoritme).
3. Schatting: Bereken het gemiddelde van de gekalibreerde scores over de gepoolde covariaten (gelabeld + ongelabeld).

Wiskundige structuur:
Het resultaat is een exacte AIPW-schatting gebaseerd op de gekalibreerde score $m^*_n$. Door de kalibratie te definiëren via een lineaire klasse die constante functies bevat, geldt dat het gemiddelde residu op het gelabelde dataset nul is ($P_n\{Y - m^*_n(X)\} = 0$). Hierdoor behoudt de schatter de wenselijke eigenschappen van AIPW (onbevooroordeeldheid en validiteit) maar met een verbeterde regressie-aanpassing.

3. Belangrijkste Bijdragen

1. Introductie van Calibrated PPI:
   Een eenvoudig, plug-in raamwerk dat bestaande voorspellingscores kalibreert zonder het onderliggende model opnieuw te hoeven trainen. Dit is lichtgewicht en kan direct worden toegepast in bestaande pijplijnen.

2. Theoretische Optimaliteit ("Calibeating"):
   De auteurs introduceren het concept "calibeating" (een term ontleend aan Foster en Hart, 2023), wat betekent dat de gekalibreerde score de originele score verslaat in zowel voorspellingsnauwkeurigheid als schattings-efficiëntie.

   • Isotone kalibratie: Ze bewijzen dat isotone kalibratie first-order optimaal is. Eenmaal een score is geisotoneerd, levert verdere post-processing binnen de klasse van monotone transformaties geen extra eerste-orde winst op voor de schatting van het gemiddelde.
   • Lineaire kalibratie: Ze tonen aan dat lineaire kalibratie asymptotisch equivalent is aan PPI++ (een bestaande methode die empirische efficiëntie maximaliseert via een schalingsfactor). Dit verduidelijkt de relatie tussen recente ML-methoden en klassieke semiparametrische theorie.

3. Asymptotische Theorie:

   • Er wordt bewezen dat de isotone-gekalibreerde schatter asymptotisch normaal is.
   • De schatter bereikt de semiparametrische efficiëntiegrens binnen de gereduceerde ruimte die wordt gegenereerd door de score $m(X)$ (als de ware regressie monotoon is).
   • De methode is minstens zo efficiënt als standaard AIPW en PPI, en strikt efficiënter als de beste kalibratie niet-lineair is.

4. Software:
   De auteurs leveren een Python-pakket (ppi_aipw) dat de implementatie van deze methoden mogelijk maakt.

4. Resultaten en Experimenten

De auteurs evalueren hun methode via simulaties, bestaande benchmarks en een nieuw LLM-evaluatie-experiment.

• Simulatie-studie:
  In scenario's met sterk miscalibreerde scores (waarbij de rangschikking goed is maar de schaal verkeerd), presteren de gekalibreerde methoden (LinearCal, IsoCal) significant beter dan ruwe PPI en AIPW. Ze verminderen de Root Mean Squared Error (RMSE) en verkorten de betrouwbaarheidsintervallen aanzienlijk.

• Empirische Illustratie (ppi_py benchmarks):
  Op datasets zoals forest, galaxies en census_income blijkt dat:

  • AIPW vaak een betere baseline is dan PPI (omdat PPI informatie in het gelabelde dataset verwaarloost).
  • LinearCal en AIPW-EM (Empirical Efficiency Maximization zonder clipping) presteren het beste en zijn vaak bijna equivalent.
  • PPI++ (met de standaard implementatie die coëfficiënten "clipt" naar $[0, 1]$) kan inferieur zijn aan onbeperkte lineaire kalibratie of AIPW-EM.

• LLM-evaluatie Benchmark (PPE):
  In een praktijkvoorbeeld met Large Language Models (evaluaties van menselijke voorkeuren en correctheid) bleek dat:

  • Het direct gebruiken van ruwe reward-model scores (AIPW/PPI) kan leiden tot enorme fouten als de scores slecht geschaald zijn (soms zelfs slechter dan alleen het gelabelde dataset gebruiken).
  • LinearCal en AutoCal (een adaptieve selector) maken deze goedkope evaluaties veilig en nuttig, met aanzienlijke winst in efficiëntie (tot 10% minder benodigde gelabelde data voor dezelfde nauwkeurigheid).
  • Kalibratie verbetert ook de kwaliteit van het ranking van modellen, wat cruciaal is voor modelselectie.

5. Betekenis en Conclusie

De paper plaatst "Prediction-Powered Inference" (PPI) expliciet in de bredere context van semiparametrische statistiek, causale inferentie en debiased machine learning.

• Conceptuele verduidelijking: Het toont aan dat PPI-varianten eigenlijk gevallen zijn van AIPW met specifieke regressie-aanpassingen. PPI++ is bijvoorbeeld AIPW met empirische efficiëntie-maximalisatie.
• Praktische impact: De boodschap is dat kalibratie een noodzakelijke stap is wanneer men black-box modellen gebruikt voor inferentie. Zelfs een simpele lineaire kalibratie kan de efficiëntie drastisch verbeteren zonder de complexiteit van het opnieuw trainen van het model.
• Isotone kalibratie als gouden standaard: Voor de meest robuuste oplossing (zonder aannames over de vorm van de miscalibratie) biedt isotone kalibratie een "calibeating" garantie: het verbetert de score en bereikt de beste mogelijke efficiëntie binnen de klasse van monotone transformaties.

Samenvattend biedt dit werk een brug tussen machine learning en statistische inferentie, waarbij het laat zien hoe eenvoudige post-processing-stappen (kalibratie) de bruikbaarheid van grote hoeveelheden ongelabelde data en black-box modellen voor wetenschappelijke inferentie kunnen maximaliseren.