Technische Samenvatting: Kritiek op de Coverage-Length Metriek in Conformal Prediction

1. Probleemstelling

Conformal Prediction (CP) is een standaard raamwerk voor distributievrije onzekerheidskwantificatie, dat doorgaans wordt geëvalueerd met twee metrieken: marginale dekking (de waarschijnlijkheid dat de werkelijke waarde binnen de voorspellingsverzameling valt) en intervallengte (de grootte van de voorspellingsverzameling, waarbij korter over het algemeen wordt verkozen voor precisie).

Het artikel identificeert een kritieke tekortkoming in dit evaluatieparadigma: de aanname dat een methode die geldige dekking en kortere gemiddelde intervallen bereikt, inherent superieur is voor praktische inzetbaarheid. De auteurs stellen dat deze standaardmetrieken "gehackt" kunnen worden door contra-intuïtieve constructies die de intervallengte kunstmatig verminderen terwijl de marginale dekking behouden blijft, maar tegen de prijs van het introduceren van instabiliteit (inconsistente outputs voor dezelfde input) en onrechtvaardigheid (het leveren van oninformatieve voorspellingen voor een subset van gebruikers).

2. Methodologie: De Prejudicial Trick (PT)

Om de ontoereikendheid van de coverage-length metriek aan te tonen, introduceren de auteurs een theoretisch construct getiteld de Prejudicial Trick (PT). PT is een post-hoc modificatie toegepast op elk base CP-algoritme.

Mechanisme:
Voor een doel-miscoveragerate $\alpha$ en een testpunt $x'$, werkt PT probabilistisch met een parameter $p \in (1-\alpha, 1)$:

1. Null Assignment: Met waarschijnlijkheid $1-p$ geeft het algoritme een null-verzameling terug (een lege verzameling voor classificatie of een enkel punt/zero-length interval voor regressie).
2. Adjusted Assignment: Met waarschijnlijkheid $p$ geeft het algoritme een voorspellingsinterval terug dat is geconstrueerd met een aangepaste miscoveragerate $\alpha' = 1 - \frac{1-\alpha}{p}$. Omdat $p < 1$, is $\alpha' > \alpha$, wat resulteert in een breder interval voor deze specifieke run.

Theoretische Rechtvaardiging:

• Dekkingbehoud: De marginale dekking blijft behouden omdat de verwachte dekking $p \times (1-\alpha') + (1-p) \times 0 = p(1 - (1 - \frac{1-\alpha}{p})) = 1-\alpha$ is.
• Lengtevermindering: De gemiddelde intervallengte wordt verminderd omdat de null-verzamelingen (lengte 0) worden gemiddeld met de aangepaste intervallen. Het artikel leidt voldoende voorwaarden af (bijv. Lemma 3.6, Theorem 3.7) waaronder deze mix een strikt kleinere verwachte lengte oplevert dan het base-algoritme, met name in scenario's met model-misspecificatie.

3. Belangrijkste Bijdragen

A. Theoretische Analyse van PT

De auteurs bieden een rigoureus theoretisch kader dat het gedrag van PT karakteriseert:

• Dekkingsgaranties: Theorem 3.3 bewijst dat PT de marginale dekking handhaaft. Bovendien, als het base-algoritme aan conditionele dekking voldoet, erft PT dit ook. Remark 3.5 suggereert dat PT onder bepaalde omstandigheden zelfs de base kan overtreffen in conditionele dekking op specifieke subsets.
• Lengteverbetering: Theorems 3.7 en 3.10 stellen voldoende voorwaarden vast (waarbij de differentieerbaarheid en convexiteit van de lengtefunctie betrokken zijn) waaronder PT de gemiddelde intervallengte strikt vermindert. De auteurs merken op dat model-misspecificatie een veelvoorkomend real-world scenario is dat aan deze voorwaarden voldoet.
• Gevalsstudies van falen: Voorbeeld 4 laat zien dat PT niet altijd de lengte vermindert (bijv. wanneer non-conformity scores een Gaussische distributie volgen), wat benadrukt dat de verbetering niet universeel is maar mogelijk in realistische settings.

B. Introductie van Interval Stability

Om dergelijke misleidende verbeteringen te detecteren, stelt het papier een nieuwe diagnostische metriek voor: Interval Stability (IS).

• Definitie: IS meet de verwachte variantie van de intervalgrootte (of de maat van de verzameling) voor een vaste testpunt over meerdere runs van het algoritme, geconditioneerd op de kalibratiedata.
• Doel: Het kwantificeert de inconsistentie van de voorspellingsverzameling. Een hoge IS duidt op de inconsistentie van de voorspelling. Het geeft aan dat dezelfde input bij herhaalde uitvoering verschillende voorspellingsverzamelingen oplevert, wat wijst op een potentieel vertrouwen op vacuüm toeval (vacuous randomness).
• Proposition 4.2: Bewijst dat PT inherent een niet-nul interval stability introduceert, terwijl deterministische baselines een nul stability hebben.

C. Empirische Validatie

De auteurs valideren hun bevindingen over diverse datasets en taken:

• Regressie & Classificatie: Experimenten op datasets zoals MEPS, BIKE en CONCRETE laten zien dat PT-VCP een kortere gemiddelde lengte bereikt terwijl de nominale dekking behouden blijft (Tabel 2).
• Stability Metrics: Tabel 3 demonstreert dat terwijl standaard VCP een nul interval stability heeft, PT-VCP significante instabiliteit vertoont. Localized CP, die steunt op gerandomiseerde trainingsprocedures, vertoont ook een niet-nul stability, wat de metriek koppelt aan praktische stochasticiteit.
• Generaliseerbaarheid: Het fenomeen wordt waargenomen over verschillende base-algoritmen (VCP, CQR, RAPS) en evaluatiecriteria (p-waarde gebaseerde efficiëntie), wat suggereert dat het risico niet beperkt is tot de gemiddelde lengte.

4. Betekenis en Claims

Het artikel beweert niet dat PT een praktische oplossing is; het dient eerder als een waarschuwend voorbeeld en een "stress test" voor de CP-evaluatiegemeenschap.

• Uitdaging voor Standaardmetrieken: De primaire claim is dat de coverage-length metriek onvoldoende is voor het beoordelen van praktische bruikbaarheid. Een methode kan superieur lijken op deze metrieken terwijl deze faalt in high-stakes omgevingen vanwege instabiliteit en onrechtvaardigheid (het niet leveren van informatie aan een willekeurige subset van gebruikers).
• Defensief Doel: Het werk beoogt het gebruik van complexe CP-methoden te voorkomen die impliciet vertrouwen op vergelijkbare "trucs" (gerandomiseerde constructies die de betrouwbaarheid per instantie verslechteren) om misleidende winsten in lengte te behalen.
• Aanbeveling: De auteurs pleiten voor de opname van Interval Stability als een complementaire diagnostische tool. Zij suggereren dat elke gerandomiseerde CP-pipeline stability-metrieken moet rapporteren naast dekking en lengte om te waarborgen dat verbeteringen echt zijn en geen artefacten van vacuüm toeval.

Samenvattend betogen de auteurs dat "kortere intervallen niet beter zijn" als de reductie wordt bereikt via mechanismen die de consistentie en betrouwbaarheid van voorspellingen voor individuele gebruikers in gevaar brengen.