Conformalised imprecise inference for robust extrapolation under limited data

Technische Samenvatting: Geconformaliseerde Onnauwkeurige Inferentie voor Robuste Extrapolatie onder Beperkte Data

Probleemstelling
Machine learning-systemen staan voor aanzienlijke uitdagingen bij het generaliseren buiten het trainingsdomein, met name in situaties die gekenmerkt worden door beperkte data en distributieve verschuivingen (extrapolatie). Hoewel recente vooruitgang in onzekerheidskwantificering (UQ) onderscheid maakt tussen aleatoire (onherleidbare) en epistemische (modelgebaseerde) onzekerheid, missen bestaande methoden vaak strikte garanties wanneer ze worden toegepast op out-of-distribution (OOD) data. Standaard probabilistische benaderingen falen frequent om dekking te behouden in extrapolatieregimes, wat leidt tot overmoedige en onbetrouwbare voorspellingen. Het kernprobleem dat wordt aangepakt, is de behoefte aan een unificerend kader dat strikte statistische garanties voor generalisatie biedt, terwijl expliciet rekening wordt gehouden met de schaarste aan data en de afwijking van testinputs ten opzichte van de trainingsmanifold.

Methodologie
De auteurs stellen een Geconformaliseerde Onnauwkeurige Inferentie (CII)-kader voor, een modelonafhankelijke aanpak die afstandsbewustzijn integreert met onnauwkeurige waarschijnlijkheidsrepresentaties (specifiek waarschijnlijkheidskisten, of p-kisten). De methodologie verloopt via vier sleutelfasen:

1. Afstandsbewuste Kalibratie:
   Het kader maakt gebruik van een scalair afstandsscore, $r(x)$, gedefinieerd als de Mahalanobis-afstand tussen een testinput en de verdeling van de trainingsdata. Deze score karakteriseert de afwijking van een testpunt van de trainingsdatamanifold. Een kalibratiesubset wordt gebruikt om een intervalvoorspellermodel (IPM) te construeren dat deze afstandsscore afbeeldt op een discrepantiebereik $[d, \bar{d}]$. Dit model wordt getraind om het bereik van discrepanties voor onzichtbare inputs strikt te karakteriseren, met name in grensgebieden.

2. Afstandsafhankelijke Discrepantieaanpassing:
   Een nieuwe aanpassingsregel wordt toegepast op de conformale scores op basis van de afstand $r(x)$. Binnen de trainingssteun ($r(x) \leq r_0$) handhaaft de methode nauwkeurigheidsgerichte grenzen. Echter, voor extrapolatieregimes ($r(x) > r_0$) inflateert de methode adaptief de onzekerheid door de bovengrens van het discrepantie-interval te selecteren. Dit zorgt ervoor dat de onzekerheid uitbreidt naarmate inputs verder van de trainingsdata verwijderd zijn, waardoor de kloof tussen conformale voorspelling en distributieve verschuiving wordt overbrugd zonder expliciete modellering van de testverdeling te vereisen.

3. AsCloseAs-grenzen Constructie:
   Om de uiteindelijke voorspelling te genereren, herwint het kader de verzameling van alle waarschijnlijkheidsverdelingen binnen het berekende area-maat (geïnterpreteerd als een Wasserstein-afstand) vanuit de basishypothese. Dit wordt bereikt door een optimalisatieprobleem op te lossen om de "ascloseas"-grenzen (de strakste boven- en ondercumulatieve verdelingsfuncties) te vinden die de basisvoorspelling omsluiten terwijl ze voldoen aan het discrepantiebudget. Dit resulteert in een geconformaliseerde p-kistvoorspelling, $C(x^*) = [G(x), \bar{G}(x)]$, die een credale verzameling van mogelijke voorspellingen vertegenwoordigt.

4. Omgaan met Onnauwkeurige Observaties:
   Het kader is ontworpen om "polymorfe onzekerheid" te hanteren, waarbij observaties nauwkeurig, intervallen of verdelingen kunnen zijn. Het maakt gebruik van een stochastisch area-maat om de discrepantie te berekenen tussen de voorspellende p-kist en de empirische observatie-p-kist, waardoor een uniforme behandeling van meetonzekerheid en modelonzekerheid mogelijk wordt.

Belangrijkste Bijdragen

• Een Unificerend Kader voor Extrapolatie: Het artikel introduceert een geconformaliseerd onnauwkeurig inferentiekader dat onafhankelijk is van het onderliggende voorspellende model (bijvoorbeeld Bayesiaanse neurale netwerken, ensemble-methoden), maar deze verrijkt met strikte dekkinggaranties onder distributieve verschuiving.
• Adaptieve Onzekerheidsinflatie: In tegenstelling tot standaard conformale voorspelling die uitwisselbaarheid veronderstelt, maakt CII expliciet onderscheid tussen in-distribution (ID) en OOD data. Het gebruikt een afstandafhankelijk mechanisme om onzekerheidsgrenzen adaptief uit te breiden in extrapolatieregimes, waardoor validiteit wordt gewaarborgd waar traditionele methoden falen.
• Onnauwkeurige Waarschijnlijkheidsrepresentatie: De methode output waarschijnlijkheidskisten (p-kisten) in plaats van puntinschattingen of enkele verdelingen. Deze structuur verwardt aleatoire en epistemische onzekerheden op natuurlijke wijze, en biedt een principiële manier om het "niveau van onwetendheid" weer te geven via de breedte van de grenzen.
• Strikte Evaluatiemetrics: De auteurs stellen specifieke metrics voor evaluatie voor en gebruiken deze, waaronder afstand-gestratificeerde dekking (om validiteit over het afstandsspectrum te beoordelen), kwantiel-geschaalde voorspellende breedte (om onnauwkeurigheid onafhankelijk van schaal te meten), en gepoolde nauwkeurigheid via u-pooling.

Experimentele Resultaten
De auteurs evalueerden CII op synthetische data (kubische functieregressie) en meerdere UCI-regressiebenchmarks (bijvoorbeeld Boston, Concrete, Energy, Naval Propulsion) onder variërende data-proporties ($\epsilon$) en distributieve verschuivingen.

• Dekking en Validiteit: In extrapolatiesituaties (OOD) bereikte CII consequent perfecte of bijna-perfecte empirische dekking ($\xi \approx 1.0$), terwijl basismethoden zoals Mixture of Gaussians (MoG) en Mean-Variance Estimation (MVE) aanzienlijke degradatie van de dekking leden.
• Robuustheid tegen Beperkte Data: Naarmate het aandeel trainingsdata afnam, behield CII een hoge dekking terwijl het de voorspellende breedte ($\gamma_n$) adaptief verhoogde. Dit toonde het vermogen van de methode aan om de toegenomen epistemische onzekerheid geassocieerd met dataschaarste te coderen.
• Afstand-Gestratificeerde Prestaties: Analyse toonde aan dat terwijl de dekking stabiel bleef over verschillende afstandsbins, de voorspellende breedte systematisch toenam met de afstandsscore $r(x)$. Dit bevestigt het vermogen van de methode om onzekerheid te moduleren op basis van de mate van extrapolatie.
• Vergelijking: In cross-dataset-vergelijkingen bij vaste data-proporties behield CII uniform de dekking, terwijl basismethoden faalden om validiteit onder distributieve verschuiving te handhaven. CII vertoonde ook een lagere gepoolde kalibratiefout ($d_p$) in vergelijking met basismethoden.

Betekenis en Claims
Het artikel claimt dat het CII-kader een principiële mechanisme biedt om conformale voorspelling te verbinden met distributieve verschuiving, en strikte garanties voor generalisatie biedt zelfs bij beperkte data. Door gebruik te maken van afstandsbewustzijn en onnauwkeurige waarschijnlijkheid, zorgt de methode ervoor dat voorspellingen geldig blijven (de grondwaarheid dekkend) terwijl ze adaptief onzekerheid inflateren om het verhoogde risico van extrapolatie te reflecteren. De auteurs benadrukken dat deze aanpak de noodzaak voor expliciete modellering van de testverdeling vermijdt, waardoor het een robuuste oplossing is voor hoog-risico situaties waar overmoed gevaarlijk is. Het werk onderstreept het belang van het direct incorporeren van distributieve bewustzijn in de geometrie van voorspellende verzamelingen om epistemische onzekerheid effectief te beheren. Toekomstig werk wordt opgemerkt om extensies te verkennen voor het strikter hanteren van meetonzekerheid en het verbeteren van schaalbaarheid.