📊 statistics

Self-Organized Conformal Prediction: Reducing Regional Coverage Gaps with Unsupervised Group Discovery

Dit artikel introduceert Self-Organized Conformal Prediction (SOCP), een ongesuperviseerde kalibratiemethode die Self-Organizing Maps gebruikt om groepen in de inputruimte te ontdekken en lokale kalibratie uit te voeren, waardoor regionale dekkingsverschillen in veiligheidskritische subgroepen aanzienlijk worden verminderd terwijl exacte validiteitsgaranties worden behouden zonder dat herkalibratie van de voorspeller of gesuperviseerde partities vereist zijn.

Oorspronkelijke auteurs: Louis Berthier, Ahmed Shokry, Maxime Moreaud, Guillaume Ramelet, Aymeric Dieuleveut

Gepubliceerd 2026-06-30

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Louis Berthier, Ahmed Shokry, Maxime Moreaud, Guillaume Ramelet, Aymeric Dieuleveut

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weervoorspeller bent. Je taak is niet alleen om te zeggen "het gaat morgen regenen", maar om een voorspelling te doen die betrouwbaar is. In de wereld van machine learning wordt deze betrouwbaarheid "Conformal Prediction" genoemd.

Normaal gesproken kijken weersvoorspellers (AI-modellen) naar hun volledige geschiedenis van het weer uit het verleden om te beslissen hoe breed hun voorspellings-"paraplu" moet zijn. Als ze voor 90% zeker zijn op gemiddelde basis, tekenen ze een paraplu die 90% van alle eerdere regenachtige dagen dekt.

Het Probleem: De "Gemiddelde" Valstrik
Het artikel wijst op een fout in deze "gemiddelde" aanpak. Stel dat je data twee zeer verschillende regio's heeft:

De Woestijn: Het regent er bijna nooit.
Het Regenwoud: Het regent er bijna elke dag.

Als je deze twee regio's samenvoegt om de "gemiddelde" paraplu grootte te berekenen, eindig je misschien met een paraplu die te klein is voor het Regenwoud (waar je toch natgeregend wordt) en veel te groot voor de Woestijn (waar je een nutteloze, zware paraplu meesleept). Het model ziet er "90% nauwkeurig" uit over het algemeen, maar het faalt spectaculair in specifieke gebieden die er echt toe doen.

De Oplossing: Self-Organized Conformal Prediction (SOCP)
De auteurs introduceren een nieuwe methode genaamd SOCP. Denk aan het geven van een slimme kaart aan je weervoorspeller in plaats van één globale regel.

Zo werkt het, met behulp van een eenvoudige analogie:

1. De Slimme Kaart (De SOM)

Stel je een gigantisch, leeg rooster voor (zoals een schaakbord) dat de wereld vertegenwoordigt. De AI kijkt naar alle historische datapunten (de weersgeschiedenis) en organiseert deze op dit rooster op basis van hoe ze op elkaar lijken.

Regenachtige dagen klonteren samen in één hoek.
Zonnige dagen klonteren samen in een andere hoek.
Dit gebeurt automatisch, zonder dat de AI verteld hoeft te worden "dit is een woestijn" of "dit is een bos". Het groepeert gewoon automatisch vergelijkbare dingen. Dit wordt een Self-Organizing Map (SOM) genoemd.

2. De Buurtregel

Nu komt er een nieuwe dag aan en moet je het weer voorspellen.

De Oude Manier: De AI kijkt naar elke dag uit de geschiedenis om te bepalen hoe groot de paraplu moet zijn.
De SOCP-Manier: De AI bekijkt de nieuwe dag, vindt de specifieke vierkant op het rooster (de "Best Matching Unit") waar deze bij hoort, en kijkt vervolgens alleen naar de buren van dat vierkant.
- Als de nieuwe dag in het "Regenwoud"-vierkant valt, controleert de AI alleen de weersgeschiedenis van de nabijgelegen Regenwoud-vierkanten.
- Als het in de "Woestijn" is, controleert de AI alleen de geschiedenis van de woestijn-vierkanten.

3. Het Resultaat: Gelokaliseerde Veiligheid

Door alleen naar de "buurt" van de huidige situatie te kijken, kan de AI de grootte van de voorspelling perfect aanpassen aan die specifieke context.

In het Regenwoud maakt de AI de paraplu misschien iets groter omdat het weer daar chaotisch is.
In de Woestijn houdt hij de paraplu klein omdat het weer daar voorspelbaar is.

Wat het Papier Vond
De auteurs hebben dit getest op acht verschillende datasets (zoals het voorspellen van huizenprijzen, kilometerstanden van auto's of het identificeren van afbeeldingen). Dit is wat er gebeurde:

Minder "Blinde Vlekken": In 7 van de 8 tests verminderde SOCP de "regionale dekkingsverschillen" aanzienlijk. Dit betekent dat de AI stopte met falen in specifieke, moeilijke gebieden waar de oude "gemiddelde" methode zwak was.
Een Kleine Prijs die Betaald Moet Worden: Om deze extra veiligheid in de moeilijk te voorspellen gebieden te krijgen, werd de voorspellings-"paraplu" gemiddeld iets groter (ongeveer 6% groter). Echter, als je de twee kleinste, lastigste datasets negeert, was de toename in grootte verwaarloosbaar (slechts 1,2%).
Geen Her-training Nodig: Het beste deel is dat deze methode werkt met elk bestaand AI-model. Je hoeft het model niet opnieuw te leren hoe het moet voorspellen; je verandert alleen hoe het zijn eigen vertrouwen controleert met behulp van deze "buurtkaart".

De Keerzijde (Het "Kleine Buurt"-Probleem)
Het papier merkt ook een beperking op. Als een specifieke buurt op de kaart erg leeg is (niet genoeg historische data), kan de AI bang worden en de voorspellingsparaplu enorm groot of zelfs oneindig maken (zeggen "ik heb geen idee"). Dit gebeurde in twee van de datasets met zeer weinig data. De auteurs suggereren dat als je voldoende data hebt, deze methode een geweldige manier is om AI-voorspellingen eerlijker en betrouwbaarder te maken voor iedereen, niet alleen voor het "gemiddelde" geval.

In een Notendop
SOCP is als het vertellen aan een arts: "Kijk niet alleen naar de gemiddelde patiënt in het ziekenhuis. Kijk naar de patiënten die precies zoals deze zijn, en baseer je diagnose op hun specifieke geschiedenis." Het maakt het veiligheidsnet van de AI strakker waar dat nodig is en losser waar dat niet nodig is, zonder de medische training van de arts te veranderen.

Technisch Samenvatting: Self-Organized Conformal Prediction (SOCP)

1. Probleemstelling

Conformal prediction (CP) biedt distributievrije, finite-sample marginale dekking garanties voor elke vaste non-conformiteitsscore onder uitwisselbaarheid (exchangeability). Echter, marginale validiteit middelt over de gehele feature-distributie, wat ernstige regionale onderdekking in kritieke subgroepen (bijv. zeldzame diagnoses of specifieke operationele regimes) kan maskeren. Hoewel exacte distributievrije conditionele dekking voor elke feature-waarde $x$ theoretisch onmogelijk is zonder oninformatieve sets te produceren, moeten praktische methoden een intermediair begrip van lokaliteit vinden. Bestaande benaderingen vertrouwen vaak op kernel-gewogen distributies (wat introduceert in bandbreedte-gevoeligheid en hoge computationele kosten) of gesuperviseerde groeperingen (die labels vereisen). De uitdaging is om input-ruimte groepen ongesuperviseerd te ontdekken om lokale kalibratie mogelijk te maken zonder de voorspeller te hertrainen of de non-conformiteitsscore te wijzigen.

2. Methodologie: Self-Organized Conformal Prediction (SOCP)

SOCP is een kalibratieschema dat de groepontdekking ontkoppelt van het kalibratieproces. Het maakt gebruik van een Self-Organizing Map (SOM) die ongesuperviseerd is getraind op de vaste input-representatie om de feature-ruimte te partitioneren in een eindig rooster van prototype-cellen.

Kernpipeline

Ongesuperviseerde Groepontdekking: Een SOM wordt getraind op de input-representatieruimte $\mathcal{X}$ (onafhankelijk van kalibratielabels). Dit brengt inputs in kaart naar een rooster van $K$ prototype-cellen $\{w_k\}_{k=1}^K$ .
Best-Matching Unit (BMU) Toewijzing: Voor elke input $x$ wordt de BMU bepaald als het prototype dat de afstand $\|x - w_k\|^2$ minimaliseert. Dit definieert een harde partitie van de input-ruimte.
Lokale Kalibratiebuffer Retrieval: Tijdens de testfase haalt SOCP een lokale kalibratiebuffer op op basis van de BMU $k^*$ $k^{*}$ van een query $x_{n+1}$ $x_{n + 1}$ . Drie retrieval-regimes zijn gedefinieerd:
- Regime 1 (Alleen BMU-cel): Haalt kalibratiepunten op die strikt binnen de BMU-cel $k^*$ liggen.
- Regime 2 (Vaste Topologische Nabijheid): Haalt punten op uit de BMU-cel en zijn vaste rooster-buren $N(k^*, r)$ (gedefinieerd door de Chebyshev-afstand op het rooster).
- Regime 3 (Prototype Vergroting): Haalt punten op op basis van een vaste $L$ -nearest neighbor vergroting in de prototype-ruimte.
Drempelwaarde Berekening: De conformal drempelwaarde wordt berekend als de standaard split-conformal kwantiel op de retrieved buffer in plaats van de volledige gepoolde kalibratieset. De voorspeller en de non-conformiteitsscore blijven ongewijzigd.

Statistische Garanties

Het artikel stelt finite-sample garanties vast op basis van het retrieval-regime:

Cel-Conditionele Validiteit (Regime 1): Exacte validiteit geldt conditioneel op de BMU-cel $k^*$ , mits de cel actief is (voldoende kalibratiepunten heeft).
Retrieval-Set Conditionele Validiteit (Regimes 2 & 2): Exacte validiteit geldt conditioneel op het evenement dat de testpunt's BMU binnen de specifieke retrieved set valt (bijv. $k^* \in N(k, r)$ ).
Benaderde Centrale-Cel Validiteit: Wanneer de ingezette drempelwaarde (gebaseerd op een nabijheidsbuffer) wordt geëvalueerd bij de centrale cel $k^*$ , is de dekking garantie benaderd. De afwijking van de nominale dekking wordt begrensd door een Kolmogorov-Smirnov (KS) bias term $\varepsilon_k$ , die de discrepantie meet tussen de score-distributie in de centrale cel en de mengdistributie van de retrieved nabijheid.
Split-Routed Extensie: Een extensie wordt voorgesteld waarbij een onafhankelijke "routing split" de buffer-vergroting selecteert vóór de kalibratie, waardoor exacte validiteit conditioneel op de routing split wordt hersteld.

3. Belangrijkste Bijdragen

Algoritmisch Framework: Introductie van SOCP, een model- en score-agnostische procedure die ongesuperviseerde input-ruimte groepering (via SOM) combineert met per-query lokale kalibratiebuffers. Het ondersteunt tabulaire features en beeld-embeddings zonder de onderliggende voorspeller te wijzigen.
Theoretische Garanties: Bewijs van finite-sample validiteit voor cel-alleen retrieval en fixed-retrieval-set validiteit voor nabijheidsbuffers. Het artikel kwantificeert expliciet de trade-off tussen lokale stabiliteit en distributie-mismatch via een KS-bias term voor centrale-cel dekking.
Efficiëntie: In tegenstelling tot kernel-gebaseerde localizers (zoals LCP) die $O(n_{cal})$ operaties per query vereisen, is de SOCP retrieval $O(K)$ (waarbij $K$ het aantal SOM-cellen is), wat onafhankelijk is van de grootte van de kalibratieset tijdens de testfase.
Diagnostisch Pakket: Een per-cel diagnostisch framework inclusief KS-bias kaarten, coverage hitmaps en retrieved-buffer kaarten om te identificeren of regionale fouten voortkomen uit voorspeller-fouten, schaarse kalibratie-massa of score-distributie mismatch.

4. Experimentele Resultaten

De methode werd geëvalueerd op acht benchmarks (vijf regressie, drie classificatie) waaronder Bio, Bike Sharing, California Housing, Concrete, Auto MPG, CIFAR-10, Covertype en MNIST.

Regionale Dekking: SO-SCP (SOCP met absolute residuele scores) verminderde de gewogen regionale dekking-gap (WCovGap) op 7 van de 8 datasets vergeleken met standaard Split Conformal Prediction (SCP). De gemiddelde gepaarde relatieve verandering was $-7,1\%$ .
Voorspellingsset Grootte: De reductie in de dekking-gap ging gepaard met een gemiddelde toename van de voorspellingsset-grootte van $6,2\%$ . Echter, exclusief twee datasets met beperkte kalibratiegegevens (Concrete en Auto MPG), daalde de grootte-toename naar $1,2\%$ .
Vergelijking met CQR: SO-CQR (SOCP toegepast op Conformalized Quantile Regression) toonde gemengde resultaten. Omdat CQR veel van de heterogeniteit al in de score absorbeert, waren de marginale winsten van lokale retrieval kleiner (gemiddelde WCovGap verandering $-0,3\%$ ).
Vergelijking met LCP: SOCP presteerde beter dan Localized Conformal Prediction (LCP) op het gebied van regionale uniformiteit zonder de computationele overhead van kernel-weging te introduceren. Op classificatietaken verminderde SOCP de WCovGap significant terwijl het vergelijkbare set-groottes behield als LCP.
Foutmodi: Het artikel identificeert een "sparse-buffer regime" (geobserveerd in Concrete en Auto MPG) waar kleine kalibratiesets per nabijheid leiden tot conservatieve of oneindige drempelwaarden, wat de WCovGap winsten tenietdoet.

5. Betekenis en Claims

Het artikel claimt dat SOCP een praktische mechanisme biedt voor groep-lokale kalibratie met exacte fixed-group garanties en benaderde centrale-cel garanties zonder dat daarvoor gesuperviseerde partities of voorspeller-hertraining nodig zijn.

Bescheidenheid over Claims: De auteurs stellen expliciet dat de centrale-cel validiteit benaderd is en gecontroleerd wordt door de KS-bias. Ze benadrukken dat het SOM-rooster een "vaste lokaliteitstructuur" biedt die minder expressief is dan continue kernel-weging, maar die inspecteerbaarheid en computationele efficiëntie biedt.
Diagnostische Waarde: De betekenis ligt niet alleen in de verbetering van de dekking, maar ook in het vermogen om te diagnosticeren waar en waarom regionale fouten optreden (bijv. het onderscheid tussen variantie-issues in kleine buffers en bias-issues door score-mismatches).
Beperkingen: De auteurs erkennen dat de effectiviteit afhangt van het ontwerp van de lokaliteitsmechanisme (roostergrootte, nabijheidsstraal, representatiekwaliteit). Ze merken op dat de empirische KS-kaarten diagnostische instrumenten zijn in plaats van strikte garanties, en dat de methode moeite kan hebben in regimes met extreem schaarse kalibratiegegevens per groep.

Het werk positioneert SOCP als een brug tussen volledig gepoolde kalibratie (die regionale fouten maskeert) en pointwise conditionele dekking (die theoretisch onmogelijk is zonder oninformatieve sets), biedend een afstembare, ongesuperviseerde aanpak om de betrouwbaarheid in specifieke operationele regimes te verbeteren.