📊 statistics

Minimum Volume Conformal Sets for Multivariate Regression

Deze paper introduceert een optimalisatiegedreven raamwerk voor multivariate regressie dat via een nieuwe verliesfunctie en niet-conformiteitscore geldige voorspellingssets met minimaal volume levert, waardoor zowel de voorspellingsmodellen als de onzekerheid efficiënt en nauwkeurig worden geoptimaliseerd.

Oorspronkelijke auteurs: Sacha Braun, Liviu Aolaritei, Michael I. Jordan, Francis Bach

Gepubliceerd 2026-03-19

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Sacha Braun, Liviu Aolaritei, Michael I. Jordan, Francis Bach

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een weerman bent die voorspelt of het morgen gaat regenen. In de traditionele wereld zou je zeggen: "Het regent met 80% zekerheid." Maar wat als je niet alleen wilt zeggen of het regent, maar ook hoe hard en hoe lang? En wat als je niet alleen voor één stad voorspelt, maar voor een heel land, waarbij sommige steden in een storm zitten en andere in een lichte motregen?

Dit is precies het probleem dat dit wetenschappelijke artikel aanpakt, maar dan voor computers die complexe voorspellingen doen (zoals het voorspellen van de prijs van een huis op basis van tientallen factoren, of de beweging van een robotarm).

Hier is de uitleg in gewoon Nederlands, met een paar creatieve vergelijkingen.

1. Het probleem: De "Doos" die te groot is

Stel je voor dat je een computer wilt leren om de toekomst te voorspellen. Omdat niets 100% zeker is, geven we geen enkel getal als antwoord, maar een gebied (een "voorspelset").

De oude manier: Stel je voor dat je een doos maakt om een object te verpakken. De oude methodes maakten vaak een rechthoekige doos (een supermarktkist). Ze pakten de onzekerheid in de lengte, breedte en hoogte apart in.
- Het nadeel: Als het object een schuine, ovale vorm heeft (zoals een ei), past die niet goed in de rechthoekige doos. Er zit veel "dode ruimte" in de hoeken. De doos is veel te groot, waardoor de voorspelling niet erg nuttig is.
De nieuwe uitdaging: Soms is de onzekerheid niet eens symmetrisch. Soms is het risico aan de ene kant heel groot, en aan de andere kant heel klein. Een simpele bol of doos past daar niet bij.

2. De oplossing: De "Slimme, Knielende" Doos

De auteurs van dit paper hebben een nieuwe manier bedacht om die voorspel-doos te maken. Ze noemen het Minimum Volume Conformal Sets. Laten we dat vertalen naar iets begrijpelijks:

"De slimste, strakste doos die net groot genoeg is."

In plaats van een vaste vorm (zoals een bol of een kubus) te forceren, leert hun computer de vorm zelf aan.

Vergelijking: Stel je voor dat je een pakje wilt inpakken. In plaats van een standaard doos te gebruiken, knijp je het inpakpapier precies om het object heen. Het papier past zich aan de vorm van het object aan, of het nu rond, schuin of langwerpig is.
Het doel: De computer zoekt de kleinste mogelijke ruimte die nog steeds 95% (of een ander percentage) van de waarheid omvat. Geen millimeter extra ruimte.

3. Hoe werkt het? (De drie magische trucs)

De auteurs gebruiken drie slimme technieken om dit te bereiken:

A. De Vorm Veranderen (De "Norm"-truc)

Normaal gesproken gebruiken computers een standaard meetlat (zoals een rechte lijn of een cirkel) om afstanden te meten.

De truc: Deze nieuwe methode leert de computer om de meetlat zelf te buigen.
Voorbeeld: Als de data eruitziet als een lange, dunne worst, leert de computer een "worst-vormige" meetlat. Als het eruitziet als een vierkant, leert hij een vierkante meetlat. Soms zelfs een meetlat die in de ene hoek strakker is dan in de andere. Dit heet in de paper het leren van een $p$ -norm.

B. De Doos Lokaal Aanpassen (De "Heteroskedasticiteit"-truc)

Stel je voor dat je de weersvoorspelling doet voor heel Nederland.

In de stad is het onzekerheid laag (altijd hetzelfde weer).
In de bergen is het onzekerheid hoog (snel wisselend weer).
De oude methode: Gebruikt één grote, onhandige doos voor heel Nederland (te groot voor de stad, misschien te klein voor de bergen).
De nieuwe methode: De computer leert dat hij in de stad een kleine, strakke doos moet gebruiken, en in de bergen een grotere, ruimere doos. De vorm en grootte van de doos veranderen afhankelijk van waar je bent. Dit noemen ze lokale aanpassing.

C. De "Conformale" Garantie (De "Stempel" van waarheid)

Dit is het veiligheidsnet. Omdat de computer de vorm leert, kan hij soms te optimistisch zijn en de doos te klein maken.

De oplossing: Ze gebruiken een aparte "testgroep" (een kalibratie-set). De computer kijkt naar deze testgroep en zegt: "Oké, ik heb een doos gemaakt, maar ik moet hem nog een beetje opblazen zodat hij 95% van de testcases zeker bevat."
Het resultaat: De doos is nog steeds zo klein en strak mogelijk, maar je hebt wiskundig bewezen dat hij nooit te klein is. Het is alsof je een stempel op de doos plakt met de tekst: "Garantie: Dit bevat de waarheid."

4. Waarom is dit belangrijk?

Stel je voor dat je een robot bestuurt die medicijnen moet afleveren.

Met de oude methode (de grote rechthoekige doos) zou de robot zeggen: "Ik lever het medicijn ergens in dit hele grote gebied af." Dat is niet precies genoeg; de robot zou misschien in een muur rijden om veilig te zijn.
Met de nieuwe methode (de slimme, strakke doos) zegt de robot: "Ik lever het precies hier af, in dit kleine, specifieke gebied, en ik weet zeker dat het daar terechtkomt."

Samenvattend:
De auteurs hebben een methode bedacht waarbij computers niet alleen voorspellen wat er gaat gebeuren, maar ook precies hoe onzeker ze zijn, en ze doen dit door een vormloze, slimme doos te maken die zich perfect aanpast aan de data. Het is alsof ze van een stijve kartonnen doos zijn overgestapt op slimme, knijpende verpakking die precies om het object heen past, zonder dat je ooit de garantie op de inhoud verliest.

Dit maakt voorspellingen veiliger, nauwkeuriger en veel efficiënter, of je nu de beurs voorspelt, de weersverwachting maakt of een zelfrijdende auto bestuurt.

Probleemstelling

Conformale voorspelling biedt een principieel raamwerk voor het construeren van voorspellingssets met geldigheid voor eindige steekproeven. Hoewel veel onderzoek zich richt op univariate responsvariabelen, zijn bestaande methoden voor multivariate regressie (waarbij de respons een vector is) beperkt:

Stijve geometrische aannames: Methoden zoals hyperrechthoeken (Cartesiaanse producten van marginaal intervallen) negeren afhankelijkheden tussen dimensies, wat leidt tot overconservatieve en inefficiënte sets. Ellipsoïden passen zich wel aan covariantie aan, maar veronderstellen een ellipsoïdale symmetrie die vaak niet geldt voor complexe verdelingen.
Berekeningskosten en volume: Flexibele methoden (zoals copula's of dichtheidsschattingen) zijn vaak computationally duur in hoge dimensies en leiden tot hoge schattingsvariantie. Andere methoden (zoals optimaal transport) missen vaak een expliciet criterium voor volume-minimalisatie, wat resulteert in onnodig grote voorspellingssets.

Het doel is om voorspellingssets te construeren die minimaal volume hebben, adaptief zijn aan de onderliggende data-verdeling (inclusief heteroskedasticiteit en asymmetrie), en toch garanties bieden voor de dekking (coverage) zonder sterke verdelingsaannames.

Methodologie

De auteurs introduceren een optimalisatie-gedreven raamwerk dat de voorspellingsset leert door direct het volume te minimaliseren onder een dekkingbeperking.

1. Minimum Volume Covering Sets (MVCS)

Het kernprobleem is het vinden van de set met het kleinste volume die een fractie $1-\alpha$ van een gegeven dataset in $\mathbb{R}^k$ bevat.

Norm-balls: In plaats van een vaste vorm (zoals een bol of ellipsoïde), definiëren de auteurs voorspellingssets als norm-ballen: $B(\|\cdot\|, M, \mu) = \{y \mid \|M(y-\mu)\| \leq 1\}$ .
Optimalisatie: Ze optimaliseren de centrum $\mu$ , de vormmatrix $M$ (die de schaling en rotatie bepaalt), en de norm $p$ .
Formulering: Het probleem wordt herschreven als een niet-convex optimalisatieprobleem. Voor een vaste $p$ wordt een Difference-of-Convex (DC) formulering gebruikt, opgelost met het DC-algoritme (DCA). Dit balanceert het minimaliseren van het volume (via $\det(M)$ ) met het voldoen aan de dekking (via de $r$ -de grootste niet-conformiteitsscore).
Leren van $p$ : Een unieke bijdrage is het gezamenlijk optimaliseren van de parameter $p \in (0, \infty)$ . Dit laat de set toe om de geometrie van de data te volgen (bijv. $p < 2$ voor langwerpige, anisotrope vormen; $p \to \infty$ voor rechthoekige vormen).
Multi-norm: Voor nog meer flexibiliteit wordt het raamwerk uitgebreid naar multi-norm sets, waarbij het ruimte wordt opgedeeld in regio's, elk met een eigen optimale $p$ -norm. Dit vangt lokale asymmetrieën op.

2. Supervised Learning en Local Adaptivity

Het raamwerk wordt toegepast op regressie door de sets te baseren op residuen ( $y - f_\theta(x)$ ).

Gezamenlijke optimalisatie: De auteurs leren de voorspellingsfunctie $f_\theta$ en de onzekerheidsset (de MVCS parameters) gelijktijdig. Dit zorgt ervoor dat de predictor zich aanpast aan het criterium van minimaal volume, wat leidt tot strakkere sets.
Lokale adaptiviteit: In plaats van één globale transformatie voor alle $x$ , leren ze een covariaat-afhankelijke transformatie $M(x)$ . Dit stelt de methode in staat om heteroskedasticiteit (variatie in onzekerheid afhankelijk van de invoer) effectief te modelleren.

3. Conformalisatie

Om de garantie voor eindige steekproeven te waarborgen, integreren ze het MVCS-raamwerk met gesplitste conformale voorspelling:

Een deel van de data wordt gebruikt om het model en de MVCS te trainen.
Een apart kalibratie-set wordt gebruikt om een drempelwaarde (quantiel) te bepalen die de grootte van de sets schaalt.
Dit garandeert dat de uiteindelijke set $C(X)$ de waarheid bevat met waarschijnlijkheid $\geq 1-\alpha$ , ongeacht de onderliggende verdeling.

Kernbijdragen

MVCS Framework: Een algemeen optimalisatie-raamwerk voor het construeren van sets met minimaal volume in $\mathbb{R}^k$ , dat werkt met willekeurige normen en data-gedreven $p$ -waarden.
Gezamenlijk Leren: Een geïntegreerde optimalisatie voor de predictor en de onzekerheidsset, wat resulteert in strakkere en beter gealigneerde voorspellingssets dan post-hoc methoden.
Flexibele Geometrie: De mogelijkheid om $p$ te leren en multi-norm sets te gebruiken, waardoor de methode zich aanpast aan complexe, niet-ellipsoïdale en asymmetrische residu-verdelingen.
Efficiëntie en Geldigheid: De methode is computationeel efficiënt (gebruikmakend van first-order optimalisatie en convex relaxaties) en biedt strikte dekkinggaranties via conformalisatie.

Resultaten

De auteurs evalueren hun methode op zowel synthetische als real-world datasets:

Synthetische Data: In scenario's met variërende ruisverdelingen (Gaussisch vs. Exponentieel) en heteroskedasticiteit, levert de MVCS-methode kleinere gemiddelde volumes op dan baselines zoals Naïve Quantile Regression, Empirische Covariantie en Lokale Empirische Covariantie, terwijl de dekking (coverage) binnen de vereiste grenzen blijft.
Robuustheid: De methode toont zich robuust tegen uitbijters (outliers), in tegenstelling tot quantile-regressie methoden die gevoelig zijn voor extreme waarden.
Real-world Data: Op negen benchmark datasets (o.a. Energy, House, Taxi) presteert de MVCS-methode consistent beter in termen van genormaliseerd volume (de sets zijn kleiner) terwijl de dekking wordt behouden. In 16 van de 18 experimenten werd het beste gemiddelde volume bereikt.
Visualisatie: De figuren tonen aan dat de geleerde sets de vorm van de data volgen (bijv. langwerpige vormen voor anisotrope data), terwijl traditionele methoden vaak te rond of te rechthoekig zijn.

Significantie

Dit paper biedt een doorbraak in multivariate onzekerheidskwantificering door de twee vaak tegenstrijdige doelen efficiëntie (klein volume) en validiteit (dekking) te verenigen.

Het lost het probleem op van "over-conservatisme" bij multivariate voorspelling door de geometrie van de voorspellingsset dynamisch te laten leren in plaats van deze vooraf te definiëren.
Het introduceert een nieuwe niet-conformiteitsscore die adaptief is aan zowel de residu-verdeling als de covariaten.
De methode is schaalbaar en toepasbaar in complexe, real-world scenario's waar de onzekerheid niet uniform is, wat het een krachtig instrument maakt voor risicomanagement en betrouwbare AI-systemen.