Conformal Calibration for Multi-Modal Regression with Missing Modalities

Technische Samenvatting: Conforme Kalibratie voor Multi-Modale Regressie met Ontbrekende Modaliteiten

Probleemstelling
Multi-modale regressiesystemen, die diverse inputbronnen integreren zoals tabelgegevens, tekst en afbeeldingen, worden geconfronteerd met aanzienlijke uitdagingen bij het genereren van betrouwbare onzekerheidsschattingen. Hoewel het fuseren van deze bronnen vaak de nauwkeurigheid van puntvoorspellingen verbetert, vertrouwen standaard methoden voor conforme voorspelling doorgaans op een enkele globale kwantiel om voorspellingsintervallen te construeren. Deze globale aanpak middelt over verschillende regimes van inputgegevens, waardoor het geen rekening houdt met systematische verschillen in de betrouwbaarheid van intervallen wanneer modaliteiten overeenstemmen, conflicteren of wanneer specifieke modaliteiten tijdens de testfase ontbreken. Bijgevolg kan een enkele marginale dekking de onderdekking in moeilijke subgroepen (bijv. hoge onenigheid of ontbrekende gegevens) maskeren en in eenvoudige gevallen inefficiëntie veroorzaken. Het artikel adresseert de behoefte aan een kalibratielaag die de intervalbreedte aanpast op basis van het geobserveerde modaliteitspatroon en de onenigheid tussen bronnen, terwijl strikte dekkinggaranties met een eindig aantal monsters behouden blijven.

Methodologie
De voorgestelde methode introduceert een modaliteitsbewuste conforme kalibratielaag die opereert rond een vaste basisvoorspeller en een set hulpvoorspellers per bron. De kernmechanisme bestaat uit twee complementaire strategieën die worden gedreven door een onenigheidsscore (disagreement score) en modaliteitsbeschikbaarheid:

1. Constructie van de Onenigheidsscore:
   Voor elk voorbeeld $x$ genereren per-bron voorspellers $g_k$ voorspellingen $\hat{y}_k$ vanuit hun respectieve bronblokken $x^{(k)}$. De onenigheidsscore $d(x)$ wordt gedefinieerd als de standaarddeviatie van deze per-bron voorspellingen:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   waarbij $A(x)$ de verzameling van beschikbare bronnen is. Als slechts één bron beschikbaar is, is $d(x)=0$.

2. Onenigheid-geschaalde Kalibratie (Continue Aanpak):
   Deze methode herverdeelt de intervalbreedte continu op basis van de onenigheidsscore. Een schalfunctie $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ wordt toegepast op de Conformalized Quantile Regression (CQR) scores. De parameter $\gamma$ wordt geselecteerd op een tuning-split en vastgesteld vóór de kalibratie.

   • Mechanisme: De non-conformiteitsscore wordt genormaliseerd: $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Effect: Hoge onenigheid leidt tot een grotere schalfactor, waardoor het interval breder wordt; lage onenigheid maakt het interval smaller.
   • Garantie: Dit behoudt de standaard marginale split-conforme dekkinggarantie ($1-\alpha$) onder de voorwaarde dat de schalfunctie vóór de kalibratie is vastgesteld.

3. Mondrian (Gestratificeerde) Kalibratie (Discrete Aanpak):
   Deze methode construeert afzonderlijke kalibratiekwantielen voor vooraf gespecificeerde strata die worden gedefinieerd door ofwel de onenigheidsscore (gebinnd) of de modaliteitsbeschikbaarheidsregimes (bijv. "tekst ontbrekend", "afbeelding ontbrekend").

   • Mechanisme: De kalibratieset wordt gepartitioneerd in strata $h$. Een afzonderlijk kwantiel $\hat{q}_h$ wordt berekend voor elk stratum.
   • Garantie: Dit biedt garanties voor eindige-stratum conditionele dekking, mits de stratumdefinitie vóór de kalibratie is vastgesteld en de kalibratie- en testvoorbeelden gezamenlijk verwisselbaar zijn, geconditioneerd op de pre-kalibratiegegevens.

4. Afhandeling van Ontbrekende Modaliteiten:
   Het framework behandelt ontbrekende modaliteiten expliciet door "regime"-strata te definiëren. In stress-tests wordt een "mask-matched" herkalibratie gebruikt waarbij de kalibratievoorbeelden worden getransformeerd met dezelfde missingness-masker als de testvoorbeelden. Dit stelt het systeem in staat om de dekking voor specifieke regimes met ontbrekende gegevens te herstellen zonder voorspellingen te verzinnen voor afwezige bronnen.

Belangrijkste Bijdragen
Het artikel levert vier primaire bijdragen:

1. Definitie van een Onenigheidsscore: Het definieert een model-agnostische onenigheidsscore afgeleid van per-bron regressievoorspellingen, die dient als een conforme covariant geconstrueerd voordat de conforme scores worden berekend.
2. Onenigheid-geschaalde CQR: Het integreert deze score in een genormaliseerde split-conforme CQR-methode, waarbij een bron-onenigheidsschaal wordt gekozen vóór de kalibratie en de exacte split-condities voor validiteit worden gesteld.
3. Mondrian Constructie: Het biedt een formele constructie voor dekking binnen vooraf gespecificeerde strata gebaseerd op modaliteitsbeschikbaarheid of onenigheidsniveaus.
4. Uitgebreide Evaluatie: De methode wordt geëvalueerd over vier multi-modale datasets (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) met behulp van diverse basisvoorspellers (XGBoost punt/kwantiel, SEMF ensembles) en bevat stress-tests met ontbrekende modaliteiten.

Experimentele Resultaten

• Efficiëntie en Dekking: Over 60 gepaarde runs (4 datasets $\times$ 3 voorspellers $\times$ 5 seeds) behaalde de onenigheid-geschaalde methode in 59 van de 60 gevallen een verbetering of gelijkwaardigheid aan de marginale conforme baseline voor de Interval Continuous Ranked Probability Score (CRPS) en in 52 van de 60 gevallen voor de intervalbreedte. De empirische dekking bleef nabij de 95% doelstelling (0.949 vs. 0.949).
• Onenigheidsregimes: De methode slaagt erin de intervallen te vernauwen voor voorbeelden met lage onenigheid en te verbreden voor voorbeelden met hoge onenigheid, waardoor de onderdekking die wordt waargenomen in bins met hoge onenigheid onder standaard marginale kalibratie wordt gecorrigeerd.
• Ontbrekende Modaliteiten: In stress-tests met ontbrekende modaliteiten heeft de "mask-matched recalibration" (een speciaal geval van Mondrian-kalibratie) de dekking aanzienlijk hersteld. In het meest uitdagende vaste-masker-regime (IMDB-WIKI met alleen tabelgegevens) werd de dekking hersteld met 19,5 procentpunt (van 0.758 naar 0.953), zij het met een corresponderende toename in intervalbreedte (125%).
• Robuustheid: De resultaten bleven standhouden over verschillende basisvoorspellers, inclus_ief gradient-boosted trees en Monte Carlo ensembles afgeleid van SEMF-decoders.

Betekenis en Claims
Het artikel claimt een eenvoudige, model-agnostische betrouwbaarheidslaag te bieden voor multi-modale regressiesystemen. De betekenis ligt in:

• Ontkoppeling van Kalibratie en Fusie: De laag werkt met elke vaste basisvoorspeller (boom, neuraal netwerk, ensemble) en vereist geen hertraining van het fusiemodel.
• Adaptieve Onzekerheid: Het gaat verder dan een "one-size-fits-all" globale kwantiel, waardoor de onzekerheidsschatting de specifieke betrouwbaarheid van de input-regime (overeenstemming vs. conflict vs. ontbrekende gegevens) kan reflecteren.
• Strikte Garanties: In tegen tegenover heuristische aanpassingen handhaaft de methode strikte eindige-monster dekkinggaranties (marginaal of conditioneel) door een strikt split-protocol te volgen waarbij alle data-gestuurde keuzes (inclusief de onenigheidsschaal en de stratumdefinities) vóór de kalibratiestap worden vastgelegd.
• Praktisch Nut: Het biedt een praktische oplossing voor uitgerolde modellen waarbij de beschikbaarheid van modaliteiten dynamisch is, waardoor onzekerheidsschattingen geldig blijven zelfs wanneer de inputdistributie verschuift (bijv. ontbrekende sensoren of gecorrumpeerde tekst).

De auteur blijft bescheiden en merkt op dat de garanties rusten op de strikte scheiding van fitting-, tuning- en kalibratiegegevens, en dat de scalaire onenigheidsscore alle bronnen gelijk behandelt, wat potentieel cross-modale afhankelijkheden of verschillen in bronbetrouwbaarheid over het hoofd ziet. De methode wordt gepresenteerd als een wrapper om bestaande systemen te verbeteren in plaats van een nieuwe fusie-architectuur.