Conformal Calibration for Multi-Modal Regression with Missing Modalities

Technische Zusammenfassung: Konforme Kalibrierung für multimodale Regression mit fehlenden Modalitäten

Problemstellung
Multimodale Regressionssysteme, die diverse Eingabequellen wie tabellarische Daten, Text und Bilder integrieren, stehen vor erheblichen Herausforderungen bei der Generierung zuverlässiger Unsicherheitsschätzungen. Während die Fusion dieser Quellen oft die Genauigkeit der Punktprognose verbessert, verlassen sich Standardmethoden der konformen Prädiktion typischerweise auf ein einzelnes globales Quantil zur Konstruktion von Vorhersageintervallen. Dieser globale Ansatz mittelt über verschiedene Regime der Eingangsdaten hinweg und berücksichtigt dabei nicht systematische Unterschiede in der Intervallzuverlässigkeit, wenn Modalitäten übereinstimmen, im Konflikt stehen oder wenn spezifische Modalitäten zum Testzeitpunkt fehlen. Folglich kann ein einzelnes marginales Bedeckungsgarant (Coverage) eine Unterdeckung in schwierigen Subgruppen (z. B. bei hoher Diskrepanz oder fehlenden Daten) maskieren und in einfachen Fällen zu ineffizient sein. Die Arbeit adressiert die Notwendigkeit einer Kalibrierungsschicht, die die Intervallbreite basierend auf dem beobachteten Modalitätsmuster und der Diskrepanz zwischen den Quellen anpasst und dabei rigorose Garantien für die Abdeckung in endlichen Stichproben aufrechterhält.

Methodik
Die vorgeschlagene Methode führt eine modalitätsbewusste konforme Kalibrierungsschicht ein, die um einen festen Basisprädiktor und eine Menge von quellspezifischen Hilfsprädiktoren operiert. Der Kernmechanismus umfasst zwei komplementäre Strategien, die durch einen Diskrepanz-Score (Disagreement Score) und die Modalitätsverfügbarkeit gesteuert werden:

1. Konstruktion des Diskrepanz-Scores:
   Für jedes Beispiel $x$ generieren die prädiktiven Modelle pro Quelle $g_k$ Vorhersagen $\hat{y}_k$ aus den jeweiligen Quellblöcken $x^{(k)}$. Der Diskrepanz-Score $d(x)$ ist definiert als die Standardabweichung dieser quellspezifischen Vorhersagen:
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   wobei $A(x)$ die Menge der verfügbaren Quellen ist. Wenn nur eine Quelle verfügbar ist, gilt $d(x)=0$.

2. Diskrepanz-skalierte Kalibrierung (Kontinuierlicher Ansatz):
   Diese Methode reallokiert die Intervallbreite kontinuierlich basierend auf dem Diskrepanz-Score. Eine Skalierungsfunktion $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ wird auf die Conformalized Quantile Regression (CQR) Scores angewendet. Der Parameter $\gamma$ wird auf einem Tuning-Split ausgewählt und vor der Kalibrierung fixiert.

   • Mechanismus: Der Nicht-Konformitäts-Score wird normalisiert: $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Effekt: Hohe Diskrepanz führt zu einem größeren Skalierungsfaktor, was das Intervall verbreitert; niedrige Diskrepanz verengt es.
   • Garantie: Dies bewahrt die Standard-Marginal-Split-Conformal-Bedeckung ($1-\alpha$), unter der Bedingung, dass die Skalierungsregel vor der Kalibrierung festgelegt wurde.

3. Mondrian-Kalibrierung (Stratifizierte Kalibrierung) (Diskreter Ansatz):
   Diese Methode konstruiert separate Kalibrierungsquantile für vordefinierte Strata, die entweder durch den Diskrepanz-Score (gebinnt) oder durch Modalitätsverfügbarkeits-Regime (z. B. „Text fehlt“, „Bild fehlt“) definiert sind.

   • Mechanismus: Der Kalibrierungsdatensatz wird in Strata $h$ partitioniert. Ein distinktes Quantil $\hat{q}_h$ wird für jedes Stratum berechnet.
   • Garantie: Dies bietet Garantien für die bedingte Bedeckung (Conditional Coverage) in endlichen Strata, vorausgesetzt, die Stratum-Definition ist vor der Kalibrierung festgelegt und die Kalibrierungs- sowie Testbeispiele sind unter der Bedingung der Prä-Kalibrierungs-Daten austauschbar.

4. Umgang mit fehlenden Modalitäten:
   Das Framework behandelt fehlende Modalitäten explizit durch die Definition von „Regime“-Strata. In Stresstests wird eine „Masken-angepasste Rekalibrierung“ (mask-matched recalibration) verwendet, bei der die Kalibrierungsbeispiele mit derselben Maske für fehlende Werte transformiert werden wie die Testbeispiele. Dies ermöglicht es dem System, die Bedeckung für spezifische Regime mit fehlenden Daten wiederherzustellen, ohne Vorhersagen für abwesende Quellen erfinden zu müssen.

Zentrale Beiträge
Die Arbeit leistet vier primäre Beiträge:

1. Definition eines Diskrepanz-Scores: Sie definiert einen modellagnostischen Diskrepanz-Score, der aus den prädiktiven Regressionswerten pro Quelle abgeleitet wird und als Kalibrierungs-Kovariate dient, die vor der Berechnung der konformen Scores konstruiert wird.
2. Diskrepanz-skalierte CQR: Sie integriert diesen Score in eine normalisierte Split-Conformal-CQR-Methode, wählt einen Skalierungsfaktor für die Quellendiskrepanz vor der Kalibrierung aus und legt die genauen Split-Bedingungen für die Validität fest.
3. Mondrian-Konstruktion: Sie liefert eine formale Konstruktion für die Bedeckung innerhalb vordefinierter Strata basierend auf der Modalitätsverfügbarkeit oder Diskrepanzniveaus.
4. Umfassende Evaluierung: Die Methode wird über vier multimodale Datensätze (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) unter Verwendung verschiedener Basisprädiktoren (XGBoost Punkt-/Quantilsregression, SEMF-Ensembles) evaluiert und enthält zudem Stresstests mit fehlenden Modalitäten.

Experimentelle Ergebnisse

• Effizienz und Bedeckung: Über 60 Paar-Läufe (4 Datensätze $\times$ 3 Prädiktoren $\times$ 5 Seeds) hinweg erreichte die diskrepanz-skalierte Methode in 59 von 60 Fällen eine Verbesserung oder Angleichung an die marginale konforme Baseline hinsichtlich des Interval-CRPS (Continuous Ranked Probability Score) und in 52 von 60 Fällen hinsichtlich der Intervallbreite. Die empirische Bedeckung blieb nahe am 95%-Ziel (0,949 vs. 0,949).
• Diskrepanz-Regime: Die Methode verengt erfolgreich die Intervalle für Beispiele mit geringer Diskrepanz und verbreitert sie für Beispiele mit hoher Diskrepanz, wodurch die Unterdeckung korrigiert wird, die unter Standard-Marginal-Kalibrierung in High-Discrepancy-Bins beobachtet wurde.
• Fehlende Modalitäten: In Stresstests mit fehlenden Modalitäten stellte die „Masken-angepasste Rekalibrierung“ (ein Spezialfall der Mondrian-Kalibrierung) die Bedeckung signifikant wieder her. Im anspruchsvollsten Fixed-Mask-Regime (IMDB-WIKI mit nur tabularen Daten) wurde die Bedeckung um 19,5 Prozentpunkte wiederhergestellt (von 0,758 auf 0,953), wenngleich dies mit einer entsprechenden Zunahme der Intervallbreite (125 %) einherging.
• Robustheit: Die Ergebnisse hielten über verschiedene Basisprädiktoren hinweg stand, einschließlich Gradient-Boosted Trees und Monte-Carlo-Ensembles, die aus SEMF-Decodern abgeleitet wurden.

Bedeutung und Ansprüche
Die Arbeit beansprucht, eine einfache, modellagnostische Zuverlässigkeitsschicht für multimodale Regressionssysteme bereitzustellen. Ihre Bedeutung liegt in:

• Entkopplung von Kalibrierung und Fusion: Die Schicht arbeitet mit jedem festen Basisprädiktor (Baum, Neural Network, Ensemble) und erfordert kein erneutes Training des Fusionsmodells.
• Adaptive Unsicherheit: Sie geht über ein „Einheitsmaß“ für globale Quantile hinaus, indem sie die Unsicherheitsschätzung so anpasst, dass sie das spezifische Zuverlässigkeitsniveau des Eingangsregimes (Übereinstimmung vs. Konflikt vs. Fehlstellen) widerspiegelt.
• Rigide Garantien: Im Gegensatz zu heuristischen Anpassungen wahrt die Methode strikte Garantien für die endliche Stichproben-Bedeckung (marginal oder bedingt), indem sie ein striktes Split-Protokoll einhält, bei dem alle datengesteuerten Entscheidungen (einschließlich des Diskrepanz-Skalierungsfaktors und der Stratum-Definitionen) vor dem Kalibrierungsschritt festgelegt werden.
• Praktischer Nutzen: Sie bietet eine praktische Lösung für bereitgestellte Modelle, bei denen die Verfügbarkeit von Modalitäten dynamisch ist, und stellt sicher, dass die Unsicherheitsschätzungen auch dann gültig bleiben, wenn sich die Eingangsverteilung verschiebt (z. B. durch fehlende Sensoren oder korrupten Text).

Der Autor bleibt bescheiden und merkt an, dass die Garantien auf der strikten Trennung von Fitting-, Tuning- und Kalibrierungsdaten beruhen und dass der skalare Diskrepanz-Score alle Quellen gleich behandelt, wodurch potenzielle Kreuz-Modalitäts-Abhängigkeiten oder Unterschiede in der Quellzuverlässigkeit unberücksichtigt bleiben könnten. Die Methode wird als Wrapper zur Verbesserung bestehender Systeme präsentiert und nicht als neue Fusionsarchitektur.