Conformal Calibration for Multi-Modal Regression with Missing Modalities

Résumé Technique : Étalonnage Conforme pour la Régression Multi-Modale avec Modalités Manquantes

Énoncé du Problème
Les systèmes de régression multi-modaux, qui intègrent diverses sources d'entrée telles que des données tabulaires, du texte et des images, sont confrontés à des défis importants pour générer des estimations d'incertitude fiables. Bien que la fusion de ces sources améliore souvent la précision des prédictions ponctuelles, les méthodes de prédiction conforme standard s'appuient généralement sur un quantile global unique pour construire des intervalles de prédiction. Cette approche globale effectue une moyenne à travers différents régimes de données d'entrée, échouant à rendre compte des différences systématiques de fiabilité des intervalles lorsque les modalités concordent, entrent en conflit ou lorsqu'une modalité spécifique est absente au moment du test. Par conséquent, une garantie de couverture marginale unique peut masquer un sous-étalonnage dans des sous-groupes difficiles (ex: fort désaccord ou données manquantes) et une inefficacité dans les cas faciles. L'article traite de la nécessité d'une couche d'étalonnage capable d'adapter la largeur de l'intervalle en fonction du motif de modalité observé et du désaccord entre les sources, tout en maintenant des garanties de couverture rigoureuses pour des échantillons finis.

Méthodologie
La méthode proposée introduit une couche d'étalonnage conforme sensible aux modalités qui opère autour d'un prédicteur de base fixe et d'un ensemble de prédicteurs auxiliaires par source. Le mécanisme central repose sur deux stratégies complémentaires pilotées par un score de désaccord et la disponibilité des modalités :

1. Construction du Score de Désaccord :
   Pour chaque exemple $x$, des prédicteurs par source $g_k$ génèrent des prédictions $\hat{y}_k$ à partir de leurs blocs de sources respectifs $x^{(k)}$. Le score de désaccord $d(x)$ est défini comme l'écart-type de ces prédictions par source :
   $$d(x) = \left( \frac{1}{K_x} \sum_{k \in A(x)} (g_k(x^{(k)}) - \bar{g}_{A(x)})^2 \right)^{1/2}$$
   où $A(x)$ est l'ensemble des sources disponibles. Si une seule source est disponible, $d(x)=0$.

2. Étalonnage par Mise à l'Échelle du Désaccord (Approche Continue) :
   Cette méthode réalloue la largeur de l'intervalle de manière continue en fonction du score de désaccord. Une fonction de mise à l'échelle $a_\gamma(x) = \sqrt{1 + \gamma d(x)^2}$ est appliquée aux scores de la Régression de Quantile Conforme (CQR). Le paramètre $\gamma$ est sélectionné sur un échantillon de réglage (tuning split) et fixé avant l'étalonnage.

   • Mécanisme : Le score de non-conformité est normalisé : $s_i = \max\{e_i, 0\} / a_\gamma(X_i)$.
   • Effet : Un désaccord élevé entraîne un facteur de mise à l'échelle plus grand, élargissant l'intervalle ; un faible désaccord le rétrécit.
   • Garantie : Cela préserve la garantie de couverture standard de type split-conformal ($1-\alpha$) sous la condition que la règle de mise à l'échelle soit fixée avant l'étalonnage.

3. Étalonnage Mondrian (Stratifié) (Approche Discrète) :
   Cette méthode construit des quantiles de calibration distincts pour des strates pré-spécifiées définies soit par le score de désaccord (par classes), soit par des régimes de disponibilité de modalités (ex: "texte manquant", "image manquante").

   • Mécanisme : L'ensemble de calibration est partitionné en strates $h$. Un quantile distinct $\hat{q}_h$ est calculé pour chaque strate.
   • Garantie : Cela fournit des garanties de couverture conditionnelle pour des strates finies, à condition que la définition de la strate soit fixée avant l'étalonnage et que les exemples de calibration et de test soient conjointement échangeables conditionnellement aux données de pré-étalonnage.

4. Gestion des Modalités Manquantes :
   Le cadre gère explicitement les modalités manquantes en définissant des strates de "régime". Lors des tests de stress, un "ré-étalonnage par correspondance de masque" (mask-matched recalibration) est utilisé où les exemples de calibration sont transformés en utilisant le même masque d'absence que les exemples de test. Cela permet au système de récupérer la couverture pour des régimes spécifiques de données manquantes sans inventer de prédictions pour les sources absentes.

Contributions Clés
L'article présente quatre contributions principales :

1. Définition d'un Score de Désaccord : Il définit un score de désaccord agnostique au modèle, dérivé des prédictions de régression par source, servant de covariable d'étalonnage construite avant le calcul des scores conformes.
2. CQR par Mise à l'Échelle du Désaccord : Il intègre ce score dans une méthode CQR split-conforme normalisée, sélectionnant une échelle de désaccord de source avant l'étalonnage et énonçant les conditions de split exactes requises pour la validité.
3. Construction Mondrian : Il fournit une construction formelle pour la couverture au sein de strates pré-spécifiées basées sur la disponibilité des modalités ou les niveaux de désaccord.
4. Évaluation Complète : La méthode est évaluée sur quatre jeux de données multi-modaux (Swiss Real Estate, Mercari, Pawpularity, IMDB-WIKI) en utilisant divers prédicteurs de base (XGBoost point/quantile, ensembles SEMF) et inclut des tests de stress avec des modalités manquantes.

Résultats Expérimentaux

• Efficacité et Couverture : À travers 60 exécutions appariées (4 jeux de données $\times$ 3 prédicteurs $\times$ 5 graines), la méthode de mise à l'échelle du désaccord égale ou améliore la référence conforme marginale dans 59 cas sur 60 pour l'Interval CRPS et dans 52 cas sur 60 pour la largeur d'intervalle. La couverture empirique reste proche de la cible de 95 % (0,949 contre 0,949).
• Régimes de Désaccord : La méthode parvient à rétrécir les intervalles pour les exemples à faible désaccord et à les élargir pour les exemples à fort désaccord, corrigeant le sous-étalonnage observé dans les classes à fort désaccord sous l'étalonnage marginal standard.
• Modalités Manquantes : Dans les tests de stress avec des modalités manquantes, le "ré-étalonnage par correspondance de masque" (un cas particulier de l'étalonnage Mondrian) a significativement récupéré la couverture. Dans le régime de masque fixe le plus difficile (IMDB-WIKI avec uniquement des données tabulaires), la couverture a été récupérée de 19,5 points de pourcentage (de 0,758 à 0,953), bien qu'avec une augmentation correspondante de la largeur de l'intervalle (125 %).
• Robustesse : Les résultats se sont maintenus à travers différents prédicteurs de base, incluant les arbres boostés par gradient et les ensembles de Monte Carlo dérivés de décodeurs SEMF.

Signification et Revendications
L'article prétend fournir une couche de fiabilité simple et agnostique au modèle pour les systèmes de régression multi-modaux. Sa signification réside dans :

• Découplage de la Fusion de l'Étalonnage : La couche fonctionne avec n'importe quel prédicteur de base fixe (arbre, réseau neuronal, ensemble) et ne nécessite pas de réentraînement du modèle de fusion.
• Incertitude Adaptative : Elle va au-delà d'un quantile global "taille unique", permettant à l'estimation de l'incertitude de refléter la fiabilité spécifique du régime d'entrée (accord vs conflit vs absence).
• Garanties Rigoureuses : Contrairement aux ajustements heuristiques, la méthode maintient des garanties de couverture strictes pour échantillons finis (marginale ou conditionnelle) en respectant un protocole de split strict où tous les choix basés sur les données (y compris l'échelle de désaccord et les définitions de strates) sont fixés avant l'étape d'étalonnage.
• Utilité Pratique : Elle offre une solution pratique pour les modèles déployés où la disponibilité des modalités est dynamique, garantissant que les estimations d'incertitude restent valides même lorsque la distribution des entrées change (ex: capteurs manquants ou texte corrompu).

L'auteur reste modeste, notant que les garanties reposent sur la séparation stricte des données d'ajustement (fitting), de réglage (tuning) et d'étalonnage, et que le score de désaccord scalaire traite toutes les sources de manière égale, pouvant manquer les dépendances inter-modales ou les différences de fiabilité des sources. La méthode est présentée comme un "wrapper" pour améliorer les systèmes existants plutôt que comme une nouvelle architecture de fusion.