Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

Résumé Technique : Repenser l'Incomplétude dans l'IMVC

Définition du Problème
Le partitionnement de données multi-vues incomplet (Incomplete Multi-View Clustering - IMVC) traite le défi du partitionnement de données où les vues (modalités) sont manquantes pour certains sous-ensembles d'échantillons. Le paradigme dominant dans la recherche actuelle en IMVC repose sur la reconstruction inter-vues, où les vues manquantes sont récupérées en utilisant des échantillons complets comme supervision. Cependant, l'article identifie deux failles critiques dans l'évaluation et la compréhension théorique actuelle de ces méthodes :

1. Le Piège du Réentraînement par Configuration : Les méthodes existantes sont généralement évaluées en réentraînant un modèle distinct pour chaque combinaison spécifique de protocole de données manquantes et de taux de données manquantes. Cette approche est prohibitive sur le plan computationnel pour un déploiement en conditions réelles, où les distributions de données manquantes sont souvent non stationnaires ou inconnues.
2. Divergence d'Incomplétude : L'article soutient que le « taux de données manquantes nominal » ($r$) est une métrique insuffisante pour caractériser l'incomplétude des données. Différents protocoles d'évaluation avec un même $r$ nominal peuvent entraîner des proportions radicalement différentes d'échantillons entièrement observés ($p_c$). Les auteurs formalisent cela comme une divergence d'incomplétude, démontrant que les protocoles peuvent différer jusqu'à un facteur de 50$\times$ concernant $p_c$ pour un même taux nominal.

Perspectives Théoriques : La Limite de Trainabilité
Les auteurs prouvent que pour la large classe de méthodes basées sur la reconstruction (Classe 1, notée $\mathcal{F}_{rec}$), l'apprentissage devient structurellement mal posé lorsque la proportion d'échantillons complets ($p_c$) tombe en dessous d'un seuil critique (spécifiquement, lorsque $p_c \to 0$).

• Mécanisme : Les pertes de reconstruction tirent la supervision principalement de la cooccurrence inter-vues au sein d'un même échantillon. Si un échantillon possède moins de deux vues, il ne contribue à aucun signal de gradient à l'objectif de reconstruction.
• Conséquence : À mesure que $p_c$ diminue, le signal de gradient attendu s'estompe. L'article prouve que pour les protocoles où $p_c \to 0$, le déplacement de paramètre attendu est borné par des termes proportionnels à $p_c$, conduisant à une précision de partitionnement quasi aléatoire, quel que soit le réglage des hyperparamètres. Cet effondrement est une propriété structurelle de la famille de fonctions de perte, et non un artefact de réglage.
• Distinction : L'article distingue l'échec de trainabilité (le signal de gradient s'estompe en raison d'un faible $p_c$, affectant $\mathcal{F}_{rec}$) de l'échec de capacité (limites informationnelles où les vues observées manquent simplement d'informations suffisantes sur les étiquettes de clusters, affectant toutes les méthodes).

Méthodologie : CRAFT
Pour contourner la limite de trainabilité, les auteurs proposent CRAFT (Complete-data Robust Attention-masked Fusion Transformer). CRAFTS est conçu pour satisfaire deux conditions structurelles qui permettent à un modèle unique, entraîné sur des données complètes, de se généraliser à n'importe quel schéma de données manquantes lors de l'inférence :

1. Indépendance par Échantillon (C1) : La représentation pour l'échantillon $i$ est calculée uniquement à partir de ses propres vues observées et de paramètres partagés. Elle ne dépend pas des schémas d'observation des autres échantillons ou de la cooccurrence entre échantillons.
2. Fusion de Longueur Variable Sensible au Masque (C2) : Les vues manquantes sont exclues du calcul interne via un masquage d'attention plutôt que par un remplissage de zéros (zero-padding) ou une hallucination. Cela garantit que les vues manquantes contribuent exactement à zéro à la représentation fusionnée, évitant ainsi l'injection de bruit ou de signaux invalides.

Détails de l'Architecture :

• Encodage par Vue : Des MLP spécifiques à chaque vue projettent chaque vue dans un espace d'incorporation (embedding) partagé.
• Fusion par Transformer : Un encodeur Transformer traite la séquence des incorporations de vues (plus un jeton [CLS] apprenable). Lors de l'inférence, un masque de remplissage de clé (key-padding mask) définit les logits d'attention à $-\infty$ pour les vues manquantes, les supprimant efficacement du mécanisme d'attention.
• Entraînement en Deux Étapes sur Données Complètes :
  • Étape 1 : Apprend les représentations en utilisant une perte de reconstruction par vue et une perte de cohérence inter-vues (de type SimSiam) sur les échantillons complets.
  • Étape 2 : Affine la tête de partitionnement en utilisant une entropie croisée auto-étiquetée, une régularisation d'entropie, et un ajustement optionnel par masquage (Masked Fine-Tuning - MFT) pour aligner la distribution d'entraînement avec les schémas de données manquantes lors de l'inférence.

Contributions Clés

1. Formalisation de la Divergence d'Incomplétude : Introduction du taux de données manquantes effectif ($\hat{r}$) et de la proportion d'échantillons complets ($p_c$) comme des variables causales distinctes, révélant que les protocoles standards occultent les risques de trainabilité des méthodes basées sur la reconstruction.
2. Preuve Théorique de l'Effondrement : Preuve rigoureuse que l'apprentissage basé sur la reconstruction est structurellement borné par $p_c$, expliquant pourquoi les méthodes existantes échouent dans les régimes de données éparses (où $p_c < 1\%$).
3. Architecture CRAFT : Un cadre basé sur les Transformers qui atteint un partitionnement IMVC robuste grâce à la conception architecturale (C1 et C2) plutôt qu'à l'ingénierie des fonctions de perte, permettant un paradigme « Entraîner une fois, Déployer partout ».
4. Validation Empirique : Expérimentations approfondies sur sept benchmarks (incluant CUB, HandWritten, MultiFashion et YTF-31) à travers quatre protocoles d'évaluation distincts.

Résultats

• Effondrement des Baselines : Les baselines standards $\mathcal{F}_{rec}$ (ex: COMPLETER, DCP, DCG, HSACC) s'effondrent uniformément vers une précision quasi aléatoire (souvent $<40\%$) lorsqu'elles sont évaluées sous des protocoles stricts où $p_c \to 0$, même si le taux de données manquantes nominal est modéré.
• Performance de CRAFT : Un seul point de contrôle (checkpoint) de CRAFT, entraîné une seule fois sur des données complètes, égale ou surpasse les baselines réentraînées par configuration sur l'ensemble des 16 configurations (protocole, taux) testées.
• Efficacité : CRAFT réduit la charge d'entraînement de 8,8$\times$ par rapport à l'approche classique consistant à réentraîner des modèles séparés pour chaque configuration.
• Robustesse : CRAFT maintient une précision élevée même lorsque $p_c = 0$, démontrant que la robustesse aux données manquantes peut être une propriété architecturale intrinsèque.

Signification et Revendications
L'article affirme que le paradigme actuel de « réentraînement par configuration » en IMVC est fragile et occulte une vulnérabilité fondamentale des méthodes basées sur la reconstruction. En déplaçant la charge de la robustesse de la fonction de perte vers l'architecture, CRAFT démontre qu'il est possible d'atteindre un IMVC robuste sans réentraîner le modèle pour des distributions de données manquantes spécifiques. Les auteurs suggèrent que les recherches futures en IMVC devraient rapporter $p_c$ comme une métrique standard et privilégier les raffinements architecturaux (comme l'indépendance par échantillon et la fusion sensible au masque) plutôt que les mécanismes de récupération algorithmique. Le travail est limité à l'IMVC non supervisé avec des pertes de reconstruction inter-vues ; les auteurs notent que l'extension de ces principes à la classification multi-vue supervisée ou à d'autres contextes multi-modaux reste une direction pour les travaux futurs.