Rethinking Incompleteness: Formalizing Protocol Divergence and Train-Once Learning for Robust IMVC

Technische Samenvatting: Het heroverwegen van Onvolledigheid in IMVC

Probleemdefinitie
Incomplete Multi-View Clustering (IMVC) adresseert de uitdaging van het clusteren van data waarbij views (modaliteiten) ontbreken voor subsets van samples. Het dominante paradigma in het huidige IMVC-onderzoek steunt op cross-view reconstructie, waarbij ontbrekende views worden gereconstrueerd met behulp van volledige samples als supervisie. Echter, het artikel identificeert twee kritieke gebreken in de huidige evaluatie en theoretische onderbouwing van deze methoden:

1. De Per-Configuratie Retraining Trap: Bestaande methoden worden doorgaans geëvalueerd door een apart model te hertrainen voor elke specifieke combinatie van ontbrekende-data-protocol en ontbrekende ratio. Deze aanpak is computationeel onhaalbaar voor real-world implementaties, waar distributies van ontbrekende data vaak niet-stationair of onbekend zijn.
2. Incompleteness Divergence (Onvolledigheidsdivergentie): Het artikel stelt dat de "nominale ontbrekende ratio" ($r$) een onvoldoende metriek is om de onvolledigheid van data te karakteriseren. Verschillende evaluatieprotocollen met dezelfde nominale $r$ kunnen resulteren in drastisch verschillende proporties van volledig geobserveerde samples ($p_c$). De auteurs formaliseren dit als incompleteness divergence, en tonen aan dat protocollen bij eenzelfde nominale ratio tot wel 50$\times$ kunnen verschillen in $p_c$.

Theoretische Inzichten: De Trainbaarheidsgrens
De auteurs bewijzen dat voor de brede klasse van reconstructie-gebaseerde methoden (Class 1, aangeduid als $\mathcal{F}_{rec}$), leren structureel slecht gesteld (ill-posed) wordt wanneer de proportie complete samples ($p_c$) onder een kritieke drempelwaarde valt (specifiek, wanneer $p_c \to 0$).

• Mechanisme: Reconstructieverlies ontleent supervisie primair aan cross-view co-occurrence binnen dezelfde sample. Als een sample minder dan twee views heeft, draagt het geen gradiëntsignaal bij aan de reconstructie-objective.
• Gevolg: Naarmate $p_c$ afneemt, verdwijnt het verwachte gradiëntsignaal. Het artikel bewijst dat voor protocollen waar $p_c \to 0$, de verwachte parameterverplaatsing begrensd wordt door termen proportioneel aan $p_c$, wat leidt tot bijna willekeurige clustering-accuratesse, ongeacht hyperparameter-tuning. Dit is een structurele eigenschap van de loss-familie, en geen artefact van tuning.
• Onderscheid: Het artikel maakt onderscheid tussen trainability failure (het gradiëntsignaal verdwijnt door een lage $p_c$, wat $\mathcal{F}_{rec}$ beïnvloedt) en capability failure (informatietheoretische limieten waarbij de geobserveerde views simpelweg onvoldoende informatie bevatten over de clusterlabels, wat alle methoden beïnvloedt).

Methodologie: CRAFT
Om de trainbaarheidsgrens te omzeilen, stellen de auteurs CRAFT voor (Complete-data Robust Attention-masked Fusion Transformer). CRAFT is ontworpen om twee structurele condities te vervullen die ervoor zorgen dat een enkele model, getraind op complete data, generaliseert naar elk ontbrekend patroon tijdens inferentie:

1. Per-Sample Onafhankelijkheid (C1): De representatie voor sample $i$ wordt berekend uitsluitend op basis van de eigen geobserveerde views en gedeelde parameters. Het is niet afhankelijk van de observatiepatronen van andere samples of cross-sample co-occurrence.
2. Mask-Aware Variable-Length Fusion (C2): Ontbrekende views worden uitgesloten van interne berekeningen via attention masking in plaats van ze aan te vullen met nullen (zero-padding) of te hallucineren. Dit zorgt ervoor dat ontbrekende views exact nul bijdragen aan de gefuseerde representatie, wat het injecteren van ruis of ongeldige signalen voorkomt.

Architectuurdetails:

• Per-View Encoding: View-specifieke MLPs mappen elke view naar een gedeelde embedding-ruimte.
• Transformer Fusion: Een Transformer encoder verwerkt de sequentie van view embeddings (plus een leerbare [CLS] token). Tijdens inferentie zet een key-padding mask de attention logits op $-\infty$ voor ontbrekende views, waardoor deze effectief worden verwijderd uit het attention-mechanisme.
• Twee-fasen Training op Complete Data:
  • Fase 1: Leert representaties met behulp van een per-view reconstructieverlies en een cross-view consistentieverlies (SimSiam-stijl) op complete samples.
  • Fase 2: Fine-tunt de cluster head met behulp van self-labeled cross-entropy, entropy regularisatie, en optionele Masked Fine-Tuning (MFT) om de trainingsdistributie af te stemmen op de ontbrekende patronen tijdens de inferentie-tijd.

Belangrijkste Bijdragen

1. Formalisering van Incompleteness Divergence: Introductie van de effectieve ontbrekende ratio ($\hat{r}$) en de complete-sample proportie ($p_c$) als onderscheidende causale variabelen, wat onthult dat standaard protocollen de risico's op trainbaarheid van reconstructie-gebaseerde methoden maskeren.
2. Theoretisch Bewijs van Collaps: Rigoureus bewijs dat reconstructie-gebaseerd leren structureel begrensd wordt door $p_c$, wat verklaart waarom bestaande methoden falen in sparse-data regimes (waar $p_c < 1\%$).
3. CRAFT Architectuur: Een Transformer-gebaseerd framework dat robuuste IMVC bereikt door architecturaal ontwerp (C1 en C2) in plaats van loss-functie engineering, wat een "Train-Once, Deploy-Many" paradigma mogelijk maakt.
4. Empirische Validatie: Uitgebreide experimenten op zeven benchmarks (inclusief CUB, HandWritten, MultiFashion, en YTF-31) over vier verschillende evaluatieprotocollen.

Resultaten

• Collaps van Baselines: Standaard $\mathcal{F}_{rec}$ baselines (bijv. COMPLETER, DCP, DCG, HSACC) vertonen uniform een collaps naar bijna willekeurige accuratesse (vaak $<40\%$) wanneer ze worden geëvalueerd onder strikte protocollen waar $p_c \to 0$, zelfs als de nominale ontbrekende ratio gematigd is.
• CRAFT Prestaties: Een enkel CRAFT-checkpoint, eenmalig getraind op complete data, evenaart of overtreft de per-configuratie hertrainde baselines over alle 16 geteste (protocol, rate) configuraties.
• Efficiëntie: CRAFT vermindert de trainingsoverhead met 8.8$\times$ vergeleken met de baseline-aanpak van het hertrainen van aparte modellen voor elke configuratie.
• Robuustheid: CRAFT behoudt een hoge accuratesse zelfs wanneer $p_c = 0$, wat aantoont dat robuustheid tegen ontbrekende data een inherente architecturale eigenschap kan zijn.

Betekenis en Claims
Het artikel claimt dat het huidige "per-configuratie retraining" paradigma in IMVC fragiel is en een fundamentele kwetsbaarheid in reconstructie-gebaseerde methoden maskeert. Door de last van robuustheid te verschuiven van de loss-functie naar de architectuur, demonstreert CRAFT dat het mogelijk is om robuuste IMVC te bereiken zonder te hertrainen voor specifieke distributies van ontbrekende data. De auteurs suggereren dat toekomstig IMVC-onderzoek $p_c$ als een standaard metriek moet rapporteren en prioriteit moet geven aan architecturale verfijningen (zoals per-sample onafhankelijkheid en mask-aware fusion) boven algoritmische herstelmechanismen. Het werk is beperkt tot unsupervised IMVC met cross-view reconstructieverliezen; de auteurs merken op dat het uitbreiden van deze principes naar supervised multi-view classificatie of andere multi-modale settings een richting is voor toekomstig werk.