Technische Samenvatting: RePercENT

Probleemstelling

Multimodale machine learning streeft naar het synthetiseren en redeneren over informatie uit diverse bronnen (bijv. afbeeldingen, tekst, audio). Hoewel huidige state-of-the-art benaderingen zich richten op cross-modale uitlijning en fusie, resulteren deze methoden vaak in verstrengelde representaties waarbij gedeelde en modaliteit-specifieke informatie vermengd zijn. Dit beperkt de interpreteerbaarheid en het vermogen om te identificeren welke modaliteiten unieke versus redundante informatie bijdragen.

Een kritieke flessenhals in bestaand disentangled representation learning is schaalbaarheid. De meeste eerdere werken zijn beperkt tot het regime van twee modaliteiten. Naarmate het aantal modaliteiten ($M$) toeneemt, groeit het aantal mogelijke gedeelde en unieke factoren exponentieel ($O(2^M)$), wat ze moeilijk te modelleren maakt. Bovendien zijn tractabele optimalisatie-objectieven die alle cross-modale interacties voorbij twee modaliteiten expliciet karakteriseren, beperkt. Real-world data presenteren vaak een afweging tussen het minimaliseren van redundantie en het behouden van relevante informatie, en het vastleggen van enkel de Minimale Noodzakelijke Informatie (MNI) is cruciaal om representatieve instorting te voorkomen.

Methodologie: RePercENT

De auteurs stellen RePercENT voor (Reduced-complexity Perceiver-based disENTanglement), een self-supervised framework ontworpen om disentangled representation learning te schalen naar meer dan twee modaliteiten.

Kernarchitectuur

RePercENT opereert direct op vooraf geëxtraheerde embeddings van foundation models (FMs), waardoor de noodzaak voor uitgebreide gezamenlijke pre-training wordt geëlimineerd en de aanpak modaliteit-agnostisch wordt gemaakt.

1. Paarsgewijze Decompositie: In plaats van alle $2^M$ atomaire factoren te modelleren, modelleert RePercENT paarsgewijze interacties. Voor elk paar modaliteiten $(i, j)$ leidt het af:
   • Unieke componenten ($u_{ij}$): Informatie die uniek is voor modaliteit $i$ ten opzichte van $j$.
   • Gedeelde componenten ($s_{ij}$): Informatie die gedeeld wordt tussen $i$ en $j$.
     Dit vermindert de componentcomplexiteit van $O(2^M)$ naar $O(M^2)$, terwijl alle cross-modale interacties behouden blijven.
2. Disentanglement Module ($D_i$): De samengestelde representatie $Z_i$ van elke modaliteit wordt verwerkt door een toegewezen module. Deze module maakt gebruik van een leerbare latente array $H_i$ met $N = 2(M-1)$ slots.
3. Routing Mechanismen:
   • Semantische Codering: Elke latente slot wordt uitgebreid met leerbare paar-encodings (identificatie van het modaliteitspaar) en type-encodings (identificatie van "uniek" of "gedeeld").
   • Group Slot Attention: Een structureel routingmechanisme waarbij slots die corresponderen met een specifiek paar $(u_{ij}, s_{ij})$ strijden om dezelfde input-embeddings. Dit dwingt specialisatie binnen het paar af, terwijl de onafhankelijkheid tussen verschillende paren behouden blijft.
4. Schaalbaarheid: Het framework vereist slechts één encoder per modaliteit, wat resulteert in een lineaire schaling $O(M)$ in termen van structurele complexiteit, vergeleken met de $O(M^2)$ complexiteit van methoden die aparte encoders voor elke representatie gebruiken.

Optimalisatie-objectief

Het framework gebruikt een gezamenlijk optimalisatie-objectief om gelijktijdig gedeelde en unieke componenten af te leiden, in plaats van een sequentiële decompositie. Voor elk paar $(i, j)$ maximaliseert het:
$$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$$
Waar:

• Shared Loss ($L_{si}, L_{sj}$): Moedigt gedeelde representaties aan om cross-modale relevantie ($I(s_{ij}; X_j)$) te vangen, terwijl de informatie die enkel door de bron-modaliteit verklaard kan worden ($I(s_{ij}; X_i | X_j)$) wordt geminimaliseerd.
• Unique Loss ($L_{ui}, L_{uj}$): Behoudt bron-modaliteit informatie ($I(u_{ij}, s_{ji}; X_i)$) terwijl overlap tussen unieke en gedeelde componenten over modaliteiten heen wordt bestraft ($I(u_{ij}; s_{ji})$).
  De informatie-theoretische termen worden benaderd met tractabele surrogaat-losses: InfoNCE voor wederzijdse informatie, KL-divergentie voor conditionele wederzijdse informatie, en een cross-covariantie straf voor redundantie.

Theoretische Garanties

Het paper biedt formele optimaliteitsgaranties:

1. Exacte Optimaliteit: Onder de voorwaarde dat de Minimale Noodzakelijke Informatie (MNI) bereikbaar is en de wegingsparameter $\alpha > \lambda$, bezit het gezamenlijke objectief hetzelfde globale optimum als de ideale stap-voor-stap optimizer.
2. Nabij-Optimaliteit: Wanneer MNI niet bereikbaar is (een veelvoorkomend scenario in de praktijk), is bewezen dat het gezamenlijke objectief nabij-optimaal is, waarbij de oplossing begrensd wordt door een tractabele constante gerelateerd aan de informatiekloof.

Experimentele Resultaten

De auteurs evalueerden RePercENT over drie domeinen: synthetische data, begrip van figuurlijk taalgebruik (IRFL), en multimodale oncologie (TCGA).

1. Schaalbaarheid en Componentherstel (Synthetisch):

   • RePercENT demonstreerde lineaire schaling in het aantal parameters naarmate de modaliteiten toenamen ($M=2$ tot $5$), terwijl baselines (MLP, GRU, gMLP) een exponentiële toename vereisten of leden aan component-instorting.
   • RePercENT behield competitieve disentanglement-prestaties (hoge intra-component voorspelbaarheid, lage cross-component lekkage) over alle modaliteitenaantallen, terwijl baselines zoals GRU en MLP faalden om unieke componenten te herstellen naarmate $M$ groeide.
   • Het behaalde vergelijkbare prestaties als gMLP met aanzienlijk minder parameters (ongeveer 47% minder bij $M=3$) en FLOPs.

2. Figurative Language (IRFL):

   • Bij de taak om figuurlijk taalgebruik (idiomen, metaforen, vergelijkingen) te koppelen aan afbeeldingen, presteerde RePercENT beter dan gefinetunede CLIP-varianten en andere disentanglement baselines.
   • De methode toonde bijzondere kracht in het afhandelen van abstracte, contextafhankelijke taken (idiomen en metaforen) waar het isoleren van gedeelde componenten voordelig bleek.
   • Ablatie-studies bevestigden dat zowel semantische codering als group slot attention cruciaal zijn voor de prestaties.

3. Multimodale Oncologie (TCGA):

   • Door gebruik te maken van embeddings van Klinische, Pathologische, WSI en Moleculaire data, verbeterde RePercENT de nauwkeurigheid van kanker-type classificatie ten opzichte van de originele HONeYBEE embeddings voor de meeste kankertypes.
   • Opvallend genoeg, voor kankertypes waar ruwe moleculaire embeddings oninformatief waren (bijv. KIRC, LGG), herstelden de gedeelde representaties een significante voorspellende structuur.
   • Robuustheid tegen ontbrekende modaliteiten: In experimenten waarbij WSI-data progressief werd verwijderd, behield RePercENT hoge Macro-F1 scores, terwijl fusie-baselines (inclusief die getraind met dropout) scherp degradeerden. Dit wordt toegeschreven aan de inferentie-structuur waarbij componenten uitsluitend worden afgeleid van de beschikbare modaliteit.

Betekenis en Claims

Het paper claimt dat RePercENT een geprinciepeerd framework biedt dat de informatie-theoretische fundamenten verbindt met een praktische, schaalbare implementatie. De primaire bijdragen zijn:

• Schaalbaarheid: Het overwint succesvol de exponentiële schaalbaarheidsbottleneck van multimodale disentanglement, wat het mogelijk maakt om unieke en gedeelde factoren voor meer dan twee modaliteiten te extraheren met lineaire complexiteit.
• Plug-and-Play Design: Door te opereren op vooraf geëxtraheerde embeddings is het modaliteit-agnostisch en onafhankelijk van backbone-architecturen, wat integratie in bestaande pipelines vergemakkelijkt.
• Theoretische Onderbouwing: Het biedt formele garanties van optimaliteit (zowel exacte als nabij-optimale) voor zijn gezamenlijke optimalisatieaanpak, wat zorgt voor theoretische integriteit naast empirisch succes.
• Robuustheid: De architectuur handelt inherent om met ontbrekende modaliteiten zonder complexe imputatie, wat het geschikt maakt voor real-world klinische en wetenschappelijke settings waar de volledigheid van data niet gegarandeerd is.

De auteurs concluderen dat RePercENT de weg vrijmaakt voor betrouwbaardere, interpreteerbare en mechanistisch onderbouwde multimodale representaties, waarbij de focus verschuift van eenvoudige uitlijning naar een fijnmazig begrip van hoe verschillende modaliteiten met elkaar interageren.