🤖 machine learning

RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities

RePercENT ist ein selbstüberwachtes, Plug-and-Play-Framework, das die Skalierbarkeitsbeschränkungen bestehender Methoden überwindet, um durch die Arbeit auf vorextrahierten Embeddings ohne die Notwendigkeit eines gemeinsamen Pre-Trainings ein entwirrbares Repräsentationslernen über mehr als zwei Modalitäten hinweg zu ermöglichen.

Ursprüngliche Autoren: Vasiliki Rizou, Pascal Frossard, Dorina Thanou

Veröffentlicht 2026-06-04

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Vasiliki Rizou, Pascal Frossard, Dorina Thanou

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, eine komplexe Geschichte zu verstehen, die Ihnen drei verschiedene Freunde erzählen: Einer spricht nur in Bildern, einer in Musik und einer in Text. Lange Zeit haben KI-Forscher versucht, diese Freunde dazu zu bringen, „übereinzustimmen“, indem sie ihre Geschichten in eine einzige, gemischte Zusammenfassung zwingen. Das funktioniert gut, wenn sie alle genau dasselbe sagen, aber es scheitert, wenn jeder von ihnen einzigartige Geheimnisse besitzt, die die anderen nicht kennen.

Das Paper stellt eine neue Methode namens RePercENT (Reduced-complexity Perceiver-based disENTanglement) vor, um dieses Problem zu lösen. So funktioniert es, erklärt durch einfache Analogien:

Das Problem: Der „Smoothie“ vs. der „Salat“

Die meisten aktuellen KI-Modelle behandeln multimodale Daten wie einen Smoothie. Sie mixen das Bild, den Text und das Audio zusammen, bis man nicht mehr sagen kann, wo eine Zutat aufhört und die nächste beginnt. Das ist großartig für ein allgemeines Verständnis, aber wenn man genau wissen möchte, was die Musik beigetragen hat, was der Text nicht wusste, kann man es nicht mehr trennen.

Darüber hinaus sind bestehende Methoden wie ein Tanz zu zweit. Sie sind sehr gut darin, die Schritte zwischen zwei Freunden zu bestimmen (z. B. Bild und Text), aber wenn man einen dritten Freund hinzufügt (z. B. molekulare Daten), wird die Tanzfläche zu voll und die Mathematik dahinter unlösbar.

Die Lösung: Der „Schlaue Sortierhut“

RePercENT fungt wie ein Schlauer Sortierhut, der eine ganze Gruppe von Freunden gleichzeitig bewältigen kann, ohne überfordert zu werden. Anstatt alles zu einem Smoothie zu vermischen, erschafft er einen Salat, bei dem jede Zutat ihre eigene Identität behält, aber dennoch Teil desselben Gerichts ist.

Hier ist die Magie, wie er das macht:

Die „Plug-and-Play“-Küche:
Stellen Sie sich vor, Sie haben bereits vorgehacktes Gemüse (dies sind die „Embeddings“ von leistungsstarken KI-Modellen wie CLIP). RePercENT muss das Gemüse nicht selbst hacken oder neu lernen, wie man kocht. Es nimmt einfach diese bereits vorbereiteten Zutaten und sortiert sie. Das bedeutet, dass es mit jeder Art von Daten arbeiten kann (Bilder, Text, medizinische Scans), ohne von Grund auf neu trainiert werden zu müssen.
Die „Paarweise“ Strategie (Die Geheimzutat):
Die größte Hürde war, dass es bei drei Freunden viele Arten gibt, wie sie interagieren können (A+B, B+C, A+C und A+B+C). Zu versuchen, all dies gleichzeitig abzubilden, ist wie der Versuch, einen riesigen Kabelsalat von Kopfhörern zu entwirren.
RePercENT löst dies, indem es sich auf Paare konzentriert. Es fragt: „Was teilt Freund A mit Freund B?“ und „Was behält Freund A für sich selbst?“ Dies geschieht für jedes Paar einzeln.
- Analogie: Anstatt zu versuchen, ein ganzes Orchester auf einmal zu organisieren, hört der Dirigent erst der Violinen-Sektion zu, dann der Blechbläser-Sektion, dann den Holzbläsern, und findet heraus, was sie gemeinsam spielen und was sie alleine spielen. Dies hält die Aufgabe einfach und skalierbar, egal wie viele Instrumente man hinzufügt.
Das „Wettbewerbs“-Spiel:
Innerhalb des Systems gibt es kleine „Slots“ (denken Sie an leere Eimer). Das System nutzt ein spezielles Spiel namens Group Slot Attention.
- Stellen Sie sich zwei Eimer vor, beschriftet mit „Gemeinsames Geheimnis“ und „Mein eigenes Geheimnis“.
- Wenn eine Information reinkommt, konkurrieren diese beiden Eimer darum, sie einzufangen.
- Wenn die Information etwas ist, das beide Freunde wissen, gewinnt der „Gemeinsame“-Eimer. Wenn es etwas ist, das nur ein Freund weiß, gewinnt der „Eigene Geheimnis“-Eimer.
- Dieser Wettbewerb stellt sicher, dass die KI nicht faul wird und alles in einen einzigen Eimer wirft; er zwingt sie zu Präzision.

Warum das wichtig ist (laut dem Paper)

Es skaliert: Sie können mehr Freunde (Modalitäten) hinzufügen, ohne dass das System abstürzt oder zu teuer im Betrieb wird. Es wächst linear (das Hinzufügen eines weiteren Freundes fügt eine vorhersehbare Menge an Arbeit hinzu), während alte Methoden exponentiell wuchsen (ein weiterer Freund ließ die Mathematik explodieren).
Es geht mit fehlenden Freunden um: Wenn ein Freund zu spät zur Party kommt (fehlende Daten), bricht das System nicht zusammen. Da es gelernt hat, Informationen basierend auf Paaren zu sortieren, kann es immer noch den „Gemeinsamen“ und den „Einzigartigen“ Teil der Freunde bestimmen, die tatsächlich anwesend sind.
Es funktioniert in der Realität: Die Autoren haben es unter anderem getestet auf:
- Figurative Sprache: Das Verständnis von Idiomen und Metaphern (z. B. „Es regnet Katzen und Hunde“). Sie fanden heraus, dass die Trennung der „gemeinsamen“ Bedeutung von den „einzigartigen“ visuellen Details der KI half, diese kniffligen Phrasen besser zu verstehen als Standardmodelle.
- Medizinische Onkologie: Sie nutzten es für Krebsdaten (Bilder von Gewebeschnitten, molekulare Daten und Patientenakten). Sie fanden heraus, dass sie durch die Trennung dessen, was einzigartig für die molekularen Daten ist und dessen, was sie mit den Bildern teilen, Krebsarten genauer vorhersagen konnten – besonders in schwierigen Fällen, in denen die Rohdaten verwirrend waren.

Das Fazume

RePercENT ist eine neue Art, einer KI beizubringen, aus mehreren Quellen zuzuhören, ohne sie zu einem undefinierbaren Brei zu vermischen. Es nutzt ein cleveres „Paar-für-Paar“-Sortiersystem, das effizient ist, robust gegenüber fehlenden Daten arbeitet und mathematisch bewiesen die bestmögliche Trennung zwischen dem Gemeinsamen und dem Einzigartigen findet. Es verwandelt einen verwirrten Informationsknoten in einen ordentlich organisierten Satz aus distinkten, verständlichen Einzelteilen.

Technisches Resümee: RePercENT

Problemstellung

Multimodales maschinelles Lernen zielt darauf ab, Informationen aus vielfältigen Quellen (z. B. Bildern, Text, Audio) zu synthetisieren und darüber zu schlussfolgern. Während sich aktuelle State-of-the-Art-Ansätze auf die kreuzmodale Ausrichtung (Alignment) und Fusion konzentrieren, führen diese Methoden oft zu verschränkten Repräsentationen, in denen gemeinsame und modalitätsspezifische Informationen vermischt sind. Dies schränkt die Interpretierbarkeit und die Fähigkeit ein, zu identifizieren, welche Modalitäten einzigartige gegenüber redundanten Informationen beitragen.

Ein kritischer Engpass im bestehenden Lernen disentangled (entwirrter) Repräsentationen ist die Skalierbarkeit. Die meisten bisherigen Arbeiten sind auf das Zwei-Modalitäten-Regime beschränkt. Wenn die Anzahl der Modalitäten ( $M$ ) steigt, wächst die Anzahl der möglichen gemeinsamen und einzigartigen Faktoren exponentiell ( $O(2^M)$ ), was deren Modellierung erschwert. Zudem sind handhabbare Optimierungsziele, die alle kreuzmodalen Interaktionen über zwei Modalitäten hinaus explizit charakterisieren, begrenzt. Reale Daten stellen oft einen Trade-off zwischen der Minimierung von Redundanz und dem Erhalt relevanter Informationen dar, wobei die Erfassung nur der minimal notwendigen Information (Minimal Necessary Information, MNI) entscheidend ist, um eine Repräsentationskollaps zu vermeiden.

Methodik: RePercENT

Die Autoren schlagen RePercENT (Reduced-complexity Perceiver-based disENTanglement) vor, ein selbstüberwachtes Framework, das darauf ausgelegt ist, das Lernen disentangled Repräsentationen über zwei Modalitäten hinaus zu skalieren.

Kernarchitektur

RePercENT operiert direkt auf vorab extrahierten Embeddings von Foundation-Modellen (FMs), wodurch die Notwendigkeit eines umfangreichen gemeinsamen Pre-trainings entfällt und der Ansatz modalitätsagnostisch wird.

Paarweise Dekomposition: Anstatt alle $2^M$ $2^{M}$ atomaren Faktoren zu modellieren, modelliert RePercENT paarweise Interaktionen. Für jedes Modalitätspaar $(i, j)$ $(i, j)$ leitet es ab:
- Einzigartige Komponenten ( $u_{ij}$ ): Informationen, die für Modalität $i$ relativ zu $j$ einzigartig sind.
- Gemeinsame Komponenten ( $s_{ij}$ ): Informationen, die zwischen $i$ und $j$ geteilt werden.
  Dies reduziert die Komplexität der Komponenten von $O(2^M)$ auf $O(M^2)$ , während alle kreuzmodalen Interaktionen erhalten bleiben.
Disentanglement-Modul ( $D_i$ ): Die zusammengesetzte Repräsentation $Z_i$ jeder Modalität wird durch ein dediziertes Modul verarbeitet. Dieses Modul nutzt ein lernbares latentes Array $H_i$ mit $N = 2(M-1)$ Slots.
Routing-Mechanismen:
- Semantische Kodierung: Jeder latente Slot wird mit lernbaren Paar-Kodierungen (Identifizierung des Modalitätspaars) und Typ-Kodierungen (Identifizierung von „einzigartig“ oder „gemeinsam“) ergänzt.
- Group Slot Attention: Ein struktureller Routing-Mechanismus, bei dem Slots, die zu einem spezifischen Paar $(u_{ij}, s_{ij})$ gehören, um dieselben Eingabe-Embeddings konkurrieren. Dies erzwingt Spezialisierung innerhalb des Paares bei gleichzeitiger Aufrechterung der Unabhängigkeit zwischen verschiedenen Paaren.
Skalierbarkeit: Das Framework benötigt nur einen Encoder pro Modalität und erreicht eine lineare Skalierung $O(M)$ in Bezug auf die strukturelle Komplexität, im Vergleich zur $O(M^2)$ -Komplexität von Methoden, die separate Encoder für jede Repräsentation verwenden.

Optimierungsziel

Das Framework verwendet ein gemeinsames Optimierungsziel, um gleichzeitig gemeinsame und einzigartige Komponenten abzuleiten, anstatt einer sequenziellen Dekomposition. Für jedes Paar $(i, j)$ maximiert das Ziel:
$J(\theta_{ij}) = \alpha(L_{si} + L_{sj}) + L_{ui} + L_{uj}$
Wobei:

Shared Loss ( $L_{si}, L_{sj}$ ): Gemeinsame Repräsentationen dazu ermutigt, kreuzmodale Relevanz ( $I(s_{ij}; X_j)$ ) zu erfassen, während Information, die nur durch die Quellmodalität erklärbar ist ( $I(s_{ij}; X_i | X_j)$ ), minimiert wird.
Unique Loss ( $L_{ui}, L_{uj}$ ): Die Information der Quellmodalität bewahrt ( $I(u_{ij}, s_{ji}; X_i)$ ) und bestraft gleichzeitig die Überlappung zwischen einzigartigen und gemeinsamen Komponenten über verschiedene Modalitäten hinweg ( $I(u_{ij}; s_{ji})$ ).

Die informationstheoretischen Terme werden unter Verwendung handhabbarer Surrogat-Verlustfunktionen approximiert: InfoNCE für gegenseitige Information, KL-Divergenz für bedingte gegenseitige Information und eine Kreuzkovarianz-Strafe für Redundanz.

Theoretische Garantien

Das Paper liefert formale Optimalitätsgarantien:

Exakte Optimalität: Unter der Bedingung, dass die minimale notwendige Information (MNI) erreichbar ist und der Gewichtungsparameter $\alpha > \lambda$ gilt, besitzt das gemeinsame Optimierungsziel dasselbe globale Optimum wie der ideale schrittweise Optimierer.
Nahezu-Optimalität: Wenn MNI in der Realität nicht erreichbar ist (ein häufiges Szenario), wird bewiesen, dass das gemeinsame Optimierungsziel nahezu optimal ist, wobei die Lösung durch eine handhabbare Konstante begrenzt ist, die mit der Informationslücke zusammenhängt.

Experimentelle Ergebnisse

Die Autoren evaluierten RePercENT über drei Domänen hinweg: synthetische Daten, Verständnis figurativer Sprache (IRFL) und multimodale Onkologie (TCGA).

Skalierbarkeit und Komponenten-Wiederherstellung (Synthetisch):
- RePercENT demonstrierte eine lineare Skalierung der Parameteranzahl mit zunehmender Anzahl der Modalitäten ( $M=2$ bis $5$), während Baselines (MLP, GRU, gMLP) exponentielle Zunahmen erforderten oder unter Komponentenkollaps litten.
- RePercENT behielt eine wettbewerbsfähige Disentanglement-Leistung (hohe Intra-Komponenten-Vorhersage, geringes Cross-Komponenten-Leakage) über alle Modalitätszahlen hinweg bei, während Baselines wie GRU und MLP scheiterten, einzigartige Komponenten zu rekonstruieren, wenn $M$ anstieg.
- Es erreichte eine vergleichbare Leistung wie gMLP bei signifikant weniger Parametern (ca. 47 % weniger bei $M=3$ ) und FLOPs.
Figurative Sprache (IRFL):
- Bei der Aufgabe, figurative Texte (Idiome, Metaphern, Vergleiche) Bildern zuzuordnen, übertraf RePercENT feinabgestimmte CLIP-Varianten und andere Disentanglement-Baselines.
- Die Methode zeigte besondere Stärke bei der Handhabung abstrakter, kontextabhängiger Aufgaben (Idiome und Metaphern), bei denen die Isolierung gemeinsamer Komponenten von Vorteil war.
- Ablationsstudien bestätigten, dass sowohl die semantische Kodierung als auch die Group Slot Attention entscheidend für die Leistung sind.
Multimodale Onkologie (TCGA):
- Unter Verwendung von Embeddings aus klinischen, pathologischen, WSI- und molekularen Daten verbesserte RePercENT die Genauigkeit der Krebsart-Klassifizierung gegenüber den ursprünglichen HONeYB-Embeddings für die meisten Krebsarten.
- Bemerkenswert ist, dass für Krebsarten, in denen die rohen molekularen Embeddings wenig informativ waren (z. B. KIRC, LGG), die dekomponierten gemeinsamen Repräsentationen eine signifikante prädiktive Struktur wiederherstellten.
- Robustheit gegenüber fehlenden Modalitäten: In Experimenten, in denen WSI-Daten sukzessive entfernt wurden, behielt RePercENT hohe Macro-F1-Scores bei, während Fusion-Baselines (einschließlich der mit Dropout trainierten) stark abfielen. Dies wird auf die Inferenzstruktur zurückgeführt, bei der die Komponenten ausschließlich aus der verfügbaren Modalität abgeleitet werden.

Bedeutung und Ansprüche

Das Paper behauptet, dass RePercENT ein prinzipienbasiertes Framework bietet, das informationstheoretische Grundlagen mit einer praktischen, skalierbaren Implementierung verbindet. Seine primären Beiträge sind:

Skalierbarkeit: Es überwindet erfolgreich den exponentiellen Skalierungsengpass der multimodalen Disentanglement und ermöglicht die Extraktion einzigartiger und gemeinsamer Faktoren für mehr als zwei Modalitäten mit linearer Komplexität.
Plug-and-Play-Design: Durch die Arbeit auf vorab extrahierten Embeddings ist es modalitätsagnostisch und unabhängig von Backbone-Architekturen, was eine einfache Integration in bestehende Pipelines erleichtert.
Theoretische Fundierung: Es bietet formale Garantien der Optimalität (sowohl exakt als auch nahezu optimal) für seinen gemeinsamen Optimierungsansatz und stellt so neben dem empirischen Erfolg auch die theoretische Integrität sicher.
Robustheit: Die Architektur handhabt fehlende Modalitäten inhärent ohne komplexe Imputation, was sie für reale klinische und wissenschaftliche Settings geeignet macht, in denen die Vollständigkeit der Daten nicht garantiert ist.

Die Autoren kommen zu dem Schluss, dass RePercENT den Weg für zuverlässigere, interpretierbarere und mechanistisch fundierte multimodale Repräsentationen ebnet, die über einfaches Alignment hinausgehen und ein granulares Verständnis dafür bieten, wie verschiedene Modalitäten miteinander interagieren.