💻 computer science

LARGO: Low-Rank Hypernetwork for Handling Missing Modalities

LARGO ist ein neuartiges Low-Rank-Hypernetzwerk, das die Herausforderung fehlender Modalitäten in der multimodalen Bildanalyse adressiert, indem es mehrere dedizierte Modelle über eine kanonische polyadische Tensorzerlegung von Faltungsgewichten in ein einziges Netzwerk komprimiert und dabei state-of-the-art-Leistung über diverse medizinische und nicht-medizinische Datensätze hinweg erzielt.

Ursprüngliche Autoren: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Veröffentlicht 2026-05-08

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Arzt, der versucht, einen Hirntumor zu diagnostizieren. Normalerweise haben Sie ein komplettes Werkzeugset: vier verschiedene Arten von MRT-Scans (wie das Aufnehmen von Fotos aus vier verschiedenen Winkeln oder mit vier verschiedenen Filtern). Wenn Sie alle vier haben, ist die Diagnose einfach und präzise.

Doch in der realen Welt läuft nicht alles glatt. Vielleicht ist die Maschine für einen bestimmten Scan defekt, der Patient kann nicht lange genug stillhalten für einen zweiten Scan, oder das Krankenhaus verfügt einfach nicht über die Ausrüstung. Plötzlich haben Sie nur noch ein oder zwei Scans. Die meisten Computerprogramme (KI-Modelle), die zum Diagnostizieren von Tumoren trainiert wurden, geraten in Verwirrung oder versagen völlig, wenn ihnen ihr vollständiges Werkzeugset fehlt. Sie sind wie ein Koch, der nur dann ein perfektes Gericht zubereiten kann, wenn er jeden einzelnen Zutat in der Küche hat; fehlt ihm das Salz, kann er keine Suppe machen.

Der alte Weg: Ein Koch pro Rezept

Um dieses Problem zu lösen, versuchten Forscher traditionell zwei Hauptansätze:

Der „Allrounder"-Koch: Trainiere eine riesige KI, die mit jeder Kombination fehlender Scans umgehen kann. Das Problem ist, dass dieser Koch verwirrt wird. Er versucht, in allem gut zu sein, endet aber als Mittelmäßiger bei spezifischen Aufgaben.
Das „Spezialisten"-Team: Trainiere ein separates, perfektes KI-Modell für jede mögliche Kombination (z. B. eines für „nur T1", ein anderes für „nur T2", ein weiteres für „T1 und T2" usw.). Bei vier Scan-Typen gibt es 15 verschiedene Kombinationen. Das bedeutet, Sie benötigen 15 verschiedene KI-Modelle. Das ist, als würde man 15 verschiedene Köche einstellen, nur um verschiedene fehlende Zutaten zu bewältigen. Dies beansprucht einen enormen Speicherplatz und Rechenleistung, was es für Krankenhäuser unpraktisch macht.

Die neue Lösung: LARGO (Der „magische Bauplan")

Die Autoren dieses Papiers schlagen ein kluges neues System namens LARGO vor. Anstatt 15 Köche einzustellen oder einen verwirrten Koch zu trainieren, haben sie einen „magischen Bauplan-Generator" entwickelt.

So funktioniert es, anhand einer Analogie:

1. Die Familie der Rezepte
Stellen Sie sich vor, dass alle 15 verschiedenen „Spezialisten"-KI-Modelle tatsächlich sehr ähnlich sind. Sie alle wissen, wie man ein Gehirn betrachtet, sie alle wissen, wie man einen Tumor erkennt, und sie alle verwenden ähnliche „mathematische Rezepte" (Gewichte), um dies zu tun. Der einzige Unterschied ist, welchen Scan sie betrachten.

2. Der Kompressions-Trick (CP-Zerlegung)
Die Autoren erkannten, dass diese 15 Modelle so ähnlich sind, dass sie voller Redundanz stecken. Es ist, als hätte man 15 Bücher, bei denen 90 % des Textes identisch sind und sich nur die Kapiteltitel ändern.
LARGO verwendet einen mathematischen Trick namens kanonische polyadische (CP) Zerlegung. Stellen Sie sich dies vor, als würden Sie diese 15 Bücher nehmen und in einen einzigen, winzigen „Master-Bauplan" komprimieren.

Dieser Master-Bauplan speichert keine 15 separaten Modelle.
Stattdessen speichert er einige „Faktormatrizen" (wie einen Satz Lego-Steine und eine Reihe von Anweisungen).
Ein spezifischer Anweisungssatz sagt dem Bauplan: „Wenn der Patient nur den T2-Scan hat, bauen Sie das Modell mit diesen spezifischen Steinen zusammen."

3. Die „On-Demand"-Konstruktion
Wenn ein Patient mit fehlenden Scans eintrifft, muss das LARGO-System kein neues Modell laden. Es betrachtet einfach den Master-Bauplan, liest die Anweisung für dieses spezifische Szenario mit fehlenden Daten und rekonstruiert sofort das perfekte, spezialisierte KI-Modell für genau diese Situation.

Es ist, als hätte man einen 3D-Drucker, der in Sekunden ein spezifisches Werkzeug für einen spezifischen Job drucken kann, anstatt ein Lagerhaus voller aller möglichen Werkzeuge vorzuhalten.

Was haben sie bewiesen?

Die Forscher testeten diesen „magischen Bauplan" an echten medizinischen Daten:

Hirntumore (BraTS 2018): Sie testeten ihn an 15 verschiedenen Szenarien fehlender MRT-Scans. LARGO war in 14 von 15 Szenarien am besten darin, Tumore zu diagnostizieren, verglichen mit den besten bestehenden Methoden.
Schlaganfall-Erkennung (ISLES 2022): Sie testeten ihn an 7 verschiedenen Szenarien fehlender Schlaganfall-Scans. LARGO war in allen 7 Szenarien der Beste.
Nicht-medizinischer Test (avMNIST): Um zu beweisen, dass es nicht nur ein medizinischer Trick war, testeten sie ihn an einer Mischung aus Bildern und Audio (wie das Erkennen einer Zahl aus einem Bild und einem Ton). Auch dort funktionierte es gut und zeigte, dass die Methode flexibel ist.

Das Fazit

LARGO ist ein Weg, die spezialisierte Leistung von 15 verschiedenen KI-Modellen zu haben, ohne die Speicherkosten für die Aufbewahrung von 15 verschiedenen Modellen. Dies erreicht es, indem es erkennt, dass diese Modelle Cousins und keine Fremden sind, und sie in einen einzigen, effizienten „Gewichtsraum"-Bauplan komprimiert, der das richtige Modell sofort wiederherstellen kann, wann immer es benötigt wird.

Das Papier behauptet, dass dies im Vergleich zu aktuellen State-of-the-Art-Methoden zu einer höheren Genauigkeit (bessere Diagnosen) und einer besseren Effizienz (weniger benötigter Computerspeicher) führt, ohne komplexe mehrstufige Trainingsverfahren oder das „Halluzinieren" gefälschter Daten zur Überbrückung von Lücken zu benötigen.

Technische Zusammenfassung: LARGO (Low-Rank Hypernetwork for Handling Missing Modalities)

Problemstellung

Bei der multimodalen Bildanalyse, insbesondere in der medizinischen Bildgebung (z. B. Segmentierung von Hirntumoren, Detektion von Schlaganfallläsionen), ist es aufgrund von Geräteeinschränkungen, Zeitlimits für Scans oder Patientenzuständen oft nicht möglich, alle verfügbaren Modalitäten zu erfassen. Dies führt zu unvollständigen Modalitätssets während der Inferenz. Standard-Deep-Learning-Modelle haben Schwierigkeiten mit solchen fehlenden Eingaben, ohne dass eine explizite architektonische Gestaltung erfolgt.

Bestehende Ansätze sehen sich einem grundlegenden Zielkonflikt zwischen Spezialisierung und Skalierbarkeit gegenüber:

Methoden mit Einzelmodell (z. B. Null-Imputation, geteilte Encoder) zwingen ein Netzwerk, alle $2^N - 1$ Modalitätskombinationen zu bewältigen, was häufig die Leistung bei spezifischen Konfigurationen beeinträchtigt.
Dedizierte Modelle (Training eines separaten Modells für jede Kombination) maximieren die Spezialisierung, skalieren jedoch exponentiell in Bezug auf Speicher- und Rechenkosten.
Generative und Distillationsmethoden riskieren das Erzeugen hallucinierter, klinisch gefährlicher Merkmale oder erfordern komplexe mehrstufige Trainingsverfahren.

Die meisten aktuellen Lösungen operieren im Merkmalsraum und entwickeln robuste Repräsentationen, um mit fehlenden Eingaben umzugehen. Dieser Beitrag schlägt vor, im Gewichtsraum zu operieren, um die Redundanz zu adressieren, die inherent im Training separater Modelle für verschiedene Modalitäts-Teilmengen enthalten ist.

Methodik: LARGO

Die Autoren schlagen LARGO (Low-rAnk hypeRnetwork for missinG mOdalities) vor, ein Hypernetwork-Framework, das die Familie der $2^N - 1$ dedizierten Modelle für fehlende Modalitäten in ein einziges Netzwerk komprimiert.

Kernarchitektur

Hypernetwork-Formulierung: Anstatt $M = 2^N - 1$ separate Gewichtssätze zu lernen, konstruiert LARGO ein einziges Hypernetwork $H_\phi$ , das implizit alle dedizierten Modelle $\{F_{\theta(m)}\}_{m=1}^M$ enthält.
Tenzorzerlegung (CPD): Die Methode nutzt die Beobachtung, dass Modelle, die Zugriff auf dieselben Modalitäten haben, ähnliche Muster lernen, was auf Parameterredundanz hindeutet. LARGO stapelt die Faltungsgewichte aller $M$ $M$ dedizierten Modelle entlang einer neuen „Modell-Dimension" und wendet die kanonische polyadische (CP) Tenzorzerlegung an.
- Der Gewichtetensor $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ wird in Faktormatrizen $A, B, C, D$ zerlegt.
- Die Faktormatrix $A$ indiziert die Modalitätskombinationen, während $B, C, D$ Eingabekanäle, Ausgabekanäle und Kernel-Dimensionen repräsentieren.
Low-Rank-Reparametrisierung:
- Innere Schichten: Faltungsschichten werden unter Verwendung der CP-Zerlegung reparametrisiert. Der Rang $R$ wird so gewählt, dass ein Parameterbudget erhalten bleibt, das einem einzelnen dedizierten Modell entspricht (Erzielung eines Kompressionsverhältnisses von $1/M$ ).
- Stamm- und Kopfschichten: Diese Schichten bleiben unkomprimiert, um die Flexibilität bei Ein- und Ausgabe zu erhalten, obwohl ihr Parameterbeitrag im Vergleich zu den inneren Schichten vernachlässigbar ist.
Inferenz: Während der Inferenz rekonstruiert das Hypernetwork für eine spezifische Modalitätskombination $m$ die dedizierten Faltungsgewichte $W^{(m)}$ , indem es die Faktormatrizen kontrahiert (insbesondere durch Auswahl der $m$ -ten Zeile der Faktormatrix $A$ ). Dies vermeidet die Berechnung ungenutzter Parameter für andere Modalitäts-Teilmengen.

Trainingsverfahren

Verlustfunktion: Das Modell wird mit einem Standard-Segmentierungsverlust ( $L_{Dice} + L_{CE}$ ) trainiert.
Strategie: Das Training employs zufälliges Modalitäts-Dropout kombiniert mit Vollmodalitäts-Leitung. In jedem Iterationsschritt wird eine Teilmenge $m$ gesampelt, um den Verlust für dieses spezifische Szenario fehlender Modalitäten zu minimieren, während ein Term mit Vollmodalitäts-Eingabe sicherstellt, dass das Netzwerk während des gesamten Trainings durch vollständige Daten geleitet wird.
Initialisierung: Die Faktormatrizen $B, C, D$ werden mittels Kaiming-Normalverteilung initialisiert; Matrix $A$ wird mit Einsen initialisiert. Die Gewichte werden von Grund auf neu trainiert, anstatt von vortrainierten Gewichten abgeleitet zu werden.

Hauptbeiträge

Neuartige Hypernetwork-Formulierung: LARGO ist die erste Methode, die die Kernel-Gewichte einer gesamten Familie von $2^N - 1$ dedizierten Modellen für fehlende Modalitäten gemeinsam reparametrisiert und in eine einzige, parameter-effiziente Darstellung unter Verwendung der CP-Zerlegung überführt.
Operation im Gewichtsraum: Im Gegensatz zu Methoden im Merkmalsraum operiert LARGO direkt im Gewichtsraum und komprimiert die exponentielle Familie von Modellen in einen einzigen komprimierten Gewichtsmanifold, ohne auxiliary Verluste, Lehrer-Netzwerke oder mehrstufiges Training.
State-of-the-Art-Leistung: Die Methode erzielt überlegene Ergebnisse auf Benchmarks für medizinische Bildgebung, während die Parameteranzahl mit der eines einzelnen dedizierten Modells vergleichbar bleibt.

Experimentelle Ergebnisse

Datensätze und Szenarien

BraTS 2018: 4 Modalitäten (FLAIR, T1, T1c, T2), 15 Szenarien fehlender Modalitäten. Aufgabe: Segmentierung von Hirntumoren (WT, TC, ET).
ISLES 2022: 3 Modalitäten (DWI, ADC, FLAIR), 7 Szenarien fehlender Modalitäten. Aufgabe: Segmentierung von Schlaganfallläsionen.
avMNIST: 2 Modalitäten (Bild, Audio), 3 Szenarien. Aufgabe: Klassifizierung (Proof-of-Concept für nicht-medizinische, heterogene Modalitäten).

Quantitative Leistung

BraTS 2018: LARGO belegte in 15/15 Szenarien für Whole Tumor (WT) den ersten Platz, in 11/15 für Tumor Core (TC) und in 14/15 für Enhancing Tumor (ET).
- Durchschnittliche Dice-Verbesserungen gegenüber Baselines (mmFormer, M³AE, ShaSpec, SimMLM): +0,68 % (WT), +2,53 % (TC) und signifikante Gewinne bei ET.
- LARGO erreichte eine durchschnittliche Dice von 87,05 % (WT), 79,35 % (TC) und 62,83 % (ET).
ISLES 2022: LARGO belegte in allen 7 Szenarien den ersten Platz.
- Durchschnittliche Dice: 62,67 %, was die nächstbeste (M³AE mit 60,14 %) übertrifft.
- Bemerkenswerte Gewinne in schwierigen Ein-Modalitäts-Fällen (z. B. nur ADC: 42,49 % vs. 40,03 %).
avMNIST: LARGO erreichte die höchste durchschnittliche Genauigkeit (97,00 %), eine Verbesserung von +0,44 % gegenüber dem nächsten Konkurrenten, was die Anwendbarkeit auf heterogene nicht-medizinische Modalitäten demonstriert.

Effizienz und Komplexität

Parameter-Effizienz: LARGO behält eine Parameteranzahl bei, die einem einzelnen dedizierten Modell ähnelt (z. B. 22,6 M auf BraTS 2018), während es implizit alle 15 dedizierten Modelle repräsentiert. Dies ist deutlich effizienter als ShaSpec (187,7 M Parameter) und mit anderen Baselines vergleichbar.
Rechen-Overhead: Die dynamische Gewichtsrekonstruktion führt zu einer Erhöhung der GFLOPs um 24,6 % und einer Erhöhung des VRAM-Spitzenbedarfs um 25,1 % im Vergleich zu einem einzelnen nnU-Net-Backbone. Die Autoren stellen fest, dass dies akzeptabel ist, da Modelle für fehlende Modalitäten ohnehin zusätzliche Operationen einführen.
Skalierbarkeit: Die Methode ist für $N \lesssim 10$ Modalitäten praktikabel, da die unkomprimierten Stamm-/Kopfschichten (die exponentiell wachsen) einen vernachlässigbaren Anteil der Gesamtparameter ausmachen.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass LARGO die Lücke zwischen der Spezialisierung dedizierter Modelle und der Skalierbarkeit von Einzelmodell-Ansätzen schließt. Durch die Ausnutzung struktureller Ähnlichkeiten in Faltungskernen über modalitätsspezifische Modelle hinweg mittels Tenzorzerlegung eliminiert LARGO die Notwendigkeit einer exponentiellen Speicher- und Rechen-Skalierung.

Die Autoren positionieren LARGO als prinzipielles Hypernetwork-Framework, das:

Die Risiken der „Halluzination" generativer Imputation vermeidet.
Die Leistungskompromisse geteilter Encoder-Architekturen vermeidet.
State-of-the-Art-Ergebnisse ohne komplexe Trainingspipelines (z. B. Knowledge Distillation) erzielt.

Der Proof-of-Concept auf avMNIST legt nahe, dass das Potenzial der Methode über die medizinische Bildgebung hinaus auf jede Aufgabe reicht, die heterogene Modalitäten mit fehlenden Daten beinhaltet. Die Autoren schließen, dass zukünftige Arbeiten ausdrucksstärkere, nichtlineare Hypernetwork-Formulierungen und Erweiterungen auf Transformer-basierte Architekturen untersuchen werden.