💻 computer science

LARGO: Low-Rank Hypernetwork for Handling Missing Modalities

LARGO is een nieuw hypernetwerk met lage rang dat de uitdaging van ontbrekende modaliteiten in multimodale beeldanalyse aanpakt door meerdere gespecialiseerde modellen te comprimeren tot één enkel netwerk via canonieke polyadische tensorontbinding van convolutiegewichten, waarmee het state-of-the-art prestaties bereikt op diverse medische en niet-medische datasets.

Oorspronkelijke auteurs: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Gepubliceerd 2026-05-08

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Niels Vyncke, Pooya Ashtari, Aleksandra Pižurica

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een arts bent die probeert een hersentumor te diagnosticeren. Normaal gesproken heb je een volledige toolkit: vier verschillende soorten MRI-scans (zoals het maken van foto's vanuit vier verschillende hoeken of met vier verschillende filters). Wanneer je alle vier hebt, is de diagnose eenvoudig en nauwkeurig.

Maar in de echte wereld gaan dingen mis. Misschien is de machine voor één specifieke scan kapot, kan de patiënt niet lang genoeg stilzitten voor een tweede scan, of beschikt het ziekenhuis gewoon niet over de apparatuur. Plotseling heb je slechts één of twee scans. De meeste computerprogramma's (AI-modellen) die zijn getraind om tumoren te diagnosticeren, raken in de war of falen volledig wanneer ze niet over hun volledige set tools beschikken. Ze zijn als een kok die alleen een perfecte maaltijd kan bereiden als hij elk ingrediënt in de keuken heeft; als hem zout ontbreekt, kan hij de soep niet maken.

De Oude Manier: Eén Kok per Recept

Traditioneel probeerden onderzoekers dit op te lossen met twee hoofdbenaderingen:

De "Alleskunner"-Kok: Train één gigantische AI om elke combinatie van ontbrekende scans te verwerken. Het probleem is dat deze kok in de war raakt. Hij probeert goed te zijn in alles, maar eindigt als middelmatig in specifieke taken.
Het "Specialisten"-Team: Train een apart, perfect AI-model voor elke mogelijke combinatie (bijvoorbeeld één AI voor "alleen T1", een andere voor "alleen T2", een andere voor "T1 en T2", enz.). Met 4 soorten scans zijn er 15 verschillende combinaties. Dit betekent dat je 15 verschillende AI-modellen nodig hebt. Dit is als het inhuren van 15 verschillende koks alleen maar om verschillende ontbrekende ingrediënten te verwerken. Het vereist een enorme hoeveelheid opslagruimte en rekenkracht, waardoor het onpraktisch is voor ziekenhuizen.

De Nieuwe Oplossing: LARGO (De "Magische Blauwdruk")

De auteurs van dit artikel stellen een slim nieuw systeem voor dat LARGO heet. In plaats van 15 koks in te huren of één verwarde kok te trainen, bouwden ze een "Magische Blauwdruk-generator."

Hier is hoe het werkt, met behulp van een analogie:

1. De Familie van Recepten
Stel je voor dat alle 15 verschillende "Specialist"-AI's eigenlijk zeer vergelijkbaar zijn. Ze weten allemaal hoe ze een hersenen moeten bekijken, ze weten allemaal hoe ze een tumor moeten opsporen, en ze gebruiken allemaal vergelijkbare "wiskundige recepten" (gewichten) om dit te doen. Het enige verschil is welke scan ze bekijken.

2. De Compressietrick (CP-decompositie)
De auteurs beseften dat omdat deze 15 modellen zo vergelijkbaar zijn, ze vol redundantie zitten. Het is alsof je 15 boeken hebt waarbij 90% van de tekst identiek is, en alleen de hoofdstuktitels veranderen.
LARGO gebruikt een wiskundige truc genaamd Canonical Polyadic (CP)-decompositie. Denk hierbij aan het nemen van die 15 boeken en het comprimeren tot één enkel, klein "Meesterblauwdruk".

Deze Meesterblauwdruk slaat geen 15 aparte modellen op.
In plaats daarvan slaat hij een paar "factor-matrices" op (zoals een set Lego-blokjes en een set instructies).
Een specifieke set instructies vertelt de blauwdruk: "Als de patiënt alleen de T2-scan heeft, assembleer het model met deze specifieke blokjes."

3. De "Op Maat"-Constructie
Wanneer een patiënt aankomt met ontbrekende scans, hoeft het LARGO-systeem geen nieuw model te laden. Het kijkt gewoon naar de Meesterblauwdruk, leest de instructie voor dat specifieke ontbrekende-scenario, en reconstrueert direct het perfecte, gespecialiseerde AI-model voor die exacte situatie.

Het is als het hebben van een 3D-printer die binnen enkele seconden een specifiek gereedschap voor een specifieke klus kan printen, in plaats van een magazijn vol met elk mogelijk gereedschap te bewaren.

Wat Bewezen Ze?

De onderzoekers testten deze "Magische Blauwdruk" op echte medische data:

Hersentumoren (BraTS 2018): Ze testten het op 15 verschillende scenario's van ontbrekende MRI-scans. LARGO was de beste in het diagnosticeren van tumoren in 14 van de 15 scenario's vergeleken met de beste bestaande methoden.
Beroerte-detectie (ISLES 2022): Ze testten het op 7 verschillende scenario's van ontbrekende beroerte-scans. LARGO was de beste in alle 7 scenario's.
Niet-medische Test (avMNIST): Om te bewijzen dat het niet alleen een medische truc was, probeerden ze het op een mix van afbeeldingen en audio (zoals het herkennen van een nummer uit een foto en een geluid). Het werkte daar ook goed, wat aantoont dat de methode flexibel is.

De Conclusie

LARGO is een manier om de gespecialiseerde prestaties van 15 verschillende AI-modellen te hebben zonder de opslagkosten van het bewaren van 15 verschillende modellen. Dit doet het door te beseffen dat deze modellen neven zijn, geen vreemden, en ze comprimeert tot één efficiënte "gewicht-ruimte" blauwdruk die het juiste model direct kan herbouwen wanneer het nodig is.

Het artikel beweert dat dit resulteert in een hogere nauwkeurigheid (betere diagnoses) en een betere efficiëntie (minder computergeheugen nodig) vergeleken met huidige state-of-the-art methoden, zonder dat er complexe multi-stap training nodig is of "hallucineren" van nep-data om de gaten op te vullen.

Technische Samenvatting: LARGO (Low-Rank Hypernetwork voor het Behandelen van Ontbrekende Modaliteiten)

Probleemstelling

Bij multimodale beeldanalyse, met name in medische beeldvorming (bijvoorbeeld segmentatie van hersentumoren, detectie van beroerteläsies), is het vaak niet haalbaar om alle beschikbare modaliteiten te verwerven vanwege beperkingen in apparatuur, scan-tijdsbeperkingen of patiënttoestand. Dit resulteert in onvolledige modaliteitssets tijdens de inferentie. Standaard deep learning-modellen hebben moeite met dergelijke ontbrekende invoer zonder expliciet architectonisch ontwerp.

Bestaande benaderingen staan voor een fundamentele afweging tussen specialisatie en schaalbaarheid:

Methoden met één model (bijvoorbeeld zero-imputatie, gedeelde encoders) dwingen één netwerk om alle $2^N - 1$ modaliteitscombinaties te hanteren, wat vaak ten koste gaat van de prestaties op specifieke configuraties.
Toegewijde modellen (het trainen van een apart model voor elke combinatie) maximaliseren specialisatie, maar schalen exponentieel in opslag- en rekentijd.
Generatieve en distillatiemethoden lopen het risico klinisch gevaarlijke kenmerken te hallucineren of vereisen complexe meerstaps training.

De meeste huidige oplossingen werken in de kenruimte (feature space) en ontwerpen robuuste representaties om ontbrekende invoer te hanteren. Dit artikel stelt voor om te opereren in de weegruimte (weight space) om de redundantie aan te pakken die inherent is aan het trainen van aparte modellen voor verschillende modaliteits subsets.

Methodologie: LARGO

De auteurs stellen LARGO (Low-rAnk hypeRnetwork voor missinG mOdaliteiten) voor, een hypernetwork-framework dat de familie van $2^N - 1$ toegewijde modellen voor ontbrekende modaliteiten comprimeert tot één enkel netwerk.

Kernarchitectuur

Hypernetwork Formuleren: In plaats van $M = 2^N - 1$ aparte sets gewichten te leren, construeert LARGO één enkel hypernetwork $H_\phi$ dat impliciet alle toegewijde modellen $\{F_{\theta(m)}\}_{m=1}^M$ bevat.
Tensordecompositie (CPD): De methode maakt gebruik van de observatie dat modellen die toegang hebben tot dezelfde modaliteiten vergelijkbare patronen leren, wat impliceert dat er parameterredundantie is. LARGO stapelt de convolutiegewichten van alle $M$ $M$ toegewijde modellen langs een nieuwe "model-dimensie" en past Canonieke Polyadische (CP) tensordecompositie toe.
- De gewichtstensor $W \in \mathbb{R}^{M \times C_{in} \times C_{out} \times K}$ wordt ontbonden in factor matrices $A, B, C, D$ .
- Factor matrix $A$ indexeert de modaliteitscombinaties, terwijl $B, C, D$ respectievelijk invoerkanalen, uitvoerkanalen en kernel-dimensies vertegenwoordigen.
Low-Rank Herparameterisatie:
- Binnenste Lagen: Convolutielagen worden herparameteriseerd met behulp van de CP-decompositie. De rang $R$ wordt geselecteerd om een parameterbudget te behouden dat gelijkwaardig is aan dat van één enkel toegewijd model (waarmee een compressieverhouding van $1/M$ wordt bereikt).
- Stam- en Hoofdlagen: Deze lagen blijven ongecomprimeerd om invoer/uitvoer-flexibiliteit te behouden, hoewel hun bijdrage aan de parameters verwaarloosbaar is in vergelijking met de binnenste lagen.
Inferentie: Tijdens de inferentie reconstrueert het hypernetwork voor een specifieke modaliteitscombinatie $m$ de toegewijde convolutiegewichten $W^{(m)}$ door de factor matrices te contracteren (specifiek door de $m$ -de rij van factor matrix $A$ te selecteren). Dit voorkomt het berekenen van ongebruikte parameters voor andere modaliteits subsets.

Trainingsprocedure

Verliesfunctie: Het model wordt getraind met een standaard segmentatieverlies ( $L_{Dice} + L_{CE}$ ).
Strategie: De training maakt gebruik van willekeurige modaliteitsdropout gecombineerd met volledige-modaliteitsgids. Bij elke iteratie wordt een subset $m$ bemonsterd om het verlies voor die specifieke scenario met ontbrekende modaliteit te minimaliseren, terwijl een term die gebruikmaakt van de volledige-modaliteitsinvoer ervoor zorgt dat het netwerk tijdens de hele training wordt geleid door complete data.
Initialisatie: Factor matrices $B, C, D$ worden geïnitieerd via Kaiming normaal; matrix $A$ wordt geïnitieerd met enen. Gewichten worden vanaf nul getraind in plaats van afgeleid van vooraf getrainde gewichten.

Belangrijkste Bijdragen

Nieuwe Hypernetwork Formuleren: LARGO is de eerste methode die de kernel-gewichten van een hele familie van $2^N - 1$ toegewijde modellen voor ontbrekende modaliteiten gezamenlijk herparameteriseert tot één enkele, parameter-efficiënte representatie met behulp van CP-decompositie.
Werking in Weegruimte: In tegenstelling tot methoden in de kenruimte, werkt LARGO direct in de weegruimte, waarbij de exponentiële familie van modellen wordt gecomprimeerd tot één gecomprimeerde gewichtsmultifolium zonder hulpverliezen, leraarsnetwerken of meerstaps training.
State-of-the-Art Prestaties: De methode bereikt superieure resultaten op benchmarks voor medische beeldvorming, terwijl het aantal parameters vergelijkbaar blijft met dat van één enkel toegewijd model.

Experimentele Resultaten

Datasets en Scenario's

BraTS 2018: 4 modaliteiten (FLAIR, T1, T1c, T2), 15 scenario's met ontbrekende modaliteiten. Taak: Segmentatie van hersentumoren (WT, TC, ET).
ISLES 2022: 3 modaliteiten (DWI, ADC, FLAIR), 7 scenario's met ontbrekende modaliteiten. Taak: Segmentatie van beroerteläsies.
avMNIST: 2 modaliteiten (Afbeelding, Audio), 3 scenario's. Taak: Classificatie (Bewijs van concept voor niet-medische, heterogene modaliteiten).

Kwantitatieve Prestaties

BraTS 2018: LARGO behaalde eerste plaats in 15/15 scenario's voor Whole Tumor (WT), 11/15 voor Tumor Core (TC), en 14/15 voor Enhancing Tumor (ET).
- Gemiddelde Dice-verbeteringen ten opzichte van baselines (mmFormer, M³AE, ShaSpec, SimMLM): +0,68% (WT), +2,53% (TC), en significante winsten in ET.
- LARGO behaalde een gemiddelde Dice van 87,05% (WT), 79,35% (TC) en 62,83% (ET).
ISLES 2022: LARGO behaalde eerste plaats in alle 7 scenario's.
- Gemiddelde Dice: 62,67%, beter dan de volgende beste (M³AE met 60,14%).
- Opmerkelijke winsten in moeilijke gevallen met slechts één modaliteit (bijvoorbeeld ADC-only: 42,49% versus 40,03%).
avMNIST: LARGO behaalde de hoogste gemiddelde nauwkeurigheid (97,00%), een verbetering van +0,44% ten opzichte van de dichtstbijzijnde concurrent, wat de toepasbaarheid op heterogene niet-medische modaliteiten aantoont.

Efficiëntie en Complexiteit

Parameter-efficiëntie: LARGO behoudt een aantal parameters vergelijkbaar met één enkel toegewijd model (bijvoorbeeld 22,6M op BraTS 2018) terwijl het impliciet alle 15 toegewijde modellen vertegenwoordigt. Dit is aanzienlijk efficiënter dan ShaSpec (187,7M parameters) en vergelijkbaar met andere baselines.
Rekenkundige Overhead: Dynamische gewichtsreconstructie introduceert een toename van 24,6% in GFLOPs en een toename van 25,1% in piek-VRAM in vergelijking met één enkele nnU-Net backbone. De auteurs merken op dat dit acceptabel is, aangezien modellen voor ontbrekende modaliteiten toch meestal extra operaties introduceren.
Schaalbaarheid: De methode is praktisch voor $N \lesssim 10$ modaliteiten, aangezien de ongecomprimeerde stam-/hoofdlagen (die exponentieel groeien) slechts een verwaarloosbaar klein deel van de totale parameters uitmaken.

Betekenis en Beweringen

Het artikel beweert dat LARGO de kloof overbrugt tussen de specialisatie van toegewijde modellen en de schaalbaarheid van benaderingen met één model. Door structurele gelijkenissen in convolutiekernels over modaliteitsspecifieke modellen te exploiteren via tensordecompositie, elimineert LARGO de noodzaak voor exponentiële opslag- en rekenschaalvergroting.

De auteurs positioneren LARGO als een geprincipeerd hypernetwork-framework dat:

De risico's van "hallucinatie" bij generatieve imputatie vermijdt.
De prestatiecompromissen van architecturen met gedeelde encoders vermijdt.
State-of-the-art resultaten bereikt zonder complexe trainingspijplijnen (bijvoorbeeld kennisdistillatie).

Het bewijs van concept op avMNIST suggereert dat het potentieel van de methode verder reikt dan medische beeldvorming tot elke taak die heterogene modaliteiten met ontbrekende data omvat. De auteurs concluderen dat toekomstig werk meer expressieve, niet-lineaire hypernetwork-formuleringen en uitbreidingen naar op transformers gebaseerde architecturen zal verkennen.