Technische Samenvatting: Garanties die standhouden bij een ontbrekende scan

Probleemstelling

Multimodale medische diagnostiek leunt steeds vaker op de fusie van medische beeldvorming met gestructureerde tabelgegevens (bijv. laboratoriumuitslagen, demografie). In de praktijk van de implementatie komen deze modellen frequent een incomplete input tegen waarbij volledige modaliteiten ontbreken (bijv. een patiënt komt binnen zonder scan of zonder laboratoriumresultaten). Hoewel Conformal Prediction (CP) de standaardmethode is voor het bieden van distributievrije, eindige-steekproef dekkinggaranties voor dergelijke voorspellers, rust de validiteit ervan op de assumptie van uitwisselbaarheid (exchangeability) tussen de kalibratie- en testdata.

Het artikel identificeert een kritieke foutmodus: wanneer een volledige modaliteit afwezig is tijdens de testfase, verbreekt de assumptie van uitwisselbaarheid. Als de kalibratie wordt uitgevoerd op patiënten met volledige modaliteiten, maar de testfase plaatsvindt op patiënten met incomplete modaliteiten, zijn de non-conformiteitsscores niet langer uitwisselbaar. Bijgevolg verliest standaard marginale split CP stilletjes zijn conditionele validiteit op de subgroep met incomplete modaliteiten. Het artikel demonstreert dat deze mislukking zich op twee verschillende, tegengestelde manieren manifesteert, afhankelijk van de dataset en het trainingsregime:

1. Geldig maar oninformatief: De methode voldoet aan de dekkingstarget (bijv. 90%) door voorspellingssets te produceren die alle mogelijke labels bevatten (degeneratieve sets), wat geen bruikbaar klinisch inzicht biedt.
2. Informatief maar ongeldig: De methode produceert kleine, zelfverzekerde voorspellingssets, maar voldoet niet aan de dekkingstarget, waardoor de werkelijke diagnose aanzienlijk vaker wordt gemist dan de foutmarge toelaat.

Methodologie: Modality-Conditional Conformal Prediction (MC2)

Om dit aan te pakken, introduceren de auteurs Modality-Conditional Conformal Prediction (MC2). Deze benadering wijzigt het kalibratieproces om rekening te houden met ontbrekende modaliteiten zonder dat het onderliggende voorspellingsmodel opnieuw getraind hoeft te worden.

• Mondrian Kalibratie: MC2 behandelt het beschikbaarheidspatroon van de modaliteiten (bijv. "beeld+tabel", "alleen beeld", "alleen tabel") als een groeperingsfunctie. In plaats van één enkele globale drempelwaarde voor de gehele dataset te berekenen, stratificeert MC2 de kalibratieset op basis van deze patronen.
• Per-patroon Drempelwaarden: Voor elk modaliteitspatroon $m$ wordt een aparte drempelwaarde $\hat{q}_m$ berekend als het $(n_m + 1)(1-\alpha)/n_m$-kwantiel van de non-conformiteitsscores voor die specifieke subgroep.
• Implementatiedetails:
  • De voorspeller $f$ is getraind om incomplete inputs te verwerken met behulp van een leerbaar mask-token en modality dropout tijdens de training.
  • De beeldencoder is bevroren om de bijdrage aan de kalibratielaag te isoleren en de haalbaarheid op standaard hardware te waarborgen.
  • Als een specifiek modaliteitspatroon onvoldoende kalibratiedata heeft (onder een drempelwaarde $\tau$), valt de methode terug op de gepoolde (marginale) drempelwaarde en rapporteert deze dit fallback-scenario expliciet.
  • De methode gebruikt standaard non-conformiteitsscores, primair LAC (Least Ambiguous set-valued Classifier) ($s = 1 - p_y$), hoewel ook APS (Adaptive Prediction Sets) worden overwogen.

Belangrijkste Bijdragen

1. Formalisering van Verlies van Conditionele Validiteit: Het artikel demonstreert formeel dat standaard split CP conditionele validiteit verliest onder de afwezigheid van volledige modaliteiten en karakteriseert empirisch de "twee gezichten" van deze mislukking (geldig-maar-oninformatief versus informatief-maar-ongeldig).
2. Introductie van MC2: De auteurs stellen MC2 voor, een Mondrian-kalibratiestrategie die stratificeert op basis van modaliteitsbeschikbaarheidspatronen. Dit herstelt de geldige per-patroon dekking met garanties voor eindige steekproeven, zonder wijzigingen aan de getrainde voorspeller te verezen.
3. Identificatie van het Mechanisme: Door gecontroleerde experimenten identificeren de auteurs klasseprevalentie (niet modaliteitsredundantie) als de primaire drijfveer die bepaalt welk "gezicht" van de mislukking verschijnt. Het toont aan dat lage prevalentie leidt tot onderdekking, terwijl hoge prevalentie leidt tot degeneratieve sets.

Experimentele Resultaten

De methode werd geëvalueerd op twee publieke beeld+tabel datasets:

• CBIS-DDSM: Mammografie ROI's met tabelmetadata (Binair: Goedaardig/Kwaadaardig; Prevalentie ~40,8%).
• OL3I (Stanford AIMI): Enkele L3 CT-slices met klinische risicofactoren (Binair: 1-jaars Ischemische Hartziekte; Prevalentie ~4,4%).

Bevindingen:

• CBIS-DDSM (Hoge prevalentie): Marginale CP was geldig maar oninformatief. Bij 200 epochs bereikte het 100% dekking op de subgroep waarbij de afbeelding ontbrak, maar gaf het voor elk geval de volledige labelset uit (0% actieradius/actionable rate). MC2 herstelde de dekking naar ~90% terwijl het de actieradius verdubbelde (van ~13% naar ~26% bij early stopping, en herstelde van 0% bij langere training).
• OL3I (Lage prevalentie): Marginale CP was informatief maar ongeldig. Bij 200 epochs bereikte het een hoge actieradius (~89%), maar overtrad het de dekking, waarbij het zakte naar ~73% (target 90%). MC2 herstelde de dekking naar ~91% ten koste van een lagere, maar betrouwbare, actieradius.
• Synthetische Multi-class Studie: Een gecontroleerde studie met $K=6$ klassen bevestigde dat marginale CP de subgroep met ontbrekende beelden ernstig onderdekt (~45% dekking versus 90% target), terwijl MC2 de target handhaaft.
• Prevalentie Wisselwerking (Prevalence Swap): Door de prevalentiecijfers tussen de datasets kunstmatig te wisselen (terwijl de modaliteitsstructuren gelijk bleven), lieten de auteurs zien dat de mislukkingsmodus "omklapt". Het verlagen van de CBIS-prevalentie naar 4,4% induceerde onderdekking, terwijl het verhogen van de OL3I-prevalentie naar 40% degeneratie induceerde. Dit bevestigt dat prevalentie de drempelwaarde-mismatch drijft.

Betekenis en Claims

Het artikel claimt dat MC2 een eenvoudige, post-hoc en computationeel goedkope oplossing biedt voor een mislukkingsmodus die alomtegenwoordig is in de multimodale klinische praktijk. De betekenis ligt in:

• Herstel van Vertrouwen: Het zorgt ervoor dat de onzekerheidskwantificatie specifiek geldig blijft voor de patiënten met gedegradeerde inputs (ontbrekende scans), die vaak de meest kwetsbare zijn en behoefte hebben aan betrouwbare beslissingsondersteuning.
• Behoud van Nut: Het herstelt de afweging tussen validiteit (dekking) en informatieve waarde (grootte van de set), waardoor het model voorkomt dat het ofwel te zelfverzekerd is over zijn fouten, ofwel nutteloos wordt.
• Geen Her-training Vereist: De methode werkt als een kalibratielaag bovenop bestaande voorspellers, waardoor het direct toepasbaar is op uitgerolde systemen.

De auteurs blijven bescheiden over beperkingen en merken op dat de resultaten steunen op een bevroren encoder, dat de datasets binair zijn (hoewel multi-class resultaten op synthetische data zijn getoond), en dat het mechanisme berust op de assumptie dat ontbreken (missingness) conditionally at random is binnen elk patroon. Ze merken ook op dat de prestaties van MC2 met APS-scores regime-afhankelijk kunnen zijn en minder robuust kunnen zijn dan met LAC-scores.