Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement

Probleemstelling

Recessieve dystrofische epidermolysis bullosa (RDEB) is een zeldzame, chronische genetische huidziekte die leidt tot ernstige wonden, huidfragiliteit en een verhoogd risico op huidkanker. Voor clinici is het cruciaal om vergelijkbare gevallen te vinden op basis van wondafbeeldingen en klinische teksten om behandelingsuitkomsten te voorspellen.

Er bestaan echter twee belangrijke lacunes in de huidige state-of-the-art:

1. Gebrek aan specificiteit: Bestaande foundation-modellen (zowel visueel als tekstueel) zijn getraind op brede dermatologische datasets en kunnen de fijne, klinisch relevante nuances en de grote heterogeniteit van wonden bij zeldzame ziekten zoals RDEB niet betrouwbaar onderscheiden.
2. Validatie-uitdaging: Het valideren van deze modellen is moeilijk omdat er weinig gelabelde data is. Traditionele categorische labels (bijv. "zwaar" vs. "licht") zijn vaak te grof; wondernieuwschade bestaat uit een continuüm van gradaties dat beter wordt weergegeven door ordinaire vergelijkingen dan door discrete klassen.

Methodologie: TriDerm

De auteurs stellen TriDerm voor, een multimodaal framework dat leert van kleine cohorts door visuele en tekstuele modaliteiten te integreren, met als doel interpretabele wondrepresentaties te creëren.

1. Visuele Representatie (Vision)

In plaats van standaard foundation-modellen direct te gebruiken, passen de auteurs een aanpassing toe op het DermLIP-model (een visuele foundation voor dermatologie):

• Wond-niveau Attention Pooling: Het model verwerkt niet het hele beeld, maar focust op specifieke wondregio's (gemankeerd door experts). Er wordt een attention-pooling module gebruikt (een MLP met tanh-activaties) om relevante ruimtelijke features binnen de wond te aggregeren.
• Niet-contrastief leren: Om te voorkomen dat het model overfit op de kleine dataset (53 afbeeldingen, 120 wonden), wordt VICReg (Variance-Invariance-Covariance Regularization) gebruikt. Dit is een zelftoezicht-objectief dat geen negatieve voorbeelden vereist, wat ideaal is voor data-schaarste. Het zorgt voor consistentie tussen augmentaties, voorkomt representatie-inzakking en reduceert redundantie.

2. Tekstuele Representatie (Text)

Voor de tekstuele beschrijvingen (vrij geschreven door experts) gebruiken de auteurs geen traditionele fine-tuning, maar een Synthetic-Expert Protocol:

• LLM als Synthese-expert: Grote Taalmodellen (LLM's, specifiek gpt-oss-120b) worden geprompt met de vraag of wond A meer lijkt op wond B of C, gebaseerd op de tekstuele beschrijvingen.
• Soft Ordinal Embeddings (SOE): De antwoorden van de LLM vormen een set van "triplet constraints" (ordinaire relaties). Een SOE-model wordt getraind om een continue embedding-ruimte te vinden die deze relaties respecteert (d.w.z. de afstand tussen A en B moet kleiner zijn dan tussen A en C als de LLM dat zo oordeelt). Dit gebeurt met slechts 50 ongelabelde tekstbeschrijvingen.

3. Multimodale Fusie

Omdat visie en tekst complementaire informatie bevatten, worden twee fusiestrategieën geëvalueerd die werken op afstandsmatrices zonder extra training:

• Uncertainty-aware Fusion: Elke modality krijgt een gewicht op basis van de variantie in de afstanden (betrouwbaarheid). Als een modality onzeker is (gelijke afstanden), krijgt de andere modality meer gewicht.
• Similarity-based Fusion: Afstanden worden omgezet in gelijkenissen en vermenigvuldigd. Dit filtert valse positieven die door slechts één modality worden gegenereerd.

Kernbijdragen

1. Triplet-paradigma: Introductie van een evaluatiemethode gebaseerd op triplet-judgments van experts (welke van twee referenties lijkt het meest op een derde) in plaats van categorische labels. Dit vangt de ordinaire, graduele aard van wondernieuwschade beter.
2. TriDerm Framework: Een nieuw framework dat visuele foundation-modellen aanpast via attention pooling en niet-contrastief leren, en LLM's gebruikt om medische redenering in embeddings te vertalen via SOE.
3. Data-efficiëntie: Het succesvol creëren van klinisch zinvolle embeddings met slechts 53 patiënten (120 wonden) en 50 tekstbeschrijvingen.
4. Open Science: Publicatie van het annotatiehulpmiddel, de modelcode en representatieve dataset samples.

Resultaten

De prestaties werden gemeten aan de hand van overeenstemming met de oordelen van een dermatoloog (triplet agreement).

• Unimodaal:
  • De tekstuele TriDerm (SOE) behaalde 67,4% overeenstemming, wat een verbetering is van 3,7% ten opzichte van de beste baseline (RoBERTa).
  • De visuele TriDerm (Attention + VICReg) behaalde 71,6%, een verbetering van 3,7% ten opzichte van de beste visuele baseline (DermLIP).
  • Opmerkelijk: MedGemma presteerde goed op tekst (61,3%) maar slecht op visie (50,3%, willekeurig), wat aantoont dat foundation-modellen niet automatisch goed presteren op specifieke, zeldzame ziekten zonder aanpassing.
• Multimodaal:
  • De Uncertainty-aware fusie bereikte 73,5% overeenstemming. Dit is een verbetering van 5,6% ten opzichte van de beste enkelvoudige foundation-model baseline en 1,9% ten opzichte van visie alleen.
  • Dit bevestigt dat visie en tekst complementaire informatie bieden; hun combinatie filtert fouten van individuele modaliteiten.
• Kwalitatieve Evaluatie: De embedding-ruimte toonde aan dat visueel vergelijkbare wonden (bijv. oppervlakkige granulatie vs. diepe ulcera) dicht bij elkaar liggen in de ruimte, wat medisch zinvol is.

Betekenis en Conclusie

Dit paper demonstreert dat foundation-modellen, hoewel ze een basisstructuur bevatten, niet voldoende zijn voor de fijne differentiatie die nodig is bij zeldzame ziekten zoals RDEB. Door gerichte aanpassing (VICReg voor visie, SOE voor tekst) en het gebruik van expert-triplets als gouden standaard, kan men met zeer beperkte data hoogwaardige, klinisch relevante embeddings creëren.

De belangrijkste implicatie is dat multimodale fusie de kloof tussen AI-voorspellingen en expertoordeel aanzienlijk verkleint. De voorgestelde methode biedt een robuust kader voor het evalueren en verbeteren van AI in de geneeskunde waar gelabelde data schaars is, maar expertkennis (in de vorm van vergelijkende oordelen) wel beschikbaar is.