Assessing Multimodal Chronic Wound Embeddings with Expert Triplet Agreement

Titolo: Valutazione di Embedding Multimodali per Ferite Croniche con Accordi di Tripletta Esperti

1. Il Problema

La Epidermolisi Bollosa Distrofica Recessiva (RDEB) è una rara malattia genetica della pelle caratterizzata da fragilità cutanea, ferite croniche non cicatrizzanti e un elevato rischio di carcinoma. La gestione clinica di questa patologia richiede l'identificazione di casi simili basandosi su immagini delle ferite e descrizioni cliniche testuali.
Tuttavia, esistono due sfide principali:

1. Limiti dei modelli fondazione esistenti: I modelli pre-addestrati su larga scala (foundation models) non riescono a catturare in modo affidabile le caratteristiche clinicamente significative per malattie rare e "long-tail" come la RDEB, mancando di una differenziazione fine-granulare della gravità e del danno tissutale.
2. Valutazione dell'accordo: È difficile misurare strutturatamente l'accordo tra i modelli e gli esperti clinici, poiché le somiglianze tra ferite sono spesso graduali e sovrapposte, resistendo a una categorizzazione discreta semplice.

2. Metodologia: TriDerm

Gli autori propongono TriDerm, un framework multimodale progettato per apprendere rappresentazioni interpretabili delle ferite da piccoli cohorti, integrando immagini, maschere di confine e report esperti.

A. Rappresentazione Visiva (Vision)

• Adattamento del Modello: Utilizzano un modello fondazione visivo (DermLIP-ViT-B) congelato.
• Attention Pooling a livello di ferita: Invece di una media globale, estraggono feature vector specifici per ogni ferita campionando le località spaziali all'interno della regione della ferita. Questi vengono aggregati tramite un modulo di attention pooling (un MLP a due livelli).
• Apprendimento Non-Contrastivo: Il modello viene adattato utilizzando la funzione di perdita VICReg (Variance-Invariance-Covariance Regularization). Questo approccio self-supervised non richiede campioni negativi, rendendolo ideale per dataset piccoli.
• Obiettivo: Migliorare la capacità del modello di distinguere la gravità e i dettagli fini delle ferite RDEB.

B. Rappresentazione Testuale (Text)

• Protocollo "Synthetic-Expert": Invece di usare direttamente le attivazioni interne di un LLM, il modello (GPT-OSS-120B) agisce come un "esperto sintetico".
• Query di Tripletta: Si presentano all'LLM tre descrizioni di ferite (A, B, C) chiedendo: "La ferita B è più simile ad A o a C?".
• Soft Ordinal Embeddings (SOE): Le risposte binarie dell'LLM definiscono vincoli ordinali. Viene poi adattato un embedding continuo (SOE) minimizzando una hinge loss che forza la distanza tra l'ancora e la ferita più simile ad essere inferiore alla distanza con la ferita meno simile. Questo processo avviene su soli 50 testi non etichettati.

C. Fusione Multimodale

Poiché visione e testo catturano aspetti complementari, vengono valutate due strategie di fusione basate sulle matrici di distanza normalizzate:

1. Fusione Consapevole dell'Incertezza: Pesa le modalità in base alla loro affidabilità (varianza delle distanze). Se una modalità è incerta (distanze equidistanti), l'altra ha più peso.
2. Fusione Basata sulla Similarità: Combina le similarità (inverso delle distanze) delle due modalità, filtrando i falsi positivi che potrebbero emergere da una sola modalità.

3. Contributi Chiave

1. Paradigma di Tripletta: Introduzione di un metodo di valutazione basato su giudizi di tripletta ordinali (più simili vs meno simili) per misurare il ragionamento medico in contesti di malattie rare, superando i limiti delle etichette categoriali.
2. TriDerm: Un framework che combina attention pooling e apprendimento non-contrastivo per adattarsi alle caratteristiche specifiche della RDEB.
3. Embedding da Dati Limiti: Dimostrazione che è possibile ottenere embedding clinicamente significativi per il testo utilizzando solo 50 descrizioni non etichettate tramite SOE e LLM.
4. Rilascio Open Source: Pubblicazione dello strumento di annotazione, del codice del modello e di campioni rappresentativi del dataset.

4. Risultati Sperimentali

Il dataset utilizzato comprende 53 immagini di ferite da 21 pazienti (120 ferite totali annotate) e 513 triplette valutate da un dermatologo esperto.

• Performance Visiva: TriDerm (solo visione) raggiunge un accordo bilanciato del 71.6%, superando il miglior baseline (DermLIP) di 3.7 punti percentuali.
• Performance Testuale: L'approccio SOE su LLM raggiunge il 67.4%, superando i modelli linguistici standard (come RoBERTa) di 3.7 punti percentuali.
• Fusione Multimodale: La strategia di fusione "consapevole dell'incertezza" ottiene il risultato migliore, raggiungendo un accordo del 73.5%.
  • Questo rappresenta un miglioramento di +5.6 punti percentuali rispetto al miglior modello fondazione single-modality esistente.
  • Il coefficiente di Kappa di Cohen sale a 0.446 (accordo moderato), contro valori inferiori per le modalità singole.
• Ablation Study:
  • Per il testo, la dimensione ottimale dell'embedding è 4.
  • Per la visione, l'attention pooling supera la media pooling e VICReg supera le loss contrastive e triplet standard in regime di pochi dati.
  • Gli LLM più grandi (GPT-120B) funzionano meglio di quelli specializzati ma più piccoli per il compito di giudizio di similarità.

5. Significato e Conclusioni

Il lavoro dimostra che i modelli fondazione generici catturano solo una parte della struttura clinica rilevante per le malattie rare. L'adattamento mirato (fine-tuning non-contrastivo per la visione e SOE per il testo) utilizzando giudizi di tripletta esperti permette di colmare il divario con la conoscenza clinica, anche con pochissimi dati.
La fusione multimodale si rivela cruciale, poiché visione e testo forniscono segnali indipendenti e complementari. Il metodo proposto offre una soluzione scalabile per la ricerca e il supporto decisionale clinico in dermatologia, specialmente per patologie rare dove i dati etichettati sono scarsi ma i giudizi di similarità esperta sono ottenibili.