💻 computer science

In-Context Learning for Wound Classification with Small Multimodal Language Models

Questo studio dimostra che i piccoli modelli linguistici multimodali possono eseguire efficacemente la classificazione di immagini di ferite senza addestramento attraverso l'apprendimento in contesto basato sul recupero, raggiungendo un'elevata accuratezza su dataset pubblici sfruttando esempi di supporto condizionati dalla query e il ricalcolo della rilevanza tramite la massima rilevanza marginale senza la necessità di un nuovo addestramento specifico per il compito.

Autori originali: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Pubblicato 2026-07-22

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: George Martvel, Oskar Gustafsson, John Pavia, Ernst Ahlberg

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di insegnare a un robot come riconoscere diversi tipi di ferite, come un graffio, una bruciatura o un taglio profondo. Di solito, per insegnare a un robot questo, devi mostrargli migliavere di immagini etichettate e costringerlo a memorizzarle attraverso un processo chiamato "addestramento". È come far studiare uno studente per settimane per un singolo esame. Ma cosa succederebbe se il robot potesse semplicemente guardare alcuni esempi poco prima dell'esame e capirlo sul momento? Questa è l'idea alla base dell' "In-Context Learning" (ICL). Pensa a come se stessi consegnando a uno studente un foglio con gli appunti con tre esempi perfetti di una "bruciatura" e di un "taglio" proprio prima che veda la nuova immagine. Non hanno bisogno di memorizzare l'intero libro di testo; devono solo guardare gli esempi e dire: "Oh, questo nuovo caso somiglia all'esempio della bruciatura".

Ora, immagina che questo robot sia piccolo e che entri in un laptop o in un telefono, invece di essere un gigantesco supercomputer nel cloud. Questi sono chiamati "Small Multimodal Language Models" (SMLM). Sono ottimi per la privacy perché non devi inviare le tue foto mediche private a un grande server; il robot può fare il ragionamento direttamente sul tuo dispositivo. La grande domanda che gli scienziati si sono posti è: questi piccoli robot locali possono davvero fare un buon lavoro con solo pochi esempi, o hanno bisogno dei giganteschi supercomputer e di enormi quantità di dati di addestramento per riuscirci?

Questo articolo mette alla prova questa idea. I ricercatori volevano vedere se potevano usare questi piccoli modelli AI locali per classificare le immagini delle ferite senza doverli riaddestrare ogni volta. Hanno allestito un esperimento utilizzando due collezioni pubbliche di foto di ferite: una con circa 1.469 immagini e un'altra con 560. Invece di chiedere semplicemente all'IA di indovinare (il che viene chiamato "zero-shot" e spesso porta a tentativi casuali), hanno provato a darle un "foglio con gli appunti" di esempi. Ma ecco il trucco: non hanno scelto gli esempi in modo casuale. Hanno usato un sistema di ricerca intelligente per trovare gli esempi che sembravano più simili alla nuova immagine della ferita.

I risultati sono stati piuttosto entusiasmanti per i piccoli robot. Quando l'IA gli è stato fornito un insieme di esempi scelti intelligentemente (specificamente, 10 esempi trovati tramite un sistema di ricerca chiamato kNN, e talvolta raffinati con un metodo chiamato MMR per garantire che gli esempi fossero diversificati), è diventata molto più brava nel suo lavoro. Sul dataset più grande, il miglior piccolo modello, una versione da 27 miliardi di parametri di Qwen 3.5, ha raggiunto un'accuratezza di 0,872. Ciò significa che ha dato la diagnosi corretta più dell'87% delle volte. Sul dataset più piccolo e complicato, è comunque riuscita a ottenere circa il 68% di accuratezza.

Lo studio ha anche scoperto che la dimensione del robot conta. I modelli piccoli ma più grandi (come le versioni da 27B e 9B) sono stati in grado di usare gli esempi per migliorare significatamente le loro ipotesi, spesso superando anche un normale programma per computer che si limita a votare in base al match più vicino. Tuttavia, i modelli più piccoli hanno faticato un po' di più, a volte limitandosi a copiare gli esempi senza comprendere davvero le sfumature. I ricercatori hanno anche scoperto che non serve un enorme foglio di appunti; aggiungere più di 8 o 10 esempi non aiutava molto e rendeva solo il processo più lento.

Fondamentalmente, l'articolo dimostra che questo approccio funziona senza la necessità di riaddestrare il modello per ogni nuovo compito. Se i medici decidono di cambiare le etichette o i tipi di ferite che stanno cercando, basta sostituire gli esempi nel prompt e il modello si adatta istantaneamente. Sebbene le prestazioni non siano perfette e dipendano fortemente dal possedere buoni esempi e un modello di dimensioni decenti, lo studio suggerisce che i piccoli modelli AI locali possono essere un modo pratico e rispettoso della privacy per aiutare a classificare le ferite, offrendo un'alternativa flessibile ai sistemi pesanti e affamati di dati del passato.

Sintesi Tecnica: In-Context Learning per la Classificazione delle Ferite con Piccoli Modelli Linguistici Multimodali

Definizione del Problema
La classificazione delle immagini delle ferite è tradizionalmente trattata come un problema di apprendimento supervisionato specifico per il compito. Questo paradigma richiede una quantità sostanziale di dati etichettati manualmente e necessita di un nuovo addestramento ogni volta che lo spazio delle etichette o il contesto di implementazione cambia. Tali requisiti sono particolarmente gravosi in ambito medico, dove le etichette esperte sono scarse, i vincoli sulla privacy limitano la condivisione dei dati e le definizioni cliniche evolvono rapidamente. Sebbene i Large Multimodal Language Models (LMLM) offrano capacità zero-shot, essi spesso richiedono l'inferenza lato server, sollevando preoccupazioni sulla privacy per i dati sensibili dei pazienti. Al contrario, i Small Multimodal Language Models (SMLM), adatti all'implementazione locale o edge, spesso faticano con compiti medici complessi senza fine-tuning. Questo studio investiga se gli SMLM possano servire come alternativa pratica e preservante della privacy per la classificazione delle ferite utilizzando il retrieval-based in-context learning (ICL), evitando così il retraining specifico per il compito.

Metodologia
Lo studio ha valutato undici SMLM delle famiglie Qwen 3.5, Ministral 3 e Gemma 4, con parametri che variano da 0.8B a 27B. Gli esperimenti sono stati condotti su due dataset pubblici: il dataset delle ferite Kaggle (1.469 immagini, 10 classi) e il dataset Medetec (560 immagini, 9 classi).

La metodologia principale ha consistito nella costruzione di prompt per gli SMLM utilizzando tre strategie per la selezione degli esempi di supporto (contesto few-shot):

Zero-shot: Nessun esempio di supporto fornito.
Random Few-shot: Esempi di supporto campionati uniformemente dal dataset.
Retrieval-based ICL: Esempi di supporto selezionati tramite retrieval basato su embedding utilizzando un encoder OpenAI CLIP ViT-B/32 congelato. Sono state testate due strategie di retrieval:
- kNN: Selezione dei $K$ vicini più prossimi basata sulla similarità del coseno.
- kNN+MMR: Selezione dei vicini utilizzando la Maximal Marginal Relevance per bilanciare rilevanza e diversità.

Per isolare il contributo del ragionamento del modello dal meccanismo di retrieval stesso, gli autori hanno confrontato le prestazioni degli SMLM rispetto a un baseline di weighted-kNN basato solo sul retrieval. Inoltre, lo studio ha valutato l'impatto della dimensione del set di supporto (riducendo il pool al 75%, 50% e 25%) e della dimensione del contesto di supporto (variando $K$ da 2 a 20) sulle prestazioni e sui costi di inferenza. Sono stati valutati anche i baseline supervisionati (ViT, ConvNeXt, EfficientNet, ResNet) con full fine-tuning, LoRA e head-only tuning per il confronto.

Risultati Chiave

Il Retrieval è Critico: Il retrieval condizionato dalla query (kNN e kNN+MMR) ha superato costantemente il prompting zero-shot e random few-shot. Sul dataset Kaggle, il miglior modello (Qwen 3.5 27B con kNN+MMR) ha raggiunto un'accuratezza di 0.872, rispetto allo 0.580 dello zero-shot. Sul più impegnativo dataset Medetec, la stessa configurazione ha raggiunto un'accuratezza di 0.678 rispetto allo 0.367 dello zero-shot.
Scala del Modello e Ragionamento: I modelli più grandi (es. Qwen 3.5 27B, 9B; Gemma 4 26B) hanno superato significativamente il baseline di weighted-kNN basato solo sul retrieval. L'analisi statistica (test di McNemar) ha confermato che questi modelli non si limitavano a "ripetere a memoria" gli esempi recuperati, ma utilizzavano la conoscenza interna per correggere gli errori commessi dal controllo basato solo sul retrieval. Ad esempio, su Kaggle, Qwen 3.5 27B ha preservato il 96% delle predizioni corrette del controllo, "recuperando" al contempo il 61.6% degli errori del controllo. I modelli più piccoli (es. Qwen 3.5 0.8B) spesso non sono riusciti a superare il baseline basato solo sul retrieval, suggerendo una mancanza di capacità nell'integrare efficacemente il contesto recuperato.
Robustezza alla Scarsità di Dati: Il retrieval-based ICL ha dimostrato robustezza rispetto alla riduzione dei set di supporto. Sebbene le prestazioni siano degradate al diminuire del pool di supporto, i migliori SMLM con ICL hanno superato i baseline supervisionati addestrati sulle stesse frazioni di dati ridotte. Ad esempio, sul dataset Medetec con solo il 25% dei dati di supporto, il miglior SMLM (Qwen 3.5 27B) ha raggiunto un'accuratezza di circa 0.53, superando il miglior modello supervisionato (ConvNeXt-Tiny) che è sceso a circa 0.41.
Dimensione del Contesto e Costi: L'aumento della dimensione del contesto di supporto ha prodotto rendimenti positivi ma decrescenti. La maggior parte dei guadagni di performance si è saturata tra 8 e 10 immagini di supporto. Oltre questo punto, i guadagni di accuratezza sono stati minimi mentre la latenza di inferenza e i conteggi dei token sono aumentati linearmente.

Significatività e Rivendicazioni
Il paper sostiene che il retrieval-based ICL permetta agli SMLM di eseguire la classificazione adattabile delle immagini delle ferite senza la necessità di retraining o fine-tuning specifici per il compito. Questo approccio offre un compromesso vitale tra adattabilità al compito, costo computazionale e prestazioni di classificazione, particolarmente in contesti sensibili alla privacy dove i dati non possono essere inviati a fornitori cloud esterni.

Gli autori sottolineano che, sebbene gli SMLM non superino necessariamente i grandi modelli remoti o i sistemi completamente sottoposti a fine-tuning in tutti gli scenari, essi forniscono un "utile compromesso che preserva la privacy". Lo studio dimostra che contesti compatti e recuperati possono supportare l'implementazione pratica su hardware locale, a condizione che la scala del modello e la strategia di retrieval siano adeguatamente accoppiate alla difficoltà del compito. Il lavoro evidenzia come la scelta degli esempi di supporto sia centrale per un ICL efficace, e che gli SMLM più grandi possono sfruttare efficacemente il contesto recuperato per eccedere il semplice voto del vicino più prossimo, rendendoli una soluzione flessibile per i compiti di imaging medico dove i set di etichette e le definizioni possono cambiare.

Articoli simili