Fine-tuned Vision Language Model for Localization of Parasitic Eggs in Microscopic Images

Riassunto Tecnico: Modello di Visione e Linguaggio (VLM) per la Localizzazione di Uova Parassitarie

1. Il Problema

Le infezioni da elminti trasmessi dal suolo (STH) rappresentano un grave problema di salute pubblica globale, colpendo oltre 1,5 miliardi di persone, principalmente nelle regioni tropicali e subtropicali. La diagnosi di queste infezioni si basa attualmente sull'esame microscopico manuale dei campioni fecali, considerato lo standard aureo. Tuttavia, questo approccio presenta limitazioni critiche:

• Intensità lavorativa e tempi: Un tecnico esperto impiega circa 30 minuti per analizzare un singolo campione.
• Affidabilità: La somiglianza morfologica tra diverse uova parassitarie e la presenza di impurità nei campioni rendono l'identificazione manuale complessa.
• Errore umano: La carenza di personale specializzato porta a affaticamento e aumenta la probabilità di errori diagnostici, ritardando il trattamento e favorendo la diffusione della malattia.

Esiste quindi un'urgente necessità di sviluppare sistemi automatizzati capaci di identificare e localizzare con precisione le uova parassitarie per migliorare velocità, efficienza e accuratezza diagnostica.

2. Metodologia

Il paper propone l'utilizzo e l'adattamento di un Modello di Visione e Linguaggio (VLM), specificamente Florence-2, per il compito di localizzazione (object detection) delle uova parassitarie.

• Dataset: È stato utilizzato il dataset Chula-ParasiteEgg-11, presentato alla sfida ICIP 2022. Questo dataset contiene 11.000 immagini microscopiche di 11 diverse specie di uova parassitarie (es. Ascaris lumbricoides, Hookworm, Taenia spp.). Le immagini presentano una grande variabilità di condizioni: diverse risoluzioni, livelli di illuminazione, sfocature, rumore e motion blur, catturate con diversi dispositivi (microscopi ottici, smartphone, fotocamere DSLR).
• Modello Base: Florence-2 è un modello unificato "sequence-to-sequence" basato su un encoder DaVit e un decoder multimodale. È stato pre-addestrato su un dataset massivo (FLD-5B) e supporta task guidati da prompt testuali.
• Fine-Tuning: Gli autori hanno eseguito un fine-tuning della versione "Large" (0.77B) di Florence-2 utilizzando il dataset Chula-ParasiteEgg-11.
  • Configurazione: Le immagini sono state ridimensionate a 768x768. L'addestramento è stato condotto con PyTorch su GPU NVIDIA RTX2000 Ada per 3 epoche, con un learning rate di 0.00005 e l'uso di LoRA (Low-Rank Adaptation) con rank 8 per un adattamento efficiente dei parametri.
  • Input/Output: Il sistema riceve l'immagine microscopica e un prompt testuale di istruzione (es. "localize all parasitic eggs"). Il modello restituisce le coordinate dei bounding box.

3. Contributi Chiave

I principali contributi scientifici del lavoro sono:

1. Valutazione delle capacità di base: Analisi delle prestazioni del modello Florence-2 non addestrato (base) per la localizzazione di uova parassitarie, dimostrando la sua inefficacia senza adattamento specifico.
2. Adattamento specifico: Implementazione di un processo di fine-tuning su Florence-2 utilizzando il dataset ICIP22, trasformando un modello generico in uno specializzato per la diagnostica parassitologica.
3. Confronto prestazionale: Valutazione quantitativa e qualitativa del modello fine-tuned rispetto a metodi di object detection tradizionali (in particolare EfficientDet) e alla versione base del modello, dimostrando superiorità nelle metriche di localizzazione.

4. Risultati

I risultati sperimentali evidenziano un miglioramento drastico delle prestazioni grazie al fine-tuning:

• Confronto Base vs. Fine-tuned: Il modello Florence-2 "base" ha fallito nel localizzare accuratamente le uova, mostrando una distribuzione di IoU (Intersection over Union) con un picco significativo a 0, indicando mancate rilevazioni o localizzazioni errate dovute alla mancanza di dati specifici nel pre-training.
• Prestazioni del Modello Fine-tuned: Dopo l'addestramento specifico, il modello ha raggiunto un mIoU (mean Intersection over Union) di 0.94, indicando una sovrapposizione quasi perfetta tra le bounding box predette e quelle reali.
• Confronto con EfficientDet: Rispetto al modello EfficientDet (citato come stato dell'arte precedente), il Florence-2 fine-tuned ha mostrato una distribuzione di IoU più concentrata verso valori alti (0.90-1.00) e una minore varianza. EfficientDet, pur performante, ha mostrato una dispersione maggiore nella fascia 0.80–0.95 e una frequenza di picco inferiore, suggerendo una minore stabilità nella regressione dei box.
• Robustezza: Il modello ha dimostrato efficacia nel localizzare uova in condizioni di immagine difficili (sfocatura, rumore, diverse sorgenti di acquisizione).

5. Significato e Impatto

Questo studio dimostra che i modelli VLM moderni, quando opportunamente fine-tuned, possono superare le architetture di object detection tradizionali (basate su CNN) in compiti di localizzazione medica specifica.

• Scalabilità: La proposta offre una soluzione ingegneristica scalabile per la diagnosi parassitologica intelligente, riducendo la dipendenza da esperti umani e accelerando il processo diagnostico.
• Versatilità: L'uso di un VLM apre la strada non solo alla localizzazione, ma potenzialmente alla generazione di report testuali descrittivi (captioning) e all'analisi integrata, rendendo il sistema più adattabile a flussi di lavoro diagnostici complessi.
• Impatto Clinico: Un sistema automatizzato e preciso può mitigare l'affaticamento degli operatori, ridurre gli errori diagnostici e contribuire a interrompere il ciclo di trasmissione delle malattie parassitarie nelle aree a risorse limitate.