FunPiQ: A New Benchmark for Pixel-Level Quality Assessment in Fundus Images

Sintesi Tecnica: FunPiQ ed EFIQA-CP

Problematica
La fotografia del fondo oculare (CFP) è la modalità primaria per lo screening oftalmico su larga scala, ma è altamente suscettibile a degradazioni locali (ad esempio, illuminazione incoerente, scarso contrasto, defocus) che spesso colpiscono regioni specifiche piuttosto che l'intera immagine. Gli attuali metodi di valutazione della qualità delle immagini del fondo oculare (FIQA) si basano su etichette a livello di immagine, che variano significativamente tra i dataset e i compiti clinici. Una definizione di "alta qualità" adatta a una patologia (es. glaucoma) può essere insufficiente per un'altra. Questa dipendenza dal compito rende la valutazione manuale a livello di immagine soggettiva e dispendiosa in termini di tempo. Inoltre, le etichette esistenti a livello di immagine precludono la valutazione quantitativa delle degradazioni localizzate, limitando lo sviluppo di sistemi FIQA affidabili e spiegabili. Sebbene alcuni metodi tentino di localizzare le degradazioni, spesso si affidano a pseudo-etichette rumorose o mancano di contesto globale, portando a una localizzazione imprecisa (ad esempio, classificando erroneamente aree con densità vascolare naturalmente bassa, come la fovea, come degradate).

Metodologia
Il documento presenta FunPiQ, un nuovo dataset di benchmark, e EFIQA-CP, un nuovo metodo per la valutazione della qualità a livello di pixel.

1. Dataset FunPiQ:

   • Composizione: Il dataset comprende 300 immagini provenienti da tre benchmark esistenti (EyeQ dagli USA; BRSET e mBRSET dal Brasile) per garantire diversità in termini di etnia, dispositivi di acquisizione (da tabletop a mobile) e tipi di degradazione.
   • Strategia di Annotazione: A differenza dei precedenti dataset con etichette globali, FunPiQ fornisce annotazioni di qualità a livello di pixel. Le immagini sono state annotate da lettori esperti sotto la supervisione di un oftalmologo certificato.
   • Classi: Sono definite tre categorie ordinali basate sulla visibilità anatomica:
     • Good (Buona): Strutture retiniche delineate nitidamente con bordi ben definiti.
     • Usable (Utilizzabile): Strutture identificabili con una lieve riduzione di nitidezza/contrasto.
     • Bad (Scarsa): Regioni non gradabili a causa di gravi artefatti, perdita di segnale o opacità dei mezzi.
   • Selezione: Il dataset campiona specificamente immagini precedentemente etichettate come "bad" nei dataset di origine per garantire un mix di regioni buone, utilizzabili e scarse all'interno di ogni immagine, testando la capacità di un modello di differenziare la qualità localmente.

2. Metodo EFIQA-CP:

   • Architettura: Il metodo si basa sulla pipeline EFIQA, utilizzando un backbone DINOv3 congelato per l'estrazione delle caratteristiche. Sostituisce il normale adattatore lineare con una rete di tipo ConvNeXt, superficiale e ampia, dotata di convoluzioni depthwise 7×7. Questo design integra l'informazione spaziale attraverso un campo recettivo più ampio per incorporare il contesto globale, affrontando il problema della classificazione errata delle regioni a bassa densità vascolare.
   • Strategia di Apprendimento: Per gestire il rumore intrinseco nelle pseudo-etichette (generate da un modello di rilevamento delle anomalie non supervisionato dei vasi basato esclusivamente sull'assenza di vasi), gli autori impiegano l'apprendimento Non-Negative Positive-Unlabeled (nnPU).
     • Una soglia rigorosa isola i pixel di bassa qualità affidabili (classe positiva), trattando il resto come non etichettato.
     • Il framework nnPU impedisce che il rischio stimato delle negazioni nascoste scenda sotto lo zero, stabilizzando l'addestramento e mitigando l'overfitting delle pseudo-etichette.
     • La funzione obiettivo utilizza una perdita surrogate softplus con un prior della classe positiva ($\pi = 0.05$).

Contributi Chiave

1. Benchmark FunPiQ: Il primo benchmark pubblico dedicato alla valutazione della qualità a livello di pixel per la CFP, fornendo annotazioni di verità fondamentale (ground-truth) per la degradazione localizzata.
2. EFIQA-CP: Un nuovo metodo che migliora gli approcci esistenti "spiegabili per progettazione" (EBD) combinando un adattatore a ampio campo recettivo con l'apprendimento nnPU per gestire le pseudo-etichette rumorose e migliorare la precisione spaziale.
3. Valutazione Completa: Un benchmarking approfondito degli esistenti metodi FIQA (inclusi approcci end-to-end, EBD e di rilevamento delle anomalie) sul nuovo dataset, stabilendo una linea di base per le prestazioni a livello di pixel.

Risultati
Sono state condotte valutazioni estese sul dataset FunPiQ utilizzando la Coefficente Kappa Pesato Quadratico (QWK) e il coefficiente medio di Sørensen–Dice (mDice), insieme alle metriche del compito binario "Reject" (AUROC, AUPRC, S95).

• Prestazioni: EFIQA-CP ha raggiunto prestazioni state-of-the-art in tutte le metriche e i dataset (BRSET, EyeQ, mBRSET e il set unificato). Ha dimostrato miglioramenti statisticamente significativi rispetto all'originale EFIQA (ad es., $p < 0.0001$ per QWK sul dataset unificato).
• Confronto: I metodi EBD (EFIQA-CP, EFIQA, EyeQual) hanno superato costantemente i metodi supervisionati end-to-end (MCF-Net, FGR-Net) e i metodi generali di rilevamento delle anomalie (PatchCore, UniVAD).
• Analisi Qualitativa: EFIQA-CP ha prodotto le mappe di qualità più precise con regioni fluide e un migliore utilizzo dell'intervallo di punteggio. Mentre EyeQual mostrava un'alta precisione per le classi "good", faticava a distinguere tra "usable" e "bad". I metodi generali di rilevamento delle anomalie tendevano a evidenziare le regioni degradate ma producevano mappe rumorose con punteggi elevati su intere patch, suggerendo una tendenza verso anomalie compatte piuttosto che verso degradazioni della qualità su larga scala.
• Ablazione: La sostituzione della perdita nnPU con la standard Binary Cross-Entropy (BCE) ha portato all'overfitting e al degrado delle prestazioni, confermando la necessità del framework nnPU in questo setup con etichette rumorose.

Significatività e Rivendicazioni
Gli autori sostengono che la FIQA a livello di pixel basata sulla visibilità anatomica rappresenti un approccio più agnostico rispetto al compito e più spiegabile rispetto alla valutazione a livello di immagine. Fornendo un benchmark con verità fondamentale a livello di pixel, FunPiQ consente la valutazione quantitativa della precisione di localizzazione, che prima era impossibile.

Il documento afferma che gli approcci spiegabili per progettazione (EBD) possiedono un vantaggio distinto per la predizione della qualità locale. Nello specifico, EFIQA-CP dimostra che combinare miglioramenti architettonici (contesto globale) con strategie di apprendimento robuste (nnPU) può mitigare efficacemente il rumore delle pseudo-etichette. Gli autori pongono che le mappe a livello di pixel offrano un valore clinico diretto supportando il controllo qualità per operatori non esperti (identificando dove un'immagine è insufficiente) e guidando la riacquisizione mirata delle immagini. Inoltre, queste mappe potrebbero servire come prior per i modelli di miglioramento dell'immagine per distinguere l'anatomia dagli artefatti. Il lavoro mira a incoraggiare ulteriore ricerca nella rilevazione della qualità della CFP a livello di pixel e nello sviluppo di metodi FIQA più robusti, flessibili e con una maggiore applicabilità clinica.