PHOEBI: An Open-World Benchmark for Bacterial Identification in Phase-Contrast Microscopy

Sintesi Tecnica: PHOEBI

Problematica
La microscopia ottica è lo strumento standard per l'identificazione delle specie batteriche in contesti clinici, ambientali e industriali. Tuttavia, i campioni sul campo sono comunemente polimicrobici (contenenti miscele di specie) e "open-world" (potenzialmente contenenti organismi non visti durante l'addestramento). I benchmark esistenti di computer vision per l'identificazione batterica sono limitati a colture pure, classificazione a etichetta singola o imaging su scala di colonia, fallendo nel rispondere alle sfide simultanee del riconoscimento multi-label, della morfologia fine e della generalizzazione composizionale. Inoltre, l'identificazione automatizzata standard si basa sulla laboriosa sequenziazione dell'rRNA 16S, mentre la microscopia a contrasto di fase (PCM) offre un'alternativa più rapida e priva di etichette (label-free) che attualmente manca di un robusto framework di valutazione per colture miste.

Metodologia
Gli autori introducono PHOEBI (Phase-contrast Optical bEnchmark for Bacterial Identification), un dataset e un protocollo di valutazione progettati per rispecchiare i flussi di lavoro reali dei laboratori di microbiologia.

• Dataset: PHOEBI comprende circa 120.000 immagini PCM (ingrandimento 1000×) di sei specie batteriche a forma di bastoncello (Bacillus subtilis, Bacillus thermoamylovorans, Myxococcus xanthus, Klebsiella aerogenes, Flavobacterium johnsoniae, Pseudomonas fluorescens). Il dataset copre 40 diverse combinazioni di specie, inclusi tutti i singoli, coppie, triple, quadruple e la miscela completa di sei specie.
• Protocollo di Valutazione: Il benchmark impiega una suddivisione Leave-Combinations-Out (LCO). A differenza delle suddivisioni casuali standard, la LCO tiene esclusi interi set di combinazioni di specie (ad esempio, coppie o triple specifiche) dall'addestramento e dalla validazione. Ciò testa la generalizzazione composizionale: la capacità di un modello addestrato su miscele note di identificare le specie in configurazioni di miscela interamente inedite.
• Assunzione di Omogeneità Spaziale (H): Il framework si basa sull'osservazione che le cellule batteriche in sospensione sono disperse uniformemente. Di conseguenza, qualsiasi porzione (tile) sufficientemente grande di un'immagine trasporta la stessa informazione multi-label dell'immagine completa. Ciò consente al sistema di operare su feature congelate delle tile piuttosto che su aggregatori a livello di immagine.
• Architettura:
  1. Front-end: Le immagini vengono preelaborate per rimuovere i punti caldi di illuminazione. Vengono campionate in 16 tile (224×224), incorporate utilizzando un backbone DINOv2-S/14 congelato e normalizzate L2.
  2. Decoder: Sono proposti tre decoder leggeri, basati su ancoraggi (anchor-based), progettati per operare sul pool di feature congelate:
     • SIMPLEXUNMIX: Proietta i logit del coseno scalati sullo simplesso di probabilità utilizzando sparsemax, imponendo zeri strutturali per le specie assenti. Minimizza l'errore di ricostruzione.
     • PROTOTYPE MATCH: Un metodo a forma chiusa che legge le feature delle tile come similitudini del coseno indipendenti rispetto a prototipi di coltura pura.
     • CHANNELGROUP: Una testa discriminativa che suddivide l'embedding in gruppi di canali con perdita di cross-entropy binaria.
  3. Primitive Open-World: Il residuo di ricostruzione di SIMPLEXUNMIX funge da substrato unificato per il rigetto open-set (utilizzando una coda di distanza del coseno k-NN non parametrica) e la scoperta di nuove classi (raggruppando tile con alto residuo per proporre nuovi prototipi).

Risultati Chiave: Il Collasso Composizionale
Il paper identifica un fallimento sistematico denominato collasso composizionale. Quando gli aggregatori per immagine addestrati tramite gradiente (inclusi il fine-tuning end-to-end di nove backbone da ResNet a ViT/CLIP e l'attenzione MIL) vengono valutati sulla suddivisione LCO, subiscono un drastico calo delle prestazioni (da 0.39 a 0.57 F1) rispetto alle prestazioni in-distribution.

• Diagnosi: Una sonda lineare sulle feature congelate di DINOv2 mostra che la rappresentazione visiva è valida (solo il ~6% di varianza F1 tra 13 diversi encoder). Il fallimento risiede interamente nell'aggregatore addestrato tramite gradiente, che va in overfitting su specifiche combinazioni di addestramento invece di apprendere ancoraggi geometrici indipendenti dalle specie.
• Risoluzione: I decoder basati su ancoraggi proposti (SIMPLEXUNMIX, PROTOMATCH, CHANNELGROUP) evitano questo collasso. In particolare, SIMPLEXUNMIX e PROTOMATCH ottengono punteggi F1 più alti sulla suddivisione composizionale tenuta esclusa rispetto alla suddivisione di validazione in-distribution, dimostrando che l'ancoraggio geometrico generalizza meglio dell'aggregazione appresa.

Risultati

• Generalizzazione Composizionale: Sulla suddivisione LCO, i migliori baseline supervisionati raggiungono circa 0.44–0.61 F1. I decoder PHOEBI raggiungono 0.660 (SIMPLEXUNMIX) e 0.683 (PROTOMATCH) F1, colmando efficacemente il divario.
• Rigetto Open-Set: Utilizzando la coda della distanza del coseno k-NN sul pool di feature congelate, il sistema eleva l'Area Sotto la Curva ROC (AUROC) per il rigetto open-set da quella del caso fortuito (~0.44) a 0.70.
• Scoperta di Nuove Classi: Il sistema raggruppa le tile ad alto residuo per proporre nuovi prototipi. Utilizzando l'assegnazione Sinkhorn-Knopp con $K=1$, raggiunge una purezza perfetta (1.000) nella scoperta di nuovi prototipi di specie con un drift trascurabile (−0.031) sulle classi note, superando significativamente i baseline di clustering greedy.
• Robustezza: Il collasso composizionale e il successo dei decoder basati su ancoraggi sono stati replicati su un sottoinsieme indipendente di 4 classi, confermando che i risultati sono proprietà del protocollo composizionale multi-label e non specifici del dataset a 6 classi.

Significatività e Claim
Il paper rivendica tre contributi primari:

1. Dataset e Protocollo PHOEBI: Un benchmark preparato in laboratorio con 120.000 immagini con un rigoroso protocollo di valutazione LCO che espone i limiti dell'attuale riconoscimento multi-label supervisionato nel mondo aperto della microbiologia.
2. Identificazione del Collasso Composizionale: La dimostrazione che l'incapacità di generalizzare a miscele inedite è una proprietà degli aggregatori addestrati tramite gradiente, non del backbone visivo, e che ciò può essere risolto senza riaddestrare il backbone.
3. Framework Open-World Unificato: Un metodo in cui un singolo residuo di ricostruzione da un decoder ancorato geometricamente guida la rilevazione della presenza, il rigetto open-set e la scoperta di nuove classi a costo di addestramento aggiuntivo zero.

Gli autori posizionano questo lavoro come un passo verso l'identificazione batterica più economica, veloce e affidabile in ambienti polimicrobici, particolarmente per centri sanitari con scarse risorse e pipeline di sicurezza dove la sequenziazione è troppo costosa. Notano esplicitamente i limiti: il dataset proviene da un singolo microscopio (non testato per la generalizzazione tra diversi strumenti), e il punteggio di rigetto open-set è attualmente diagnostico piuttosto che pronto per l'implementazione per il rigetto binario.