FROST: Training-Free Few-Shot Segmentation with Frozen Features and Nonparametric Statistics

Riepilogo Tecnico: FROST

Problematica

La segmentazione few-shot (FSS) richiede che un modello delinei una classe target in un'immagine query utilizzando solo una manciata di esempi annotati. Questo scenario è particolarmente critico nel telerilevamento, dove le etichette sono scarse e le immagini differiscono significativamente dalle immagini naturali utilizzate per il pretraining dei backbone di visione. Gli approcci esistenti affrontano un compromesso fondamentale:

1. Metodi basati sull'apprendimento (Learning-based): Addestrano su episodi etichettati per ottimizzare i parametri. Sebbene accurati all'interno della distribuzione di addestramento, essi vincolano il modello a classi e scene specifiche, richiedendo un nuovo addestramento per nuovi domini.
2. Metodi senza addestramento (Training-free): Utilizzano caratteristiche auto-supervisionate congelate per evitare il riaddestramento. Tuttavia, i metodi prevalenti riducono una classe a un "riassunto incompleto" (lossy summary), come un singolo prototipo, alcuni prototipi di cluster o un clustering discreto. Tali riassunti non riescono a preservare la struttura multimodale interna di una classe che, nelle immagini zenitali, appare spesso come una dispersione di molti piccoli istanze dissimili piuttosto che come un singolo oggetto dominante.

Il paper sostiene che una classe sia meglio descritta da una distribuzione piuttosto che da un punto, e che le caratteristiche auto-supervisionate congelate contengano già una struttura sufficiente per stimare direttamente questa distribuzione senza addestramento.

Metodologia: FROST

FROST (Frozen Features and Nonparametric Statistics) è un segmentatore few-shot privo di addestramento che tratta il foreground (primo piano) e il background (sfondo) di riferimento come nuvole di punti sulla sfera unitaria delle caratteristiche congelate di DINOv3. Etichetta i token della query tramite un test del rapporto di densità non parametrico. La pipeline consiste in tre fasi principali:

1. Raffinamento delle Caratteristiche (Feature Refinement)

Prima della stima della densità, la geometria dei token congelati viene condizionata per adattarsi alle immagini zenitali:

• Normalizzazione: I token sono normalizzati $L_2$ sulla sfera unitaria, garantendo che i confronti dipendano dalla direzione (similarità del coseno) piuttosto che dalla magnitudo.
• Debiasing Posizionale: Seguendo INSID3, il metodo rimuove il bias posizionale inerente ai token congelati. Stima la similarità guidata dalla posizione utilizzando un'immagine gaussiana priva di contenuto e proietta queste direzioni fuori da ogni token.
• Shrinkage Whitening: Per sopprimere le variazioni di disturbo (ad es., l'aspetto globale della scena) preservando al contempo i segnali discriminativi della classe, il metodo calcola una matrice di dispersione entro la classe. Poiché il numero di anchor è piccolo rispetto alla dimensione delle caratteristiche, questa matrice viene regolarizzata tramite un forte shrinkage verso una matrice identità scalata (Ledoit & Wolf, 2004). I token vengono quindi "sbiancati" (whitened) utilizzando questa matrice regolarizzata.

2. Classificazione del Rapporto di Densità (Density Ratio Classification)

A differenza dei metodi a prototipo che collassano una classe in un singolo punto, FROST modella il foreground e il background come stime di densità kernel sulla sfera delle caratteristiche:

• Stima della Densità: Ogni set di anchor (foreground e background) definisce una densità utilizzando l'esponenziale della similarità del coseno (kernel von Mises–Fisher). Ciò mantiene tutte le mode di una classe multimodale.
• Regola Decisionale: Un token della query viene etichettato come foreground se il log-rapporto della densità del foreground rispetto alla densità del background supera una soglia $\tau$. Sotto l'ipotesi di priori uguali, la regola di Bayes fissa questa soglia a $\tau = 0$, eliminando la necessità di tuning.
• Selezione della Bandwidth: La bandwidth del kernel $\sigma$ è selezionata per ogni episodio utilizzando un margine di classe leave-one-out sul set di supporto, garantendo che la decisione si affini man mano che il set di supporto cresce senza necessità di riaddestramento.

3. Raffinamento Spaziale (Spatial Refinement)

I punteggi per ogni token vengono convertiti in una maschera ad alta risoluzione tramite:

• Propagazione Bilaterale: Un'affinità bilaterale accoppia la similarità tra caratteristiche e colore per rendere fluido il campo di punteggio, evitando la dispersione delle etichette attraverso i confini degli oggetti.
• Gating dei Candidati: Un test in avanti (similarità del coseno con il prototipo del foreground) e un test all'indietro (matching reciproco) filtrano i falsi positivi. Un raggio di gate spaziale si adatta alla frazione di foreground nella scena.
• Upsampling: Il campo scalare viene sottoposto a upsampling bilineare alla risoluzione originale prima del thresholding, permettendo ai bordi di cadere con precisione sub-patch.

Contributi Chiave

1. Pipeline FROST: Una pipeline di segmentazione few-shot completamente priva di addestramento che genera maschere ad alta risoluzione da un backbone congelato e da statistiche leggere calcolate esclusivamente sul set di supporto.
2. Formulazione Statistica: Gli autori hanno inquadrato l'etichettatura come un test del rapporto di densità kernel con una soglia Bayes-ottimale ($\tau=0$) e una bandwidth scelta tramite un margine leave-one-out. Il metodo adatta la fase delle caratteristiche al regime di scarsità di riferimenti utilizzando lo shrinkage della matrice di dispersione di Mahalanobis del dentro-classe.
3. Validazione Empirica: Una valutazione estesa su diciassette benchmark di remote sensing dimostra che FROST supera sia i metodi senza addestramento che quelli basati sull'apprendimento. Guida con 5.6 mIoU da un singolo esempio annotato e amplia il suo vantaggio man mano che il set di supporto cresce.

Risultati

• Performance nel Remote Sensing: Attraverso diciassette benchmark (che coprono edifici, copertura del suolo e inondazioni), FROST raggiunge il miglior mean Intersection over Union (mIoU) in sedici di essi. Supera il più forte baseline senza addestramento (INSID3) di 6.7 mIoU e il più forte baseline basato sull'apprendimento (SegIC) di 10.3 mIoU, mediando su dimensioni di supporto $k \in \{1, 3, 5, 10\}$.
• Comportamento di Scaling: FROST esibisce una proprietà di scaling unica in cui l'accuratezza migliora monotonicamente all'aumentare del set di supporto (da 48.3 mIoU a 1-shot a 56.8 mIoU a 10-shot). Ciò contrasta con i metodi finetunned come SegIC, che raggiungono il picco precocemente e declinano man mano che i riferimenti aggiuntivi contrastano con i priori addestrati.
• Generalizzazione: Sui benchmark di immagini naturali e cross-domain (es. ISIC, SUIM), FROсто resta leggermente dietro i competitor più forti a 1-shot, ma li supera man mano che i riferimenti si accumulano, sebbene il vantaggio sia minore rispetto al remote sensing. Ciò è attribuito al design a priori uguali, che è ottimamente abbinato alle tile zenitali dove il foreground occupa una frazione sostanziale della scena.
• Efficienza: FROST rimane tra i modelli più piccoli confrontati, utilizzando un backbone DINOv3 ViT-L congelato da 304M di parametri senza ulteriori parametri addestrabili.

Significato e Rivendicazioni

Il paper sostiene che l'elemento mancante nella segmentazione con feature congelate non sia un maggiore addestramento, ma una regola decisionale più netta che rappresenti una classe tramite la sua intera distribuzione piuttosto che un riassunto incompleto.

• Distribuzione vs. Prototipo: Trattando le classi come distribuzioni, FROST evita di sfumare la struttura interna delle classi multimodali comuni nelle immagini zenitali.
• Vantaggio del Training-Free: Il metodo dimostra che un'alta accuratezza può essere raggiunta senza ottimizzare i parametri sui dati di segmentazione, rendendolo robusto ai cambiamenti di dominio dove i priori di immagini naturali pre-addestrati falliscono.
• Scalabilità: La varianza della stima della densità diminuisce all'aumentare della dimensione del campione, il che significa che la decisione si affina naturalmente man mano che vengono forniti più riferimenti, una proprietà inerente all'approccio non parametrico ma assente nei prototipi fissi.

Gli autori segnalano alcune limitazioni: il metodo dipende dalla rappresentatività del set di supporto (riferimenti scarsi portano a stime di densità scarse) e assume priori uguali, che potrebbero non valere per le immagini naturali incentrate sugli oggetti dove un singolo oggetto occupa una piccola frazione dell'inquadratura. Inoltre, attualmente segmenta una sola classe per episodio.