Positive-First Most Ambiguous: A Simple Active Learning Criterion for Interactive Retrieval of Rare Categories

1. Il Problema: Recupero Interattivo di Categorie Rare

Il lavoro affronta la sfida del recupero visivo fine-granulare (fine-grained visual retrieval) in contesti reali caratterizzati da:

• Squilibrio estremo delle classi (Class Imbalance): L'utente cerca un concetto specifico (es. una specie rara, un oggetto particolare) che rappresenta una frazione minima dei dati (es. 1 su 10.000), creando problemi binari altamente sbilanciati.
• Vincoli di Budget e Latenza: Il processo è interattivo e guidato dall'utente. L'utente può fornire solo poche annotazioni per iterazione (budget ridotto, es. 10 campioni) e richiede risposte rapide (bassa latenza, pochi secondi).
• Limitazioni dell'Active Learning (AL) Tradizionale: I metodi AL convenzionali assumono prior simmetriche delle classi e mirano a migliorare la classificazione globale. In contesti sbilanciati, queste strategie tendono a sovracampionare i negativi ambigui (vicini al confine decisionale), sprecando il budget di annotazione su campioni irrilevanti per l'utente e ritardando la scoperta della classe target.

L'obiettivo non è addestrare un modello generale, ma costruire rapidamente e diversamente la classe di interesse definita dall'utente, massimizzando la soddisfazione immediata e la copertura visiva.

2. Metodologia: PF-MA (Positive-First Most Ambiguous)

Gli autori propongono un nuovo criterio di selezione per l'Active Learning chiamato PF-MA, progettato per bilanciare l'informatività del modello con la rilevanza per l'utente.

A. Formulazione del Problema

• Input: Un insieme di immagini non etichettate codificate tramite descrittori visivi pre-addestrati (es. ViT-L14, CLIP, DINOv2).
• Loop Interattivo:
  1. L'utente fornisce una query iniziale con pochi positivi ($N_p$) e negativi ($N_n$).
  2. Viene addestrato un classificatore leggero (SVM lineare) per velocità.
  3. Il sistema seleziona un batch di $b$ campioni (es. 10) da etichettare.
  4. L'utente etichetta i campioni e il dataset di training viene aggiornato.

B. Il Criterio PF-MA

Il metodo combina due strategie opposte:

1. MA (Most Ambiguous): Seleziona campioni vicini al confine decisionale (massima incertezza). Problema: In scenari sbilanciati, questi sono prevalentemente negativi.
2. MP (Most Positive): Seleziona i campioni con probabilità più alta di essere positivi. Problema: Spesso restituisce duplicati o campioni ridondanti, offrendo poco valore informativo per affinare il confine.

La soluzione PF-MA introduce un'asimmetria esplicita:

• Prioritizza i campioni positivi che sono anche ambigui (vicini al confine).
• Formula del punteggio:
  $$PF\text{-}MA(x_i) = (1 - |0.5 - f(x_i)|) \times \mathbb{1}(f(x_i) \ge 0.5) + f(x_i) \times \mathbb{1}(f(x_i) < 0.5)$$
  • Se il campione è previsto come positivo ($f(x_i) \ge 0.5$), il punteggio è basato sull'ambiguità (vicinanza a 0.5).
  • Se il campione è previsto come negativo ($f(x_i) < 0.5$), il punteggio è basato sulla sua probabilità (per includere negativi informativi solo se il budget non è ancora pieno).

Questo approccio garantisce che l'utente veda subito esempi rilevanti (soddisfazione immediata) mentre il modello continua a imparare dai negativi difficili.

C. Metrica di Valutazione: Class Coverage

Poiché la semplice proporzione di positivi non cattura la diversità, gli autori propongono una nuova metrica, Class Coverage ($cov^C_t$):

• Si esegue un clustering offline (K-means) sulla classe target per identificare i diversi "modi visivi" (es. diverse pose, contesti).
• La metrica misura la frazione di cluster coperti da almeno un campione positivo recuperato fino all'iterazione $t$.
• Questo premia la capacità del sistema di esplorare l'intera varietà visiva della classe, non solo di trovare più copie dello stesso esempio.

3. Risultati Sperimentali

Gli esperimenti sono stati condotti su dataset a coda lunga (long-tailed) come Cifar100-LT, ImageNet-LT e PlantNet300K (dati botanici), utilizzando descrittori pre-addestrati (CLIP e DINOv2).

• Superiorità su Baseline: PF-MA supera costantemente metodi basati su incertezza (MA), confidenza (MP), e strategie di rappresentatività (CoreSet, DAL).
  • Su ImageNet-LT con DINOv2, PF-MA raggiunge una copertura del 95.4% all'iterazione 25, contro l'89.9% di MA e l'87.7% di MP.
• Robustezza alla Dimensione della Classe: A differenza di MP (che fallisce su classi grandi per ridondanza) o MA (che fatica su classi piccole), PF-MA mantiene prestazioni elevate indipendentemente dalla dimensione della classe target, senza richiedere conoscenze a priori.
• Rapporto Positivi/Negativi: PF-MA mantiene un'alta percentuale di campioni positivi selezionati (spesso >80%), migliorando la soddisfazione dell'utente rispetto a MA che seleziona prevalentemente negativi.
• Qualità Visiva: Le analisi qualitative mostrano che PF-MA recupera immagini con sfondi e pose diverse, mentre MP tende a restituire duplicati visivi.

4. Contributi Chiave

1. Criterio PF-MA: Un algoritmo semplice ma efficace che risolve l'asimmetria tra l'obiettivo di apprendimento (affinare il confine) e l'obiettivo utente (trovare esempi rilevanti rapidamente) in scenari sbilanciati.
2. Metrica di Copertura della Classe: Un nuovo indicatore per valutare la diversità del recupero, fondamentale per il riconoscimento fine-granulare dove la varietà visiva è cruciale.
3. Validazione in Contesti Realistici: Dimostrazione che l'AL può funzionare efficacemente con budget di annotazione estremamente ridotti (10 campioni/iterazione) e vincoli di latenza stretti, adattandosi a dataset sbilanciati reali.

5. Significato e Impatto

Questo lavoro evidenzia che allineare le strategie di Active Learning agli obiettivi centrati sull'utente e asimmetrici del recupero interattivo porta a soluzioni potenti e semplici.

• Per la Biodiversità e Monitoraggio Ecologico: Permette di scoprire specie rare o concetti visivi sottili con minimo sforzo umano, superando i limiti dei sistemi attuali che richiedono grandi dataset bilanciati.
• Efficienza Operativa: Riduce il tempo di interazione necessario per raggiungere una soddisfazione utente accettabile, rendendo i sistemi "Human-in-the-Loop" più pratici per l'uso quotidiano.
• Generalizzabilità: La metodologia non dipende da descrittori specifici, funzionando bene sia con modelli basati su linguaggio (CLIP) che su auto-supervisione visiva (DINOv2).

In sintesi, PF-MA rappresenta un passo avanti significativo verso sistemi di recupero interattivo capaci di gestire la "coda lunga" della distribuzione dei dati reali, garantendo sia l'accuratezza del modello che l'esperienza dell'utente.