Sintesi Tecnica: Apprendimento Contrastivo a Livelli Restretti per la Classificazione Visiva Gerarchica Fine-Grained

1. Definizione del Problema

I modelli di apprendimento contrastivo multimodale, come CLIP, hanno dimostrato forti capacità nella classificazione visiva zero-shot allineando gli embedding di immagini e testo. Tuttavia, questi modelli operano tipicamente sotto un'ipotesi di etichetta piatta (flat-label assumption), trattando tutte le etichette testuali non corrispondenti come esempi negativi uguali. Questa ipotesi viene meno quando applicata a spazi di etichette con struttura gerarchica (ad esempio, tassonomie biologiche).

In contesti gerarchici, l'apprendimento contrastivo standard genera segnali di supervisione conflittuali. Per esempio, mentre un leone (Panthera leo) e un lupo (Canis lupus) sono distinti ai livelli di specie e genere, condividono antenati di livello superiore (ad esempio, l'ordine Carnivora). In una configurazione contrastiva standard a etichetta piatta, l'etichetta testuale per "lupo" potrebbe essere trattata come un target negativo per un'immagine di un "leone", sebbene siano semanticamente compatibili a livello di ordine. Ciò crea falsi negativi attraverso i livelli tassonomici, portando a una incoerenza gerarchica in cui l'etichetta fine-grained predetta dal modello non appartiene alla sua categoria di livello superiore predetta.

2. Metodologia

Gli autori propongono un framework di Apprendimento Contrastivo a Livelli Restretti (Level-Restricted Contrastive Learning) progettato per eliminare i falsi negativi tra i livelli e garantire un'ottimizzazione bilanciata attraverso la tassonomia.

2.1. Formulazione del Problema

La tassonomia è definita come un insieme $\mathcal{T} = (C_1, \dots, C_L)$ con $L$ livelli gerarchici (da grossolani a fini). Ogni immagine $x_i$ è associata a un vettore di etichette tassonomiche $t_i = (t_i^1, \dots, t_i^L)$.

• Costruzione del Testo: Per ogni livello $\ell$, un'etichetta testuale $y_i^\ell$ viene costruita contenendo il prefisso tassonomico fino a quel livello: $y_i^\ell = (t_i^1, \dots, t_i^\ell)$.
• Encoding: Immagini e etichette testuali sono codificate tramite encoder di immagine ($f$) e di testo ($g$) basati su CLIP per produrre gli embedding $v_i$ e $z_i^\ell$, rispettivamente.

2.2. Perdita Contrastiva a Livelli Restretti

Invece di eseguire una perdita contrastiva congiunta su tutti i livelli, l'obiettivo è scomposto in confronti indipendenti all'interno di ciascun livello tassonomico.

• Confronto Intra-Livello: La perdita contrastiva è calcolata separatamente per ogni livello $\ell$. Un'etichetta a livello di specie viene confrontata solo con altre etichette a livello di specie, evitando l'ambiguità del confronto tra specie e ordini o regni.
• Supervisione Bilanciata per Gruppi: Per gestire i mini-batch in cui più immagini possono condividere la stessa etichetta di livello superiore (ad esempio, due diverse specie appartenenti allo stesso Regno), il metodo aggrega le etichette. Tutte le coppie immagine-testo che condividono la stessa etichetta a un determinato livello sono trattate come coppie positive.
  • Perdita Immagine-verso-Testo ($L_{I \to T}$): Calcola la similarità tra un embedding di immagine e l'insieme degli embedding testuali unici a quel livello.
  • Perdita Testo-verso-Immagine ($L_{T \to I}$): Calcola la similarità tra un anchor testuale e l'insieme degli embedding di immagini che condividono tale etichetta.
• Obiettivo Finale: La perdita totale è la media delle perdite attraverso tutti i $L$ livelli:
  $$\mathcal{L} = \frac{1}{L} \sum_{\ell=1}^{L} \mathcal{L}_\ell$$
  Questo pesatura uguale assicura che i livelli fine-grained ricevano una supervisione sufficiente e non siano dominati da segnali di livello superiore ad alta confidenza.

2.3. Dettagli di Implementazione

• Modello Base: Il framework effettua il fine-tuning di BioCLIP (un modello foundation pre-addestrato sul "Tree of Life").
• Dati di Addestramento: Il modello è addestrato su TreeOfLife-10M.
• Spazi di Embedding: Il metodo è istanziato sia in spazi Euclidei che Iperbolici, con questi ultimi che offrono potenziali vantaggi per rappresentare strutture gerarchiche.

3. Contributi Chiave

1. Identificazione dei Falsi Negativi: Il documento identifica che trattare le etichette antenato-discendente come negative nell'apprendimento contrastivo standard crea segnali conflittuali che violano l'ipotesi di etichetta piatta.
2. Framework a Livelli Restretti: Una nuova ricetta di addestramento che restringe i confronti contrastivi alle etichette all'interno dello stesso livello tassonomico, garantendo coppie positive e negative ben definite.
3. Design Bilanciato per Gruppi: Un meccanismo per gestire le collisioni di etichette nei mini-batch trattando tutti i campioni con la stessa etichetta a un livello specifico come positivi, prevenendo il bias verso le categorie grossolane più frequenti.
4. Validazione Empirica: Valutazione estesa su molteplici benchmark gerarchici che dimostrano un miglioramento della coerenza e dell'accuratezza.

4. Risultati Sperimentali

Il modello è stato valutato su tre benchmark: iNaturalist 2021 (iNat21), Rare Species e CrypticBio.

4.1. Miglioramenti dell'Accuratezza

• iNat21: Il metodo proposto ha migliorato l'accuratezza media attraverso tutti i livelli tassonomici del 30,47% rispetto al baseline BioCLIP.
• Confronto: Il metodo ha superato OpenCLIP, BioCLIP e RCME (un precedente metodo orientato alla gerarchia) in tutti i dataset.
• Granularità: Sono stati osservati guadagni significativi ai livelli intermedi (Ordine a Genere), dove la perdita contrastiva standard soffre tipicamente di maggiore ambiguità tra i livelli. Anche le prestazioni a livello di specie sono migliorate, nonostante l'ottimizzazione non fosse focalizzata esclusivamente su di esse.

4.2. Coerenza Gerarchica

• Inferenza Vincolata Top-Down: Sotto un protocollo rigoroso in cui le predizioni procedono da livelli grossolani a fini (limitando i candidati ai discendenti validi), il metodo ha mantenuto una prestazione superiore.
• LCA Normalizzato (nLCA): La variante iperbolica ha ottenuto un punteggio nLCA di 0,71 rispetto allo 0,43 di RCME, indicando che, anche quando l'etichetta esatta della specie è errata, la predizione rimane più vicina al ramo tassonomico corretto.
• Confronto tra Spazi: La variante Euclidea ha performato meglio su iNat21, mentre la variante Iperbolica ha mostrato una prestazione più forte su Rare Species e CrypticBio, specialmente ai livelli tassonomici più profondi.

4.3. Visualizzazione

Le visualizzazioni t-SNE degli embedding testuali hanno rivelato che il metodo proposto produce una struttura gerarchica più chiara con una riduzione del mixing tra i livelli rispetto a BioCLIP. Le categorie "sibling" (simili/fratelli) sono più distintamente separate e gli embedding di livelli tassonomici vicini formano gruppi coerenti.

5. Significato e Rivendicazioni

Il documento afferma che il framework di Apprendimento Contrastivo a Livelli Restretti proposto risolve efficacemente il problema dell'incoerenza gerarchica nei modelli multimodali. Limitando i confronti a set di etichette mutuamente esclusivi all'interno dello stesso livello tassonomico e bilanciando la supervisione tra i livelli, il metodo:

• Elimina i segnali di supervisione conflittuali causati dai falsi negativi negli spazi gerarchici.
• Migliora simultaneamente sia l'accuratezza della classificazione piatta che la coerenza gerarchica.
• Promuove l'emergenza di relazioni gerarchiche strutturate nello spazio di embedding senza richiedere obiettivi geometrici complessi o architetture specializzate oltre alla riformulazione contrastiva.

Gli autori sottolineano che questo approccio è particolarmente efficace per la classificazione zero-shot in domini con tassonomie complesse, come la biodiversità, dove mantenere la coerenza logica tra i livelli è critico per l'applicabilità nel mondo reale.