Task-Guided Multi-Annotation Triplet Learning for Remote Sensing Representations

1. Il Problema

L'apprendimento di rappresentazioni condivise per l'analisi di immagini da remoto (remote sensing) richiede l'integrazione di segnali di supervisione eterogenei (come etichette semantiche di classe e attributi geometrici di bounding box) in un unico spazio di embedding.

• Sfida principale: Le etichette di classe impongono una struttura semantica, mentre gli attributi delle box forniscono informazioni geometriche (dimensioni, forma, layout). Queste due strutture non sempre si allineano: la similarità semantica non corrisponde necessariamente a quella geometrica e viceversa.
• Limitazione degli approcci esistenti: I metodi attuali, come la Multi-Annotation Triplet Loss (MATL), bilanciano le diverse fonti di supervisione utilizzando pesi statici (es. una somma ponderata fissa tra la perdita semantica e quella geometrica).
  • Questo approccio richiede una sintonizzazione manuale estensiva (tuning) dei pesi.
  • Non tiene conto di come i task interagiscono dinamicamente durante la formazione della rappresentazione condivisa.
  • Un peso globale può sovrastimare un tipo di supervisione a discapito di un altro, limitando l'adattabilità a diversi dataset o task.

2. Metodologia Proposta

Il paper propone un nuovo meccanismo di selezione guidata dal task (Task-Guided Triplet Selection) che sostituisce la dipendenza dai pesi statici con una selezione dinamica dei triplet di campioni basata sull'Informazione Mutua (Mutual Information - MI).

Architettura e Flusso

1. Estrazione delle Embedding: Vengono utilizzati modelli Vision Transformer (ViT) pre-addestrati (DINOv2, CLIP, MAE) come estrattori di caratteristiche fissi (frozen). L'obiettivo è isolare l'effetto della selezione dei triplet sulla qualità dello spazio latente.
2. Selezione dei Triplet basata sull'Informazione Mutua:
   • Invece di bilanciare le magnitudini delle perdite, il metodo modifica quali campioni influenzano la rappresentazione.
   • Viene calcolata l'Informazione Mutua tra le caratteristiche geometriche continue (derivate dalle box) e le etichette di classe discrete.
   • Viene assegnato un punteggio di rilevanza ($m_i$) a ciascun campione, basato sulla somma dell'informazione mutua tra le sue caratteristiche geometriche e la sua classe.
3. Strategia di Campionamento:
   • Per ogni classe, vengono selezionati i campioni con i punteggi di MI più alti (Top Samples), poiché quelli che meglio catturano l'allineamento tra struttura semantica e geometrica.
   • Per mantenere la diversità e prevenire l'overfitting su pochi campioni, viene aggiunto un sottoinsieme di campioni selezionati casualmente (Random Samples).
   • Viene creato un mask binario che filtra i triplet da utilizzare nel calcolo della perdita.
4. Funzione di Perdita: La perdita finale ($L_{MATL-TG}$) è la somma delle perdite triplet calcolate solo sui triplet selezionati tramite questo meccanismo, utilizzando la formulazione MATL standard (che combina perdita di classe e perdita di box) ma applicata solo ai dati più informativi.

3. Contributi Chiave

• Eliminazione dei Pesi Statici: Il metodo rimuove la necessità di sintonizzare manualmente i pesi di bilanciamento tra task, sostituendoli con un criterio di selezione basato sui dati.
• Selezione Dinamica Informativa: Introduce un meccanismo che identifica e privilegia le relazioni tra campioni che sono più informative attraverso tutti i task (semantica e geometria) simultaneamente.
• Modifica dello Spazio Latente: A differenza dei metodi che bilanciano i gradienti senza alterare la struttura dello spazio latente, questo approccio modifica direttamente i vincoli dei triplet, plasmando le relazioni tra i campioni in base alle interazioni tra i tipi di etichetta.
• Validazione su Dataset Reale: Applicazione e validazione su un dataset specifico per la fauna selvatica aerea (AWIR), che include annotazioni sia semantiche che geometriche dettagliate.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su tre modelli ViT pre-addestrati (DINOv2, MAE, CLIP) utilizzando il dataset AWIR. Sono stati confrontati cinque setup:

1. Embedding base (senza triplet loss).
2. Triplet loss solo su etichette di classe (CLTL).
3. CLTL con selezione "hard" (hard triplet selection).
4. MATL standard (peso fisso 0.5).
5. TG-MATL (metodo proposto).

Risultati Principali:

• Classificazione: TG-MATL ha migliorato le prestazioni rispetto al MATL standard, allineando meglio la rappresentazione agli obiettivi di classificazione. Tuttavia, non ha superato il metodo "Hard CLTL" (che ottiene la massima accuratezza grazie a un forte bias sulla separazione delle classi), ma ha offerto un compromesso migliore con il task di regressione.
• Regressione delle Box (Geometria): TG-MATL ha ottenuto i valori $R^2$ più alti per la regressione delle caratteristiche geometriche (specialmente con DINOv2), superando sia CLTL che MATL standard.
• Bilanciamento: Il metodo dimostra di rafforzare il ragionamento geometrico minimizzando la perdita di struttura semantica, riducendo i compromessi (trade-off) tipici delle definizioni di triplet fisse.
• Analisi di Sensibilità: L'analisi dei parametri di campionamento (percentuale di campioni "top" vs "random") mostra che un campionamento più ampio (più campioni random) aiuta la classificazione (aumentando la diversità intra-classe), mentre una selezione più rigorosa (più campioni top) è cruciale per la regressione geometrica.

5. Significato e Conclusione

Il lavoro dimostra che la selezione dei triplet guidata dal task è una strategia superiore al semplice bilanciamento dei pesi delle perdite per l'apprendimento multi-task in ambito di telerilevamento.

• Impatto: Permette di costruire rappresentazioni condivise più efficaci che preservano sia le strutture semantiche che quelle geometriche senza distorsioni.
• Futuro: Il metodo apre la strada a spazi latenti più continui e lisci, permettendo potenzialmente di utilizzare attributi geometrici a valore reale senza discretizzazione, e può essere esteso a contesti multimodali con fonti di dati eterogenee.

In sintesi, il paper propone un cambio di paradigma: invece di adattare quanto pesa ogni task, si decide quali esempi sono più importanti per tutti i task simultaneamente, utilizzando l'informazione mutua come guida.