Riepilogo Tecnico: Auto-distillazione SAM3 per la Segmentazione Semantica 2D Fine-Grained GOOSE

Definizione del Problema

Il paper affronta la Sfida di Segmentazione Semantica Fine-Grained GOOSE 2D ICRA 2026, che richiede l'etichettatura di ogni pixel nelle immagini off-road con una delle 64 classi fine-grained (ad esempio, tipi specifici di vegetazione, modelli di veicoli) che si aggregano in 11 super-categorie grossolane. La sfida è valutata su un set di test non visto di 1.815 immagini catturate attraverso quattro distinte piattaforme di telecamere robotiche (MuCAR-3, ALICE e due configurazioni di Spot).

Gli autori identificano tre difficoltà primarie in questo dominio:

1. Distribuzione delle Classi Long-tailed: Alcune classi (ad esempio, foresta, erba bassa) dominano i dati di addestramento, mentre altre (ad esempio, monopattino, tubo) appaiono solo in poche parti per milione.
2. Equivalenza Visiva Vicina: Molte classi all'interno della stessa super-categoria (ad esempio, diversi tipi di vegetazione) differiscono solo sottilmente nella densità della chioma o nella robustezza, portando a tassi di confusione elevati.
3. Eterogeneità della Piattaforma: Le variazioni di risoluzione, esposizione e visuale tra le quattro piattaforme di telecamere rendono difficile la creazione di un modello che generalizzi senza fare overfitting su una specifica geometria.

Metodologia

La soluzione proposta adatta il modello visivo foundation Segment Anything Model 3 (SAM3) per la segmentazione off-road. L'architettura e la pipeline di addestramento consistono nei seguenti componenti:

1. Backbone e Decoder

• Backbone: Gli autori utilizzano l'encoder di immagini pre-addestrato di SAM3. Invece di congelarlo interamente o riaddestrarlo da zero, impiegano un fine-tuning parziale: gli strati inferiori (che catturano caratteristiche visive generiche) rimangono congelati, mentre i 12 blocchi transformer superiori vengono sottoposti a fine-tuning. Ciò bilancia il mantenimento della conoscenza generale con l'adattamento al dominio off-road.
• Decoder: Un decoder leggero in stile Feature Pyramid Network (FPN) è collegato all'encoder. Esso fonde le caratteristiche multi-risoluzione in una singola mappa di classe per pixel. Gli autori hanno riscontrato che un decoder più complesso (UPerNet) performava leggermente peggio, probabilmente a causa dell'effetto sfocatura su oggetti piccoli o rari.

2. Auto-distillazione SAM3 Oracle-Box

Viene introdotto uno schema di auto-distillazione innovativo in cui SAM3 funge da insegnante per il modello studente:

• Meccanismo: SAM3 viene istruito con bounding box di ground-truth ("oracle-box prompting") per generare maschere morbide (soft masks) di alta qualità per oggetti specifici.
• Criterio di Selezione: SAM3 non viene utilizzato come insegnante per tutte le classi. Gli autori pre-valutano le classi e applicano la distillazione solo per 22 classi in cui le maschere oracle-box di SAM3 sono dimostrabilmente superiori alle predizioni iniziali dello studente (tipicamente oggetti compatti e ben definiti come camion, segnali stradali e alberi).
• Funzione di Perdita: L'obiettivo di addestramento combina la standard cross-entropy loss ($L_{CE}$) per tutte le 56 classi con una distillation loss ($L_{teach}$) per le 22 classi selezionate, pesata con $\lambda = 0.3$.

3. Distorsione Fotometrica Aggressiva

La pipeline adotta una strategia di aumento del colore aggressiva da un entry vincitore del 2025. A differenza dei metodi standard che applicano simultaneamente perturbazioni di luminosità, contrasto, saturazione e tonalità, questo approccio applica ogni perturbazione indipendentemente con una probabilità di 0,5. Ciò crea una distribuzione più ricca di immagini di addestramento, costringendo il modello a fare affidamento su forma e texture piuttosto che su indizi di colore, il che è critico date le variabili condizioni di illuminazione e stagionali nelle scene off-road.

4. Test-Time Augmentation (TTA) Multi-scala a livello di Immagine

La TTA multi-scala standard prevede l'immissione di immagini riscalate nel modello. Tuttavia, l'encoder di SAM3 accetta solo un input di dimensione fissa (1008×1008). Gli autori propongono un workaround:

• Processo: Invece di riscalare l'input del modello, l'intera immagine di test viene riscalata per fattori di {0.75, 1.0, 1.25}.
• Inferenza: Ogni immagine riscalata viene elaborata tramite inferenza a finestra scorrevole (tiling) alla risoluzione nativa del modello.
• Fusione: Le mappe di punteggio risultanti vengono ridimensionate alle dimensioni dell'immagine originale, pesate con una finestra di Hann per smussare i bordi dei tile, e accumulate attraverso le scale. La predizione finale è la classe con il punteggio accumulato più alto. Questo recupera i benefici dell'inferenza multi-scala senza dover riaddestrare il modello a input fisso.

Risultati Chiave

Il modello finale ha raggiunto un mIoU composito di 69,73% sul set di test ufficiale, assicurandosi il 4° posto nella sfida. La suddivisione dei guadagni di performance è la seguente:

• Modello Base (Encoder + Decoder): 67,71% mIoU composito.
• + SAM3 Self-Distillation: Migliorato a 68,38% (+0,67).
• + Flip Augmentation: +0,13 a +0,15 di miglioramento.
• + Aggressive Color Augmentation: La singola fonte più grande di miglioramento, aggiungendo +0,86 (raggiungendo il 69,24%). Questo è stato particolarmente efficace per le classi rare (ad esempio, l'IoU del monopattino è aumentata dal 7,90% al 29,65%).
• + Image-Level Multi-Scale TTA: Ha aggiunto un ulteriore +0,34 (raggiungendo il 69,73%), beneficiando principalmente di oggetti mediamente rari e ben definiti come coni stradali e segnali.

Osservazioni per Classe:

• Successi: Il modello ha performato bene sulle super-categorie Sky (97,47%), Vegetation (94,01%) e Vehicle (90,94%). L'aumento del colore ha salvato significativamente le classi rare.
• Fallimenti: Il modello ha avuto difficoltà con il muschio (scendendo quasi allo 0% di IoU con l'aumento del colore) e con il tree-root, probabilmente a causa della somiglianza visiva con altre classi di vegetazione e della loro estrema rarità. Anche le categorie Water e Animal sono rimaste deboli (<50% IoU).

Significato e Contributi

Il paper rivendica tre contributi primari:

1. Auto-distillazione da un Modello Foundation: Dimostrare che un modello foundation (SAM3), quando istruito con bounding box di ground-truth, può fungere da insegnante di alta qualità per classi specifiche in un dominio specializzato, raffinando le predizioni dello studente senza richiedere reti insegnanti esterne.
2. TTA Multi-scala a Livello di Immagine: Fornire un metodo generalizzabile per abilitare l'inferenza multi-scala per qualsiasi modello bloccato a una dimensione di input fissa, riscalando l'immagine invece dell'input del modello, recuperando i guadagni di accuratezza senza costi di addestramento aggiuntivi.
3. Risultato Empirico sull'Aumento del Colore: Evidenziare che la distorsione fotometrica aggressiva e indipendente — precedentemente efficace in una sfida del 2025 — è il componente più impattante per questo specifico pipeline, superando significativamente altri tweak architettonici o funzioni di perdita.

Gli autori notano che, sebbene l'approccio sia efficace, non risolve il problema fondamentale della confusione all'interno della vegetazione per classi estremamente rare (come il muschio), suggerendo che i miglioramenti futuri potrebbero richiedere un addestramento preventivo aggiuntivo su dataset off-road correlati.