Riepilogo Tecnico: Modello Unificato Consapevole dell'Illuminazione per la Segmentazione di Istanze

Enunciato del Problema

I modelli fondazione come il Segment Anything Model (SAM) hanno dimostrato una generalizzazione zero-shot impressionante attraverso diversi domini visivi. Tuttavia, le loro prestazioni si degradano frequentemente in ambienti reali caratterizzati da illuminazione avversa, come la guida notturna, scene interne a bassa luminosità, impostazioni esterne sovraesposte e illuminazione mista artificiale/naturale. La ricerca esistente tratta spesso la variazione dell'illuminazione come una preoccupazione secondaria, affrontandola principalmente attraverso tecniche generiche di aumento dei dati o adattamento del dominio che richiedono il riaddestramento completo del modello o l'accesso a dati del dominio target. Ciò crea un divario critico di affidabilità per applicazioni safety-critical (ad es. guida autonoma, imaging medico, agricoltura) in cui le condizioni di illuminazione sono variabili e imprevedibili.

Metodologia

Gli autori propongono PLAP-LCA (Pairwise Lighting Augmentation Pipeline with Lighting Convolutional Attention), un framework progettato per dotare SAM di una robusta invarianza all'illuminazione senza un fine-tuning computazionalmente proibitivo del suo pesante backbone. L'approccio opera su tre livelli: dati, architettura e addestramento.

1. Generazione dei Dati: Pairwise Lighting Augmentation

Per addestrare l'invarianza all'illuminazione, il modello richiede coppie di immagini che raffigurano la stessa scena in diverse condizioni di illuminazione ma condividono le stesse maschere ground-truth. Gli autori impiegano due strategie complementari:

• PLAP (Spazio Immagine): Una pipeline che applica operazioni di illuminazione controllate e motivate fisicamente (ad es. esposizione, ombre direzionali, temperatura di colore, vignettatura, foschia) a immagini esistenti di benchmark (COCO, VOC, Cityscapes). Utilizza un campionamento consapevole dei conflitti per evitare operazioni contraddittorie (ad es. caldo vs freddo) e un protocollo a tre livelli di gravità (Lieve, Moderato, Severo) per simulare uno spettro di degradazione dell'illuminazione.
• Unity-Lighting (Sintetico): Un dataset sintetico renderizzato fisicamente generato all'interno del motore Unity. A differenza delle operazioni 2D nello spazio immagine, questo approccio simula il trasporto della luce 3D reale, inclusi riflessi, inter-riflessi e interazioni complesse tra fonti di luce naturali e artificiali. Fornisce maschere di segmentazione di istanza pixel-perfect attraverso quattro condizioni di illuminazione: Pulita, Lieve, Moderata e Severa.

2. Architettura: Modulo di Attenzione Convoluzionale per l'Illuminazione (LCA)

Invece di eseguire il fine-tuning del codificatore ViT-B di SAM congelato, gli autori iniettano un adattatore LCA leggero nei due ultimi blocchi del transformer. Il modulo LCA è progettato per elaborare le informazioni strutturali sui bordi insieme alle caratteristiche RGB per mantenere la sensibilità ai confini degli oggetti indipendentemente dall'illuminazione. Impiega un'architettura a doppio ramo con tre gate di attenzione paralleli:

• Gate di Attenzione sui Canali: Ricalibra i canali delle caratteristiche per contrastare il bias dell'illuminazione globale (ad es. spostamenti di luminosità, cambiamenti di temperatura di colore) utilizzando statistiche di pooling medio e massimo globali.
• Gate di Attenzione Spaziale: Identifica le regioni localmente interessate (ad es. ombre proiettate, riflessi speculari) condensando le dimensioni dei canali in mappe di riepilogo spaziali e elaborandole con un grande kernel di convoluzione 7×7.
• Gate di Attenzione sul Contrasto: Modella esplicitamente la firma fisica della variazione dell'illuminazione (bordi) utilizzando un filtro di Laplace fisso su una proiezione di intensità appresa. Questo gate rafforza i confini strutturali degradati.

Questi gate sono fusi tramite moltiplicazione elemento per elemento e proiettati attraverso una convoluzione depthwise-separabile. Crucialmente, la proiezione residua è inizializzata a zero, garantendo che la rete inizi l'addestramento come una copia esatta di SAM pre-addestrato, prevenendo danni alla rappresentazione.

3. Strategia di Addestramento: Addestramento a Doppio Flusso e Coppie

Il framework utilizza una configurazione a doppio flusso in cui immagini pulite e varianti passano attraverso il codificatore congelato condiviso.

• Prompt Condivisi: Gli stessi punti di primo piano e riquadri di delimitazione sono utilizzati come prompt per entrambi i flussi per garantire che le differenze di previsione derivino esclusivamente dalle variazioni delle caratteristiche indotte dall'illuminazione.
• Perdita Supervisionata: Una combinazione ponderata di perdite di segmentazione (BCE + Dice) per entrambi i flussi pulito e variante.
• Perdita di Coerenza: Una nuova perdita di coerenza delle caratteristiche ($L_{cons}$) che penalizza le discrepanze tra le uscite attivate da sigmoide dei flussi pulito e variante. Questa perdita impone che il modello produca previsioni identiche per la stessa scena indipendentemente dall'illuminazione, senza richiedere annotazioni aggiuntive.
• Pesatura Basata sul Curriculum: Il peso della perdita di coerenza è regolato per bilanciare il segnale supervisionato, impedendo che il modello sia eccessivamente vincolato durante le prime fasi dell'addestramento.

Contributi Chiave

1. Modulo LCA: Un adattatore leggero a doppio ramo che inietta rappresentazioni strutturali robuste all'illuminazione nei modelli fondazione senza aggiornare i pesi del backbone pre-addestrato.
2. Strategia di Addestramento a Coppie: Un approccio di addestramento basato sul curriculum che utilizza una nuova perdita di coerenza delle caratteristiche per colmare esplicitamente il divario rappresentazionale tra condizioni di illuminazione ideali e avversa.
3. Studio Empirico Completo: Una valutazione rigorosa su tre benchmark pubblici (COCO, VOC, Cityscapes) e un nuovo dataset sintetico basato su Unity progettato per una valutazione dell'illuminazione fisicamente accurata.

Risultati Sperimentali

L'approccio è stato valutato su COCO, VOC, Cityscapes e sul dataset sintetico Unity.

• Prestazioni: Il modulo LCA (combinato con la sintonizzazione del decoder) ha raggiunto un mean Intersection over Union (mIoU) superiore rispetto alla baseline SAM e al fine-tuning solo del decoder, in particolare in condizioni di varianti di illuminazione. Ad esempio, sul dataset Cityscapes, LCA+Dec ha raggiunto un mIoU di 0.784 in condizioni varianti, rispetto a 0.560 per la baseline SAM zero-shot.
• Robustezza: Il metodo ha ridotto significativamente il divario di prestazioni tra immagini pulite e varianti. Negli studi di ablazione, il solo modulo LCA ha migliorato il mean IoU del 61.7% rispetto alla baseline SAM in scenari di illuminazione impegnativi.
• Efficienza: Il modulo LCA aggiunge solo ~2.4M di parametri addestrabili (circa il 2.6% di sovraccarico) al modello SAM ViT-B da 93.7M, mantenendo l'efficienza computazionale.
• Ablazione: Gli studi hanno confermato che la proiezione residua depthwise-separabile (variante V3) è stata il principale motore architetturale dei guadagni di prestazioni. Il peso della perdita di coerenza ($\lambda_c$) è risultato stabile su un intervallo di valori, con 0.1 che fornisce il miglior equilibrio.

Significato e Affermazioni

Il documento afferma che PLAP-LCA colma con successo il divario di dominio causato dalle variazioni di illuminazione, offrendo una segmentazione robusta all'illuminazione superiore. Gli autori sottolineano che il loro approccio consente una guida autonoma più sicura di notte, imaging medico affidabile sotto illuminazione clinica variabile e monitoraggio agricolo robusto attraverso i cicli giorno-notte senza costosi riaddestramenti del modello o costose raccolte di dati nel mondo reale. Trattando l'invarianza all'illuminazione come un problema architetturale e di addestramento di prima classe piuttosto che come un compito di aumento secondario, il lavoro fornisce una soluzione scalabile per il dispiegamento di modelli fondazione in ambienti reali safety-critical. L'inizializzazione a zero dell'adattatore garantisce un addestramento stabile e il design modulare rende la robustezza all'illuminazione accessibile per applicazioni con risorse limitate.