Sintesi Tecnica: Apprendimento di Rappresentazioni Sensibili all'Illuminazione sotto Variazione Controllabile dell'Illuminazione

Definizione del Problema

Le variazioni di illuminazione costituiscono una sfida fondamentale nella visione artificiale, inducendo cambiamenti sostanziali nell'aspetto che compromettono la robustezza e la generalizzazione dell'apprendimento delle rappresentazioni visive. Mentre la visione umana raggiunge la costanza percettiva stimando gli illuminanti e costruendo modelli interni delle condizioni di luce, i sistemi di visione artificiale standard trattano tipicamente l'illuminazione come un fattore di disturbo. Gli approcci esistenti si affidano principalmente all'augmentation dei dati (ad esempio, regolazioni di luminosità, contrasto, tonalità) per incoraggiare i modelli a diventare invarianti ai cambiamenti di illuminazione. Tuttavia, queste strategie sopprimono l'informazione luminosa piuttosto che modellarla esplicitamente, fallendo spesso nel corrispondere all'adattabilità della visione umana o nel catturare le complesse interazioni tra geometria, materiali e luce che definiscono i segnali visivi del mondo reale.

Metodologia

Gli autori propongono un Framework di Apprendimento di Rappresentazioni Sensibili all'Illuminazione che incorpora la variazione dell'illuminazione come un segnale di addestramento esplicito piuttosto che come rumore. La metodologia centrale estende l'apprendimento contrastivo attraverso un'architettura a Doppia Testa (Dual-Head Training).

1. Fondamento Teorico

L'approccio si basa sulla premessa che un'immagine osservata $I$ è generata da due fattori sottostanti: il contenuto intrinseco della scena $C$ (geometria, layout, semantica) e la condizione di illuminazione $L$. L'obiettivo è apprendere rappresentazioni che preservino la coerenza semantica attraverso i cambiamenti di illuminazione pur rimanendo sensibili alla struttura visiva dipendente dalla luce.

2. Architettura e Obiettivo di Addestramento

Il framework utilizza un backbone ResNet-50 condiviso che si dirama dopo il global average pooling in due teste distinte:

• Testa del Contenuto (Contrastiva): Impone la coerenza per immagini che condividono lo stesso contenuto semantico ma differiscono nell'illuminazione. Utilizza obiettivi di apprendimento contrastivo standard (basati su MoCo V2 ed ESS-MB) per raggruppare immagini semanticamente simili.
• Testa dell'Illuminazione (Contrastiva): Impone la coerenza per immagini che condividono la stessa configurazione di illuminazione (ad esempio, lo stesso "skybox" in un ambiente virtuale) ma differiscono nel contenuto. Questa testa impara a raggruppare le rappresentazioni in base alle condizioni di luce.

La funzione di perdita totale è una somma pesata della perdita contrastiva del contenuto ($L_{Con.}$) e della perdita contrastiva dell'illuminazione ($L_{Light}$):
$$L = L_{Con.} + \alpha L_{Light}$$
dove $\alpha$ bilancia i contributi dei due obiettivi.

3. Fattorizzazione della Rappresentazione

Per affrontare le dipendenze statistiche tra illuminazione e contenuto (ad esempio, ombre e riflessi), gli autori introducono una fattorizzazione flessibile dello spazio di rappresentazione in tre componenti:

• Componente di Illuminazione: Cattura le caratteristiche determinate principalmente dall'illuminazione.
• Componente di Contenuto: Codifica le informazioni intrinseche della scena invarianti rispetto all'illuminazione.
• Componente Congiunta: Cattura le interazioni tra illuminazione e contenuto che non possono essere separate chiaramente.

L'allocazione delle dimensioni della rappresentazione è denotata dal rapporto $(L:J:C)$. Ad esempio, $(1:0:7)$ alloca 1/8 della dimensione all'illuminazione, nessuna alla congiunta e 7/8 al contenuto.

4. Dati e Configurazione Sperimentale

Il metodo è stato valutato utilizzando il dataset House100KLighting, raccolto da un ambiente di ray-tracing virtuale (ThreeDWorld), che permette la manipolazione precisa delle condizioni di illuminazione preservando il contenuto della scena. I baseline includevano l'apprendimento contrastivo standard (MoCo V2/ESS-MB) e modelli a singola rappresentazione addestrati con entrambi gli obiettivi. I task a valle includevano la classificazione di immagini (ImageNet), la classificazione di oggetti e illuminazione (ExDark) e il rilevamento di oggetti (PASCAL VOC).

Risultati Chiave

• Prestazioni Superiori nei Task a Valle: I modelli addestrati con il framework dual-head sensibile all'illuminazione (specificamente la configurazione $1:0:7$) hanno superato costantemente i baseline di apprendimento contrastivo standard su ImageNet classification, ExDark object/lighting classification e PASCAL VOC detection. La rappresentazione combinata (concatenazione delle caratteristiche di contenuto e illuminazione) ha prodotto i risultati migliori.
• Rappresentazioni Complementari: La testa del contenuto ha dominato le prestazioni sulla classificazione standard degli oggetti (ImageNet), mentre la testa dell'illuminazione ha contribuito significativamente alle prestazioni sui dataset a bassa luminosità (ExDark), talvolta superando la testa del contenuto. Ciò conferma che le due teste catturano informazioni complementari.
• Importanza delle Componenti Congiunte: Le configurazioni che includono una componente congiunta (ad esempio, $1:1:6$) hanno mostrato guadagni di prestazione ancora maggiori, suggerendo che mantenere una limitata interazione tra le caratteristiche semantiche e l'illuminazione avvantaggia il riconoscimento a valle.
• Limiti della Semplice Augmentation: Gli esperimenti utilizzando trasformazioni semplici a livello di immagine (luminosità, gamma, ecc.) per approssimare la variazione dell'illuminazione (House100K-AugLighting) hanno prodotto solo miglioramenti marginali rispetto al contrastive learning standard. Ciò indica che l'illuminazione basata fisicamente tramite ray-tracing fornisce interazioni complesse che le semplici trasformazioni non possono replicare.
• Estensione all'Apprendimento Supervisionato: Il framework è stato adattato con successo a un contesto supervisionato su ImageNet100K-AugLighting, dove l'approccio dual-head ha ottenuto un miglioramento dell'accuratezza del test nonostante l'uso di dimensioni di rappresentazione ridotte per ciascun compito specifico, dimostrando una maggiore generalizzazione attraverso la supervisione multifattoriale.
• Analisi Layer-wise: I task di probing hanno rivelato che le rappresentazioni sensibili all'illuminazione sono distribuite in tutta la rete, ma diventano meno sensibili negli strati finali sotto l'addestramento contrastivo standard, che tende a confondere le informazioni di contenuto e illuminazione. L'approccio dual-head preserva meglio la struttura legata all'illuminazione attraverso i vari strati.

Significato e Rivendicazioni

Il paper sostiene che l'illuminazione non debba essere trattata esclusivamente come una fonte di rumore da sopprimere tramite augmentation. Al contrario, modellare esplicitamente la luce come un fattore controllabile durante l'apprendimento della rappresentazione produce rappresentazioni visive più robuste e adattabili.

Gli autori pongono questo lavoro come un caso di studio per un paradigma più ampio di "apprendimento di rappresentazioni consapevole dei fattori" (factor-aware representation learning). Sfruttando le variazioni ambientali controllate (come illuminazione, viewpoint o meteo) come segnali di supervisione espliciti, i modelli possono apprendere a scindere il contenuto semantico dalle condizioni ambientali pur catturando le loro interazioni. I risultati suggeriscono che questo approccio migliora la robustezza del modello in ambienti visivi complessi e migliora le prestazioni nei compiti convenzionali di elaborazione delle immagini, offrendo una via verso una costanza percettiva più simile a quella umana nei sistemi artificiali.

Il paper riconosce modestamente alcuni limiti, notando che la propagazione interna dei segnali richiede ulteriori indagini, che gli esperimenti sono stati condotti su dataset relativamente piccoli per ragibilità e che le semplici trasformazioni d'immagine non sono proxy sufficienti per un'illuminazione fisica realistica. Il lavoro futuro suggerisce di estendere questo framework ad altri fattori controllabili ed esplorare metodi efficienti per generare dataset di addestramento realistici utilizzando modelli generativi.