Resumo Técnico: Aprendizado de Representação Sensível à Iluminação sob Variação Controlável de Iluminação

Declaração do Problema

As variações na iluminação constituem um desafio fundamental para a visão computacional, induzindo mudanças substanciais de aparência que comprometem a robustez e a generalização do aprendizado de representação visual. Enquanto a visão humana alcança a constância perceptiva ao estimar iluminantes e construir modelos internos de condições de iluminação, os sistemas de visão artificial padrão tipicamente tratam a iluminação como um fator de incômodo (nuisance factor). As abordagens existentes baseiam-se primariamente em aumento de dados (ex: ajustes de brilho, contraste, matiz) para encorajar os modelos a se tornarem invariantes a mudanças de iluminação. No entanto, essas estratégias suprimem a informação de iluminação em vez de modelá-la explicitamente, falhando frequentemente em igualar a adaptabilidade da visão humana ou em capturar as complexas interações entre geometria, materiais e luz que definem os sinais visuais do mundo real.

Metodologia

Os autores propõem um Framework de Aprendizado de Representação Sensível à Iluminação que incorpora a variação de iluminação como um sinal de treinamento explícito, em vez de ruído. A metodologia central estende o aprendizado contrastivo através de uma arquitetura de Treinamento de Cabeça Dupla (Dual-Head Training).

1. Fundamentação Teórica

A abordagem fundamenta-se na premissa de que uma imagem observada $I$ é gerada por dois fatores subjacentes: o conteúdo intrínseco da cena $C$ (geometria, layout, semântica) e a condição de iluminação $L$. O objetivo é aprender representações que preservem a consistência semântica através de mudanças de iluminação, permanecendo sensíveis à estrutura visual dependente da iluminação.

2. Arquitetura e Objetivo de Treinamento

O framework utiliza um backbone ResNet-50 compartilhado que se ramifica após o agrupamento médio global (global average pooling) em duas cabeças distintas:

• Cabeça de Conteúdo (Contrastiva): Impõe consistência para imagens que compartilham o mesmo conteúdo semântico, mas diferem em iluminação. Utiliza objetivos de aprendizado contrastivo padrão (baseados em MoCo V2 e ESS-MB) para agrupar imagens semanticamente similares.
• Cabeça de Iluminação (Contrastiva): Impõe consistência para imagens que compartilham a mesma configuração de iluminação (por exemplo, o mesmo "skybox" em um ambiente virtual), mas diferem em conteúdo. Esta cabeça aprende a agrupar representações baseadas em condições de iluminação.

A função de perda total é uma soma ponderada da perda contrastiva de conteúdo ($L_{Con.}$) e da perda contrastiva de iluminação ($L_{Light}$):
$$L = L_{Con.} + \alpha L_{Light}$$
onde $\alpha$ equilibra as contribuições dos dois objetivos.

3. Fatoração de Representação

Para abordar as dependências estatísticas entre iluminação e conteúdo (ex: sombras e reflexos), os autores introduzem uma fatoração flexível do espaço de representação em três componentes:

• Componente de Iluminação: Captura características determinadas primariamente pela iluminação.
• Componente de Conteúdo: Codifica informações intrínsecas da cena invariantes à iluminação.
• Componente Conjunto (Joint): Captura interações entre iluminação e conteúdo que não podem ser limpas e facilmente separadas.

A alocação das dimensões da representação é denotada pelo ratio $(L:J:C)$. Por exemplo, $(1:0:7)$ aloca 1/8 da dimensão para iluminação, nenhuma para o conjunto e 7/8 para o conteúdo.

4. Dados e Configuração Experimental

O método foi avaliado utilizando o dataset House100KLighting, coletado de um ambiente virtual de ray-tracing (ThreeDWorld), que permite a manipulação precisa das condições de iluminação enquanto preserva o conteúdo da cena. Os baselines incluíram aprendizado contrastivo padrão (MoCo V2/ESS-MB) e modelos de representação única treinados com ambos os objetivos. As tarefas de downstream incluíram classificação de imagens (ImageNet), classificação de objetos e iluminação (ExDark) e detecção de objetos (PASCAL VOC).

Principais Resultados

• Desempenho Superior em Tarefas de Downstream: Modelos treinados com o framework de dupla cabeça sensível à iluminação (especificamente a configuração $1:0:7$) superaram consistentemente os baselines de aprendizado contrastivo padrão no ImageNet classification, ExDark object/lighting classification e PASCAL VOC detection. A representação combinada (concatenando características de conteúdo e iluminação) produziu os melhores resultados.
• Representações Complementares: A cabeça de conteúdo dominou o desempenho em classificação de objetos padrão (ImageNet), enquanto a cabeça de iluminação contribuiu significativamente para o desempenho em datasets de baixa luminosidade (ExDark), às vezes superando a cabeça de conteúdo. Isso confirma que as duas cabeças capturam informações complementares.
• Importância dos Componentes Conjuntos: Configurações incluindo um componente conjunto (ex: $1:1:6$) mostraram ganhos de desempenho ainda maiores, sugerindo que reter uma interação limitada entre características semânticas e de iluminação beneficia o reconhecimento de downstream.
• Limitações de Aumento Simples: Experimentos usando transformações simples de nível de imagem (brilho, gamma, etc.) para aproximar a variação de iluminação (House100K-AugLighting) resultaram em apenas melhorias marginais sobre o aprendizado contrastivo padrão. Isso indica que a iluminação baseada em física (ray-traced) fornece interações complexas que transformações simples não conseguem replicar.
• Extensão para Aprendizado Supervisionado: O framework foi adaptado com sucesso para um cenário supervisionado no ImageNet100K-AugLighting, onde a abordagem de dupla cabeça alcançou precisão de teste melhorada, apesar de utilizar dimensões de representação reduzidas para cada tarefa específica, demonstrando generalização aprimorada através de supervisão multifatorial.
• Análise Camada a Camada: Tarefas de sondagem (probing) revelaram que as representações conscientes da iluminação são distribuídas por toda a rede, mas tornam-se menos sensíveis nas camadas finais sob o treinamento contrastivo padrão, que tende a confundir informações de conteúdo e iluminação. A abordagem de dupla cabeça preserva melhor a estrutura relacionada à iluminação através das camadas.

Significância e Alegações

O artigo alega que a iluminação não deve ser tratada unicamente como uma fonte de ruído a ser suprimida via aumento de dados. Em vez disso, modelar explicitamente a iluminação como um fator controlável durante o aprendizado de representação gera representações visuais mais robustas e adaptáveis.

Os autores posicionam este trabalho como um estudo de caso para um paradigma mais amplo de "aprendizado de representação consciente de fatores" (factor-aware representation learning). Ao aproveitar variações ambientais controladas (como iluminação, viewpoint ou clima) como sinais de supervisão explícitos, os modelos podem aprender a desentranhar o conteúdo semântico das condições ambientais enquanto capturam suas interações. Os resultados sugerem que esta abordagem aumenta a robustez do modelo em ambientes visuais complexos e melhora o desempenho em tarefas convencionais de processamento de imagem, oferecendo um caminho para uma constância perceptiva mais próxima da humana em sistemas artificiais.

O artigo reconhece modestamente as limitações, observando que a propagação interna de sinais requer investigação adicional, que os experimentos foram conduzidos em datasets relativamente pequenos para fins de tratabilidade, e que transformações de imagem simples são proxies insuficientes para a iluminação física realista. Sugere-se como trabalho futuro a extensão deste framework para outros fatores controláveis e a exploração de métodos eficientes para gerar datasets realistas utilizando modelos generativos.