Resumo Técnico: Modelo Unificado Consciente de Iluminação para Segmentação de Instâncias

Declaração do Problema

Modelos de base, como o Segment Anything Model (SAM), demonstraram generalização zero-shot impressionante em diversos domínios visuais. No entanto, seu desempenho frequentemente degrada-se em ambientes do mundo real caracterizados por iluminação adversa, como direção noturna, cenas internas com pouca luz, configurações externas superexpostas e iluminação mista artificial/natural. A pesquisa existente frequentemente trata a variação de iluminação como uma preocupação secundária, abordando-a principalmente por meio de aumento de dados genérico ou técnicas de adaptação de domínio que exigem re-treinamento completo do modelo ou acesso a dados do domínio-alvo. Isso cria uma lacuna crítica de confiabilidade para aplicações críticas de segurança (por exemplo, direção autônoma, imageamento médico, agricultura), onde as condições de iluminação são variáveis e imprevisíveis.

Metodologia

Os autores propõem PLAP-LCA (Pipeline de Aumento de Iluminação em Pares com Atenção Convolucional de Iluminação), um framework projetado para equipar o SAM com invariância robusta à iluminação sem o ajuste fino computacionalmente proibitivo de seu backbone pesado. A abordagem opera em três níveis: dados, arquitetura e treinamento.

1. Geração de Dados: Aumento de Iluminação em Pares

Para treinar a invariância à iluminação, o modelo requer pares de imagens que retratam a mesma cena sob diferentes condições de iluminação, mas compartilhando máscaras de verdade fundamental idênticas. Os autores empregam duas estratégias complementares:

• PLAP (Espaço de Imagem): Um pipeline que aplica operações de iluminação controladas e motivadas fisicamente (por exemplo, exposição, sombras direcionais, temperatura de cor, vinheta, neblina) a imagens de referência existentes (COCO, VOC, Cityscapes). Ele utiliza amostragem consciente de conflitos para evitar operações contraditórias (por exemplo, quente vs. frio) e um protocolo de severidade de três níveis (Leve, Moderado, Severo) para simular um espectro de degradação de iluminação.
• Unity-Lighting (Sintético): Um conjunto de dados sintético renderizado fisicamente gerado dentro da engine Unity. Diferentemente das operações no espaço de imagem 2D, esta abordagem simula o transporte de luz 3D real, incluindo reflexos, inter-reflexos e interações complexas entre fontes de luz naturais e artificiais. Fornece máscaras de segmentação de instâncias perfeitas em pixels em quatro condições de iluminação: Limpa, Leve, Moderada e Severa.

2. Arquitetura: Módulo de Atenção Convolucional de Iluminação (LCA)

Em vez de ajustar fino o codificador ViT-B do SAM congelado, os autores injetam um adaptador LCA leve nos dois últimos blocos do transformador. O módulo LCA é projetado para processar informações estruturais de borda juntamente com características RGB para manter a sensibilidade aos limites dos objetos independentemente da iluminação. Ele emprega uma arquitetura de dois ramos com três portas de atenção paralelas:

• Porta de Atenção de Canal: Recalibra os canais de características para combater o viés de iluminação global (por exemplo, deslocamentos de brilho, mudanças de temperatura de cor) usando estatísticas de pooling global de média e máximo.
• Porta de Atenção Espacial: Identifica regiões localmente afetadas (por exemplo, sombras projetadas, realces especulares) condensando as dimensões de canal em mapas de resumo espacial e processando-os com um grande kernel de convolução 7×7.
• Porta de Atenção de Contraste: Modela explicitamente a assinatura física da variação de iluminação (bordas) usando um filtro Laplaciano fixo em uma projeção de intensidade aprendida. Esta porta reforça os limites estruturais degradados.

Essas portas são fundidas via multiplicação elemento a elemento e projetadas através de uma convolução separável por profundidade. Crucialmente, a projeção residual é inicializada para zero, garantindo que a rede comece o treinamento como uma cópia exata do SAM pré-treinado, prevenindo danos à representação.

3. Estratégia de Treinamento: Treinamento em Pares de Duplo Fluxo

O framework utiliza uma configuração de duplo fluxo onde imagens limpas e variantes passam pelo codificador congelado compartilhado.

• Prompts Compartilhados: Os mesmos pontos de primeiro plano e caixas delimitadoras são usados como prompts para ambos os fluxos para garantir que as diferenças de previsão decorram exclusivamente de variações de características induzidas pela iluminação.
• Perda Supervisionada: Uma mistura ponderada de perdas de segmentação (BCE + Dice) para ambos os fluxos limpo e variante.
• Perda de Consistência: Uma nova perda de consistência de características ($L_{cons}$) que penaliza discrepâncias entre as saídas ativadas por sigmoid dos fluxos limpo e variante. Esta perda impõe que o modelo produza previsões idênticas para a mesma cena, independentemente da iluminação, sem exigir anotações adicionais.
• Ponderação Baseada em Currículo: O peso da perda de consistência é ajustado para equilibrar o sinal supervisionado, impedindo que o modelo seja excessivamente restrito durante o treinamento inicial.

Principais Contribuições

1. Módulo LCA: Um adaptador leve de dois ramos que injeta representações estruturais robustas à iluminação em modelos de base sem atualizar os pesos do backbone pré-treinado.
2. Estratégia de Treinamento em Pares: Uma abordagem de treinamento baseada em currículo que utiliza uma nova perda de consistência de características para bridgar explicitamente a lacuna representacional entre condições de iluminação ideais e adversas.
3. Estudo Empírico Abrangente: Uma avaliação rigorosa em três benchmarks públicos (COCO, VOC, Cityscapes) e um novo conjunto de dados sintético baseado em Unity projetado para avaliação de iluminação fisicamente precisa.

Resultados Experimentais

A abordagem foi avaliada em COCO, VOC, Cityscapes e no conjunto de dados sintético Unity.

• Desempenho: O módulo LCA (combinado com ajuste fino do decodificador) alcançou uma Interseção sobre União Média (mIoU) superior comparado ao baseline SAM e ao ajuste fino apenas do decodificador, particularmente sob condições variantes de iluminação. Por exemplo, no conjunto de dados Cityscapes, o LCA+Dec alcançou um mIoU de 0,784 sob condições variantes, comparado a 0,560 para o baseline SAM zero-shot.
• Robustez: O método reduziu significativamente a lacuna de desempenho entre imagens limpas e variantes. Em estudos de ablação, o módulo LCA sozinho melhorou o mIoU em 61,7% sobre o baseline SAM em cenários de iluminação desafiadora.
• Eficiência: O módulo LCA adiciona apenas ~2,4M de parâmetros treináveis (aproximadamente 2,6% de sobrecarga) ao modelo SAM ViT-B de 93,7M, mantendo a eficiência computacional.
• Ablação: Estudos confirmaram que a projeção residual separável por profundidade (variante V3) foi o principal motor arquitetônico para os ganhos de desempenho. O peso da perda de consistência ($\lambda_c$) foi encontrado estável em uma faixa de valores, com 0,1 fornecendo o melhor equilíbrio.

Significância e Alegações

O artigo alega que o PLAP-LCA bridga com sucesso a lacuna de domínio causada por variações de iluminação, entregando segmentação robusta à iluminação superior. Os autores enfatizam que sua abordagem permite direção autônoma mais segura à noite, imageamento médico confiável sob iluminação clínica variável e monitoramento agrícola robusto ao longo de ciclos dia-noite sem re-treinamento caro do modelo ou coleta de dados do mundo real custosa. Ao tratar a invariância à iluminação como um problema arquitetônico e de treinamento de primeira classe, em vez de uma tarefa de aumento secundária, o trabalho fornece uma solução escalável para implantar modelos de base em ambientes do mundo real críticos para segurança. A inicialização zero do adaptador garante treinamento estável, e o design modular torna a robustez à iluminação acessível para aplicações com recursos limitados.