Resumo Técnico: A Armadilha de Vazamento em Nível de Quadro e a Incerteza Separável por Fonte na Decomposição de Imagens Intrínsecas

1. Declaração do Problema

A decomposição de imagens intrínsecas visa fatorizar uma imagem observada $I$ em refletância (albedo) $R$ e sombreamento $S$ (sob a suposição Lambertiana $I = R \circ S$). Apesar dos avanços no aprendizado profundo, os métodos atuais enfrentam duas limitações críticas:

1. Inconsistência no Protocolo de Avaliação: Trabalhos anteriores no conjunto de dados MPI Sintel frequentemente utilizam divisões de treino/teste em nível de quadro. Isso permite que quadros espacialmente semelhantes da mesma cena apareçam tanto nos conjuntos de treinamento quanto de teste, criando vazamento de dados que infla artificialmente as métricas de desempenho.
2. Falta de Quantificação de Incerteza (UQ): Os métodos existentes produzem estimativas pontuais sem quantificar a confiança. Isso é problemático porque a decomposição é inerentemente mal-posta; a ambiguidade varia espacialmente (por exemplo, reflexos especulares, sombras projetadas e superfícies texturizadas). Em aplicações críticas para a segurança, como a condução autônoma, saber onde uma decomposição é pouco confiável é tão vital quanto a própria decomposição.

2. Metodologia

2.1 Protocolo de Avaliação Corrigido

Os autores defendem divisões em nível de cena como o padrão da comunidade. Neste protocolo, cenas inteiras são reservadas para teste, garantindo que não haja sobreposição temporal ou espacial entre os conjuntos de treinamento e teste. Isso elimina o "vazamento em nível de quadro", onde os modelos interpolam entre quadros adjacentes da mesma cena.

2.2 Modelo de Decomposição Informado pela Física

O artigo propõe um modelo de formação de imagem de três componentes para lidar com efeitos não-Lambertianos:
$$I = R \circ S + N$$
Onde $N$ é um resíduo não negativo que captura reflexos especulares, espalhamento sub-superficial e outros efeitos não-Lambertianos. Isso permite que os cabeçalhos de refletância e sombreamento foquem em seus respectivos componentes Lambertianos, enquanto $N$ lida com desvios.

2.3 Arquitetura da Rede

O backbone é um codificador-decodificador U-Net. Ele se ramifica em quatro cabeçalhos:

1. Cabeçalho de Refletância ($\hat{R}$): Prevê o albedo.
2. Cabeçalho de Sombreamento ($\hat{S}$): Prevê a iluminação.
3. Cabeçalho Não-Lambertiano ($\hat{N}$): Prevê o resíduo $N$ usando ativação ReLU.
4. Cabeçalho de Incerteza Separável por Fonte: Produz três canais de log-variância ($\log \sigma^2_{tex}, \log \sigma^2_{light}, \log \sigma^2_{nl}$) correspondentes a fontes de textura, iluminação e não-Lambertiana.
   • Escolha de Design: O cabeçalho de incerteza recebe uma conexão de salto da imagem de entrada bruta $I$, juntamente com as características do gargalo. Isso preserva dicas de alto nível em nível de pixel (por exemplo, saturação, gradientes) perdidas durante a codificação, que são críticas para detectar ambiguidade.

2.4 Estratégia de Treinamento

Para evitar "explosão de variância" (onde a rede minimiza a perda prevendo incerteza infinita em todos os lugares), é empregada uma estratégia de treinamento em duas fases:

• Fase 1 (Aquecimento): Treinar apenas os cabeçalhos de reconstrução ($R, S, N$) por 55 épocas. O cabeçalho de incerteza permanece congelado.
• Fase 2 (NLL): Introduzir gradualmente a perda de Negativa Log-Verosimilhança (NLL) heterocedástica por 25 épocas, treinando todos os parâmetros conjuntamente.

3. Contribuições Principais

1. Quantificação do Vazamento em Nível de Quadro: O artigo fornece a primeira demonstração quantitativa de que divisões em nível de quadro no MPI Sintel inflam o R PSNR de teste em 1,6–2,0 dB (estatisticamente significativo, $p < 0,01$) em comparação com divisões em nível de cena em três arquiteturas (DirectCNN, UNet e o método proposto). Sob treinamento estendido, essa lacuna excede 10 dB.
2. Incerteza Separável por Fonte: Um novo cabeçalho de incerteza de três vias que decompõe a incerteza em fontes de textura, iluminação e não-Lambertiana. Os autores verificam empiricamente que esses canais não colapsam para um escalar compartilhado; especificamente, o canal não-Lambertiano ($\sigma_{nl}$) mostra uma correlação cruzada de $r=0,67$ com o erro de resíduo não-Lambertiano, mais de 4$\times$ mais forte que a correlação do canal de textura com o mesmo erro.
3. Utilidade Descendente da Incerteza: O artigo demonstra que os rankings de incerteza são praticamente informativos. Filtrar os 75% dos pixels com maior incerteza reduz o MSE de reconstrução em 77% nos pixels retidos, enquanto a filtragem aleatória não produz melhoria.
4. Resultados Negativos e Ablação: Os autores relatam que uma variante mais elaborada, combinando decomposição de frequência, aprendizado evidencial, perda contrastiva e adaptação em tempo de teste (TTA), performa pior que a base mais simples. A ablação leave-one-out confirma que nenhum componente individual dessa variante complexa melhora a base, sugerindo que a acumulação de recursos sem avaliação disciplinada pode ser prejudicial.

4. Resultados Experimentais

4.1 Desempenho Quantitativo (Divisão em Nível de Cena)

Sob o protocolo estrito em nível de cena:

• Método Proposto: Alcança 15,98 ± 0,41 dB de R PSNR e 16,09 ± 0,18 dB de S PSNR.
• Comparação: Este desempenho é estatisticamente indistinguível de uma base UNet+Física (15,97/16,00 dB), mas significativamente inferior a um Ensemble Profundo de 5 membros (16,78/16,51 dB).
• Eficiência de Custo: O método proposto alcança desempenho próximo ao ensemble com um quinto do custo de parâmetros e treinamento.
• Significância: Nenhuma das mudanças arquiteturais incrementais (cabeçalho de Física, conexões de salto) produziu ganhos estatisticamente significativos de PSNR ($p > 0,05$) em testes t pareados entre sementes, reforçando a tese do artigo de que ajustes arquiteturais marginais produzem ganhos marginais sob avaliação honesta.

4.2 Análise de Incerteza

• Calibração: A correlação global entre incerteza e erro é modesta ($r = 0,131$), comparável ou ligeiramente melhor que Ensembles Profundos ($r = 0,107$) e consistente com benchmarks em fluxo óptico e estimativa de profundidade.
• Especialização: O canal não-Lambertiano ($\sigma_{nl}$) correlaciona-se fortemente com erros não-Lambertianos ($r=0,67$), enquanto o canal de textura ($\sigma_{tex}$) não o faz. Essa especialização específica por fonte é única em comparação com estimadores de incerteza escalar.
• Generalização: O comportamento separável por fonte persiste em fotografias reais fora da distribuição (sem ajuste fino), com $\sigma_{nl}$ mostrando correlação positiva com resíduos não-Lambertianos previstos.

4.3 Achados Negativos

• Variantes Complexas: Uma variante combinando cinco mecanismos avançados (roteamento de frequência, supervisão entre tarefas, aprendizado evidencial, perda contrastiva, TTA) resultou em uma queda de 3,4 dB no S PSNR e correlação negativa entre incerteza e erro.
• Ablação: A análise leave-one-out mostrou que nenhum componente único da variante complexa melhorou a base, indicando que o fracasso não foi devido a um componente "ruim", mas à incompatibilidade dos mecanismos combinados.

5. Significância e Alegações

O artigo argumenta que a comunidade de decomposição de imagens intrínsecas foi enganada por protocolos de avaliação excessivamente permissivos. A significância principal reside em:

1. Correção de Protocolo: Estabelecer divisões em nível de cena como o padrão necessário para prevenir vazamento de dados, fornecendo números de referência para seis modelos sob este protocolo.
2. Interpretabilidade sobre Métricas Brutas: Demonstrar que, embora o método proposto não supere drasticamente bases mais simples em PSNR, sua incerteza separável por fonte fornece informações únicas e acionáveis (por exemplo, distinguir reflexos especulares de textura) que ensembles escalares não podem oferecer.
3. Avaliação Disciplinada: O artigo alerta contra a "acumulação de recursos" (adição de módulos complexos) sem ablação rigorosa. Sugere que, para problemas inversos mal-postos, a restrição arquitetural disciplinada frequentemente produz resultados mais robustos do que combinações complexas e não verificadas de mecanismos.

Os autores concluem que a quantificação de incerteza é um complemento natural e pouco explorado à decomposição intrínseca, oferecendo ferramentas para tarefas descendentes como re-iluminação e edição de materiais, onde conhecer os limites da decomposição é crítico.