Resumo Técnico: Avaliando o Espaço de Representação de Modelos de Difusão via Princípios de Aprendizado Autossupervisionado

1. Declaração do Problema

Os modelos de difusão estabeleceram-se como sistemas generativos de estado da arte e, mais recentemente, como poderosos aprendizes de representação autossupervisionada. No entanto, a conexão teórica e prática entre suas capacidades generativas e suas propriedades de aprendizado de representação permanece subexplorada. Diferente dos métodos tradicionais de aprendizado autossupervisionado (SSL) que otimizam explicitamente para a invariância a aumentos de dados, os modelos de difusão são treinados via um objetivo de denoising para recuperar sinais limpos a partir de entradas corrompidas por ruído Gaussiano.

Essa distinção levanta questões fundamentais: Até que ponto as representações de difusão capturam implicitamente as propriedades geométricas de "boas" representações (como invariância e expansão) buscadas no SSL? Além disso, como essas propriedades evoluem através de diferentes níveis de ruído e ao longo da dinâmica de treinamento, particularmente em regimes de dados limitados, onde os modelos transitam da generalização para a memorização? Métricas de avaliação atuais, como a Distância de Fréchet Inception (FID), são frequentemente insuficientes para detectar a memorização precoce ou para fornecer sinais intrínsecos e livres de rótulos durante o treinamento.

2. Metodologia

2.1 Decomposição de Invariância-Resíduo

Os autores propõem um framework fundamentado em princípios de SSL para analisar características de difusão. Para uma imagem de treinamento $\mathbf{x}_0$ dada, eles consideram uma perturbação aleatória $a$ que abrange tanto aumentos semânticos padrão quanto o ruído Gaussiano aditivo inerente ao processo de difusão. Seja $\mathbf{h}(a(\mathbf{x}_0))$ a representação extraída de uma camada fixa do modelo de difusão.

Os autores decompõem essa representação em dois componentes:

1. Componente Invariante ($\mathbf{s}$): A média condicional da representação através das perturbações, $\mathbf{s}(\mathbf{x}_0) = \mathbb{E}_a[\mathbf{h}(a(\mathbf{x}_0)) \mid \mathbf{x}_0]$. Isso captura atributos semânticos estáveis resilientes à corrupção.
2. Componente Residual ($\boldsymbol{\xi}$): O desvio da média, $\boldsymbol{\xi}(a, \mathbf{x}_0) = \mathbf{h}(a(\mathbf{x}_0)) - \mathbf{s}(\mathbf{x}_0)$. Isso captura variações específicas de visualização e sensíveis ao aumento.

Esta decomposição leva a uma decomposição de covariância total: $\boldsymbol{\Sigma}_h = \boldsymbol{\Sigma}_s + \boldsymbol{\Sigma}_\xi$, onde $\boldsymbol{\Sigma}_s$ representa a dispersão das identidades invariantes e $\boldsymbol{\Sigma}_\xi$ representa a variação residual agregada.

2.2 A Razão de Contaminação Invariante (ICR)

Para quantificar a "saúde" do espaço de representação, os autores introduzem a Razão de Contaminação Invariante (ICR). Eles formulam um problema de autovalor generalizado:
$$\boldsymbol{\Sigma}_s \mathbf{v}_i = \lambda_i \boldsymbol{\Sigma}_\xi \mathbf{v}_i$$
onde $\lambda_i$ representa a razão sinal-ruído (SNR) ao longo da $i$-ésima direção de Fisher $\mathbf{v}_i$. Um $\lambda_i$ alto indica uma direção dominada por uma estrutura invariante estável, enquanto um $\lambda_i$ baixo indica dominância pela variação residual.

A ICR é definida como:
$$\text{ICR} = \frac{1}{1 + \frac{1}{d}\sum_{i=1}^d \lambda_i}$$
onde $d$ é a dimensão da característica.

• Baixa ICR: Indica que o sinal invariante domina a variação residual (alta SNR), sugerindo uma representação robusta.
• Alta ICR: Indica que a variação residual (contaminação) ocupa uma parte significativa do espaço de representação.

Crucialmente, a ICR é livre de rótulos e pode ser computada inteiramente a partir das características de treinamento sem avaliadores externos ou conjuntos de teste mantidos fora.

3. Principais Contribuições

1. Uma Métrica de Avaliação Baseada em Representação: O artigo introduz a ICR, uma métrica escalar única derivada de uma decomposição de invariância-resíduo. Ela mede a extensão em que a variação sensível a aumentos e ruídos contamina a estrutura estável do espaço de características.
2. Identificação de uma Janela Semântica: Os autores demonstram que os cronogramas de ruído de difusão admitem uma "janela semântica" intermediária onde a ICR é minimizada. Este mínimo coincide com os níveis de ruído que geram a maior acurácia de classificação linear, forneando uma regra simples, baseada em SSL, para selecionar escalas de ruído ideais para tarefas downstream.
3. Rastreamento de Generalização vs. Memorização: O artigo revela fases distintas de aprendizado no espaço de representação:
   • Regime de Dados Abundantes: A ICR diminui monotonicamente conforme o treinamento progride, acompanhando de perto as melhorias na qualidade generativa (FID).
   • Regime de Dados Limitados: A ICR exibe uma trajetória em forma de U. Ela diminui inicialmente conforme o modelo aprende a generalizar, atinge um mínimo e depois aumenta conforme o modelo começa a memorizar amostras de treinamento específicas. Isso torna a ICR um sinal de parada antecipada sensível para memorização, detectável antes que métricas de geração padrão ou testes de vizinhos mais próximos indiquem overfitting.

4. Resultados Experimentais

O framework foi avaliado no CIFAR-10, CIFAR-100 e ImageNet usando várias arquiteturas de difusão (EDM, SiT).

• Análise de Nível de Ruído: Em todos os datasets, a curva ICR é em forma de U em relação aos níveis de ruído. O mínimo da ICR alinha-se precisamente com o pico na acurácia de classificação linear. Isso confirma que níveis de ruído intermediários oferecem o melhor equilíbrio entre capturar detalhes finos e estruturas semânticas estáveis.
• Treinamento de Dados Abundantes: Em experimentos com conjuntos de treinamento completos (ex: 50k imagens do CIFAR-10, 1.28M do ImageNet), a ICR e o FID diminuíram monotonicamente ao longo das iterações de treinamento. Isso sugere que, conforme o modelo aprende o manifold de dados, a representação interna torna-se cada vez mais invariante e "pura".
• Treinamento de Dados Limitados: Em experimentos com dados limitados (ex: 4k imagens do CIFAR-10, 10k do ImageNet), a ICR seguiu uma curva em forma de U. O mínimo da curva ICR ocorreu pouco antes de a razão de memorização começar a subir. Visualizações de vizinhos mais próximos confirmaram que, durante o mínimo da ICR, os vizinhos eram semanticamente significativos, enquanto no overfitting (ICR ascendente), os vizinhos tornaram-se visualmente não relacionados.
• Dinâmica de Expansão de Características: A análise dos traços de $\boldsymbol{\Sigma}_s$ e $\boldsymbol{\Sigma}_\xi$ mostrou que, em regimes de dados abundantes, a expansão de características é impulsionada pelo crescimento da estrutura invariante. Em regimes de dados limitados, uma vez que a estrutura invariante satura, a expansão adicional é impulsionada pela variação residual, levando ao aumento da ICR.

5. Significância e Alegações

O artigo afirma que os modelos de difusão podem ser efetivamente monitorados e avaliados através da geometria de suas representações aprendidas usando princípios de aprendizado autossupervisionado. A principal significância reside em fornecer sinais intrínsecos durante o treinamento que não dependem de:

• Redes pré-treinadas externas (como DINOv2 ou Inception).
• Amostragem e geração caras de imagens de teste.
• Rótulos de verdade fundamental (ground-truth).

Os autores argumentam que a ICR serve como uma ferramenta de diagnóstico unificada que faz a ponte entre o aprendizado de representação e a modelagem generativa. Ela oferece um método prático para identificar escalas de ruído ideais para extração de características e para detectar o início da memorização em cenários de escassez de dados, abordando uma lacuna crítica nas metodologias de avaliação atuais onde métricas padrão como FID podem falhar em detectar o overfitting precoce. O trabalho sugere que a transição da generalização para a memorização é fundamentalmente uma mudança no espaço de representação da estrutura invariante para a variação residual.