ERank in Latent Space as an Image-Complexity and Richness Measure

Resumo Técnico: ERank no Espaço Latente como uma Medida de Complexidade e Riqueza de Imagem

Problema
O artigo aborda a necessidade de uma medida de riqueza e complexidade visual por amostra e livre de rótulos. Embora as métricas existentes operem no espaço de pixels (ex: entropia, densidade de bordas, tamanho de arquivo) ou ao nível do conjunto de dados (ex: FID, Vendi Score), há uma lacuna na quantificação eficiente da diversidade de características dentro da representação latente de uma única imagem. Tal medida é crucial para tarefas como aprendizado de currículo, aprendizado ativo e seleção de dados para pré-treinamento, onde a compreensão da "dificuldade" ou "riqueza" de um dado de entrada pode otimizar a dinâmica de treinamento. As métricas atuais baseadas em pixels são frequentemente cegas à semântica e confundidas pelo ruído, enquanto as métricas de nível de conjunto de dados não fornecem granularidade por amostra.

Metodologia
Os autores propõem o ERank (Effective Rank - Posto Efetivo), uma métrica computada a partir da covariância de canais do mapa de características de uma imagem. A metodologia envolve as seguintes etapas:

1. Extração de Características: Uma imagem $I$ é passada por um codificador congelado e pré-treinado $f$ (ex: ResNet-18 ou CLIP ViT).
2. Computação de Covariância: O mapa de características intermediário em uma camada específica $\ell$ é achatado em uma matriz $X^{(\ell)} \in \mathbb{R}^{N \times C}$, onde $N$ é o tamanho espacial e $C$ é o número de canais. A matriz de covariância de canais empírica $\Sigma^{(\ell)}$ é computada após o centralizamento das colunas.
3. Cálculo do ERank: Os autovalores $\lambda_i$ da matriz de covariância são normalizados para formar uma distribuição de probabilidade $p_i$. O ERank é definido como o exponencial da entropia de Shannon desta distribuição:
   $$\text{erank}(I; f, \ell) = \exp\left(-\sum_{i=1}^C p_i \log p_i\right)$$
   Este valor representa o número de direções de canais descorrelacionados que a imagem ativa.
4. Agregação: Para garantir robustez, o ERank é computado através de múltiplas camadas do codificador e é a média para produzir um único escore por imagem.

Os autores destacam que o ERank é um relaxamento suave e diferenciável do posto de uma matriz, invariante a escalonamento isotrópico e rotações de canais, e limitado entre 1 e $\min(N, C)$.

Principais Contribuições

• Definição de ERank: Introdução de uma métrica por amostra e livre de rótulos que quantifica a riqueza visual ao contar as direções de canais descorrelacionados ativados no espaço latente.
• Propriedades Teóricas: Demonstração de que o ERank é uma medida contínua e diferenciável que se correlaciona com a correlação de canais pareados e é máxima quando os canais estão descorrelacionados.
• Validação Empírica: Análise abrangente mostrando que o ERank ordena imagens de "simples" para "visualmente ricas" e correlaciona-se fortemente com anotações humanas de complexidade ($r=0,72$ no IC9600), taxa de bits de codec, nitidez e densidade de bordas.
• Utilidade na Seleção de Dados: Identificação de regimes específicos onde a seleção de dados baseada em ERank supera a amostragem aleatória, especificamente para tarefas onde a riqueza da entrada governa a dificuldade.

Resultados
O artigo avalia o ERank através de quatro eixos:

1. Análise Visual: Ordenar imagens pelo ERank produz uma ordenação interpretável onde imagens de baixo ERank são simples/com baixo detalhe e imagens de alto ERank são texturizadas, com múltiplos objetos e alta frequência.
2. Correlação com Métricas: O ERank mostra fortes correlações positivas com a nitidez de Tenengrad ($r \approx 0,47$), compressibilidade JPEG ($r \approx 0,52$) e densidade de bordas Canny ($r \approx 0,49$). Mostra correlação negligenciável com distorção (BRISQUE) ou coloração.
3. Correlação com Anotação Humana: No benchmark IC9600, o ERank atinge uma correlação de Pearson de $r=0,72$ com escores de complexidade humana, superando a métrica de Energia de Ativação Não Supervisionada (UAE) ($r=0,53$).
4. Experimentos de Seleção de Dados:
   • Super-Resolução (DIV2K): Remover amostras de baixo ERank (simples) melhora o PSNR em comparação com a remoção aleatória, pois imagens simples contribuem pouco para o sinal de alta frequência para reconstrução.
   • OCR (IIIT5K): Remover amostras de alto ERank (visualmente ricas/poluídas) melhora a precisão de leitura de palavras, pois estas amostras são frequentemente mais difíceis ou ruidosas para tarefas de reconhecimento.
   • Tarefas Não Contribuintes: A seleção por ERank não proporciona melhoria significativa sobre a amostragem aleatória para classificação (MNIST/CIFAR-10), denoising ou segmentação semântica. Os autores atribuem isso ao fato de que a dificuldade da tarefa nesses domínios é governada pela estrutura das classes, ruído ou layout espacial, e não pela riqueza da entrada.

Significância e Alegações
O artigo afirma que o ERank serve como um "sinal de riqueza barato" que é computacionalmente eficiente (requerendo apenas uma passagem direta através de um codificador congelado). Sua principal significância reside na definição do limite de sua utilidade: o ERank é eficaz exatamente quando a dificuldade da tarefa é governada pela riqueza da entrada.

• É útil para Super-Resolução (onde imagens planas são pouco informativas) e OCR (onde imagens poluídas são prejudiciais).
• Não é útil para tarefas onde a dificuldade é determinada por rótulos de classe (classificação), layout espacial (segmentação) ou níveis de ruído (denoising).

Os autores concluem que, embora o ERank seja uma ferramenta poderosa para cenários específicos de seleção de dados, ele não substitui universalmente a amostragem aleatória. Eles sugerem que trabalhos futuros poderiam explorar o uso do ERank como um objetivo de treinamento diferenciável ou um sinal de complexidade para computação adaptativa, em vez de apenas como um critério de seleção de pré-treinamento.