Resumo Técnico: Inflação do Rank de Fisher: Uma Assinatura Espectral da Memorização sob Ruído de Rótulo

Declaração do Problema

Redes neurais profundas treinadas com ruído de rótulo exibem uma trajetória de aprendizado distinta: elas primeiro aprendem padrões estruturados compartilhados entre exemplos limpos e, subsequentemente, memorizam rótulos corrompidos que contradizem a distribuição subjacente dos dados. Embora pesquisas existentes tenham caracterizado extensivamente quando a memorização ocorre usando métricas como perda de treino/teste, dinâmica de predição ou geometria de representação, há uma lacuna na compreensão de como exemplos corrompidos remodelam a estrutura espectral dos gradientes de treinamento durante essa transição. Especificamente, a visão geométrica global de como a covariância do gradiente evolui conforme a rede muda do aprendizado de estrutura para a memorização permanece subexplorada.

Metodologia

Os autores propõem uma análise espectral da matriz de dispersão do gradiente de Fisher centrada derivada dos gradientes da última camada de amostras de treinamento por exemplo.

Definições Principais

• Dispersão do Gradiente de Fisher Centrada ($S$): Seja $g_i$ o gradiente vetorizado da camada afim final para o exemplo $i$. Os autores definem o gradiente centrado como $\bar{g}_i = g_i - \mu$, onde $\mu$ é o gradiente médio. A matriz de dispersão é $S = \sum \bar{g}_i \bar{g}_i^\top$.
• Rank Efetivo: O artigo utiliza o rank efetivo de entropia, definido como $er(S) = \exp(H(S))$, onde $H(S)$ é a entropia espectral dos autovalores normalizados de $S$. Esta métrica quantifica o número de direções efetivas nas quais a variância do gradiente está distribuída.
• Atribuição Leave-One-Out (LOO): Para identificar quais exemplos impulsionam mudanças de rank, os autores definem $\Delta_i = er(S) - er(S_{-i})$, onde $S_{-i}$ é a matriz de dispersão computada após a remoção do exemplo $i$ e recentralização. Um $\Delta_i$ positivo indica que o exemplo contribui para a inflação do rank.

Estrutura Teórica

Os autores desenvolvem uma teoria espectral para explicar três observações empíricas:

1. Inflação de Rank: A corrupção de rótulos aumenta o rank efetivo da covariância do gradiente.
2. Enriquecimento por Corrupção: Amostras corrompidas contribuem mais para a inflação de rank do que amostras limpas.
3. Enfraquecimento de Sinal: O sinal de atribuição diminui após a memorização ser completada.

A teoria postula que rótulos corrompidos injetam massa de covariância em direções de baixa energia ou anteriormente não utilizadas do gradiente de Fisher de dispersão. Isso aumenta a entropia espectral, inflando, assim, o rank efetivo. Os autores derivam uma fórmula de atribuição LOO de primeira ordem mostrando que exemplos com gradientes alinhados com "direções de aumento de rank" (onde o coeficiente de sensibilidade espectral $\beta_k > 0$) contribuem mais para a inflação. Eles também provam que, uma vez que o espectro de gradiente normalizado se estabiliza (pós-memorização), os sinais de atribuição individuais desaparecem.

Configuração Experimental

O fenômeno é avaliado através de:

• Datasets: CIFAR-10, CIFAR-100 (com corrupção de rótulo simétrica sintética) e CIFAR-10N (com erros de anotação humana ocorrendo naturalmente).
• Arquiteturas: SmallCNN, ResNet18 e Vision Transformers (ViT).
• Protocolo: O treinamento é monitorado para identificar o "época de pico de rank" (onde o rank efetivo é maximizado). Neste checkpoint, as contribuições LOO são computadas para analisar o enriquecimento ao nível da amostra.

Principais Contribuições

1. Identificação da Inflação do Rank de Fisher: O artigo identifica uma expansão transitória do rank efetivo do gradiente de Fisher que ocorre especificamente durante a fase de memorização do treinamento sob ruído de rótulo, seguida por um colapso à medida que os rótulos corrompidos são ajustados.
2. Explicação do Mecanismo Espectral: Os autores fornecem uma derivação teórica mostrando que rótulos corrompidos inflam o rank efetivo ao espalhar a massa espectral para direções de autovetores fracas ou novas, aumentando a entropia espectral.
3. Atribuição ao Nível de Amostra: Uma estrutura de atribuição LOO de primeira ordem é derivada, estabelecendo condições sob as quais exemplos corrompidos exibem maiores contribuições de rank do que exemplos limpos. A teoria explica que esse sinal enfraquece pós-memorização devido à estabilização do espectro normalizado.
4. Validação Empírica: O fenômeno é validado através de múltiplas arquiteturas e datasets, incluindo erros humanos naturais, demonstrando que a Inflação do Rank de Fisher é uma assinatura espectral robusta da memorização, e não um artefato de geração de ruído sintético.

Resultados Experimentais

• Trajetória de Inflação-Colapso: Em todos os cenários, o rank efetivo de Fisher exibe uma trajetória consistente: ele sobe durante o início do treinamento, atinge o pico durante a transência para a memorização e colapsa conforme o treinamento continua.
• Enriquecimento de Exemplos Corrompidos: No checkpoint de pico de rank, exemplos corrompidos estão desproporcionalmente representados entre as amostras de maior contribuição de rank.
  • Ruído Sintético: Nos 100 principais contribuintes de rank, a fração de rótulos ruidosos varia de 69,2% (ViT em CIFAR-10) a 96,2% (SmallCNN em CIFAR-10).
  • Ruído Humano: No CIFAR-10N (erros humanos naturais), exemplos corrompidos constituem 94,4% dos 100 principais contribuintes, apesar de serem apenas ~40% do dataset.
• Dependência de Severidade: A magnitude do pico de rank de Fisher aumenta monotonicamente com a severidade da corrupção. Sob treinamento limpo, o rank de pico é ~28,9, subindo para 97,1 com 60% de corrupção.
• Tempo: Em vários cenários, o início da Inflação do Rank de Fisher precede a degradação observável no teste, sugerindo que ela captura o início da memorização antes que a falha de generalização se torne aparente.
• Diferenças de Arquitetura: Embora o fenômeno seja universal, a força do sinal de atribuição varia. Modelos convolucionais (SmallCNN, ResNet) mostram um forte alinhamento entre a atribuição espectral de primeira ordem e as contribuições LOO exatas (correlação de Spearman > 0,96), enquanto os Vision Transformers mostram um sinal mais fraco, sugerindo que efeitos de ordem superior podem ser mais proeminentes em transformers.

Significância e Alegações

O artigo afirma estabelecer a Inflação do Rank de Fisher como uma assinatura espectral distinta da memorização sob ruído de rótulo. Sua significância reside em:

• Conectar Dinâmica a Geometria: Ele liga a dinâmica do espectro do gradiente de Fisher da última camada ao processo específico de ajuste de rótulos corrompidos, oferecendo uma perspectiva geométrica que complementa as análises baseadas em perda.
• Distinguir Dificuldade de Corrupção: Através de um experimento de "controle de dificuldade limpa", os autores demonstram que a Inflação do Rank de Fisher é impulsionada pela memorização de corrupção de rótulo e não simplesmente por exemplos limpos "difíceis" ou raros (que mostram contribuições de rank negligenciáveis).
• Robustez à Fonte de Ruído: A persistência do fenômeno sob erros de anotação humana naturalmente ocorrentes (CIFAR-10N) sugere que o mecanismo captura um aspecto fundamental de como redes profundas processam supervisão inconsistente, em vez de ser um artefato de modelos específicos de ruído sintético.
• Limitações: Os autores notam modestamente que a Inflação do Rank de Fisher é uma assinatura espectral da memorização, não necessariamente uma regra de parada online universal ou um detector de rótulo ruidoso genérico com desempenho de separação global perfeito (valores de AUROC são modestos, por exemplo, ~0,6–0,8). Os resultados teóricos são declarações espectrais locais em checkpoints fixos, e a aproximação de atribuição de primeira ordem é menos precisa para modelos de maior capacidade como ViT e CIFAR-100.