Resumo Técnico: Cirurgia Espectral

Declaração do Problema

Redes neurais profundas treinadas em tarefas de classificação exibem um espectro de Hessian característico: um contínuo de massa de autovalores próximos de zero e um pequeno número de autovalores de grande magnitude (picos). Trabalhos teóricos (Papyan et al.) estabeleceram que esses $C-1$ picos correspondem a direções interclasse no espaço de características, onde $C$ é o número de classes. No entanto, pesquisas anteriores trataram essa estrutura puramente de forma descritiva. Nenhum método existente explorou operacionalmente esses autovetores de pico para melhorar o desempenho do modelo, especificamente para abordar disparidades de precisão por classe (desequilíbrio de classes) sem retreinamento.

Metodologia: Cirurgia Espectral

Os autores propõem a Cirurgia Espectral, um método de otimização post-hoc que perturba diretamente os pesos do modelo ao longo dos autovetores de pico do Hessian para reequilibrar a precisão por classe. O método opera inteiramente sobre um modelo treinado, exigindo apenas um pequeno mini-batch para estimativa do Hessian e um conjunto de avaliação retido.

Os componentes centrais do método são:

1. Matriz de Sensibilidade Pico–Classe ($S$):
   O método quantifica a derivada direcional da precisão de cada classe ao longo de cada autovetor de pico. Para $K$ autovetores de pico $\{q_1, \dots, q_K\}$ e uma amplitude de sonda $\epsilon$, a sensibilidade $S_{i,j}$ é calculada como:
   $$S_{i,j} = \frac{\text{acc}_j(\theta + \epsilon q_i) - \text{acc}_j(\theta - \epsilon q_i)}{2\epsilon}$$
   Esta matriz captura como o movimento ao longo de uma direção de pico específica melhora ou degrada classes específicas.

2. Otimização de Coeficientes Constrained:
   O método busca uma combinação linear de perturbações de pico $\delta\theta = \sum \alpha_i q_i$ para maximizar a precisão das classes fracas enquanto protege as fortes. Isso é formulado como um problema de otimização com restrições:
   $$\max_{\alpha} \sum_{j=1}^C w_j (S^\top \alpha)_j$$
   Sujeito a:

   • $\|\alpha\| \le \alpha_{\max}$ (para permanecer no regime linear).
   • $(S^\top \alpha)_j \ge -0.01$ para classes fortes (restrição de não degradação).
   • Os pesos $w_j$ são derivados dos erros de classe, com um expoente $p$ controlando a concentração de pressão sobre as classes mais fracas (ex: $p=2$ para foco severo, $p=1/2$ para espalhar a pressão).

3. Loop Adaptativo Iterativo:
   A otimização é realizada iterativamente. Em cada etapa:

   • Os autovetores do Hessian são recalculados (à medida que o espectro se desloca com as atualizações de pesos).
   • A matriz de sensibilidade $S$ é reconstruída.
   • Os coeficientes $\alpha$ são resolvidos via Programação Quadrática Sequencial (SLSQP).
   • Controle Adaptativo de Amplitude: Um mecanismo estilo Adam ajusta o orçamento de perturbação $\alpha_{\max}$ com base em uma relação sinal-ruído (SNR) dos sinais de melhoria, permitindo que o tamanho do passo cresça ou diminua dinamicamente.
   • Mecanismo de Reversão: Se uma etapa aumentar o desvio padrão das precisões das classes ou causar uma grande queda em uma única classe, os pesos são revertidos.

4. Escalabilidade (Cirurgia Espectral Deflacionada Sequencial):
   Para conjuntos de dados com muitas classes (ex: CIFAR-100 com 99 picos), as restrições de memória impedem a recuperação de todos os picos simultaneamente. Os autores propõem a Cirurgia Espectral Deflacionada Sequencial, que executa múltiplas fases. Em cada fase, os autovetores previamente recuperados são projetados para fora (deflacionados) do oráculo de produto vetor-Hessian, permitindo a recuperação do próximo grupo de picos sem armazenar a base completa.

Principais Contribuições

• Uso Operacional de Picos do Hessian: O artigo é o primeiro a utilizar autovetores de pico do Hessian como uma alavanca operacional para melhoria direcionada de classes, indo além da análise descritiva do espectro.
• Reequilíbrio Post-Hoc: O método alcança um reequilíbrio significativo de classes sem acesso ao conjunto de treinamento completo, sem atualizações de retropropagação e sem retreinamento. Requer apenas algumas centenas de imagens para estimativa do Hessian.
• Componentes Novos: Introdução da matriz de sensibilidade pico–classe, otimização com restrições de não degradação e controle adaptativo de amplitude baseado em sinais de nível de iteração.
• Validação Estrutural: Os autores fornecem evidências empíricas (via experimentos de "caminhada na massa") de que perturbações ortogonais ao subespaço de pico deixam o desempenho ao nível da classe invariante, confirmando que a informação discriminativa de classes está concentrada em uma fração minúscula do espaço de parâmetros.

Resultados Experimentais

CIFAR-10 (ResNet-50)

• Desempenho: Reduziu o desvio padrão ($\sigma$) da precisão de classe em 36% (de 8,57% para 5,52%).
• Ganhos por Classe: A classe mais fraca ("gato") ganhou +7,5 pontos percentuais (pp), e "cachorro" ganhou +5,9 pp.
• Impacto Global: A precisão global diminuiu de forma negligenciável em 0,2 pp.
• Comparação: Superou o ajuste fino com Focal Loss ($\Delta\sigma = -0,76$ pp) e o ajuste fino Balanceado por Classe ($\Delta\sigma = -0,60$ pp) no reequilíbrio, apesar de operar post-hoc.
• Eficiência: Concluído em aproximadamente 25 minutos em uma única CPU.

CIFAR-100 (ResNet-50)

• Escalabilidade: Usando cirurgia deflacionada sequencial, os autores acessaram 45 dos 99 picos teóricos.
• Desempenho: Reduziu $\sigma$ em 1,6% no conjunto retido. A redução relativa foi menor que no CIFAR-10 devido à cobertura parcial do subespaço de pico.

ISIC-2019 (Imagem Médica)

• Contexto: Um conjunto de dados de 8 classes severamente desequilibrado (frequências abrangendo duas ordens de grandeza).
• Composição:
  • SS sozinho: Superou marginalmente o ajuste fino com Focal Loss no reequilíbrio ($\sigma$: 19,6% vs. 20,8%) com precisão balanceada comparável.
  • FL + SS: Melhorou a precisão balanceada para 51,5% (vs. 49,2% para FL sozinho) e reduziu $\sigma$ para 16,4%.
  • CB + SS: Aplicado sobre o ajuste fino Balanceado por Classe (que atingiu 57,7% de precisão balanceada), o SS reduziu ainda mais $\sigma$ em 3,5 pp (para 11,3%) mantendo a precisão balanceada (58,0%).
• Insights: Classes raras, mas visualmente distintas (ex: Lesões Vasculares), responderam fortemente à Cirurgia. Pares confusos (ex: Melanoma vs. Nevos) mostraram melhoria limitada devido ao emaranhamento espectral.

Análise Teórica: Rank Efetivo

Os autores introduzem o rank efetivo entrópico ($r_{eff}$) da matriz de sensibilidade $S$ como um diagnóstico.

• No CIFAR-10, $r_{eff} \approx 4$, permitindo trocas multieixo e ganhos significativos.
• No ISIC-2019 (após ajuste fino Balanceado por Classe), $r_{eff} \approx 2$, indicando que o método de tempo de treinamento já havia absorvido grande parte dos graus de liberdade espectrais resolvíveis. Isso explica o ganho diminuído (embora ainda positivo) do SS sobre o CB.

Significado e Alegações

O artigo alega que a Cirurgia Espectral demonstra a utilidade prática da estrutura espectral do Hessian para melhoria de modelos. As principais alegações incluem:

1. Eficácia Post-Hoc: É possível reequilibrar significativamente o desempenho de classes em um modelo treinado sem retreinamento, usando apenas um pequeno subconjunto de dados.
2. Complementaridade: A Cirurgia Espectral atua em um "plano" diferente do reponderamento baseado em perda (Focal Loss, Balanceado por Classe). Quando os métodos de tempo de treinamento não esgotaram os graus de liberdade espectrais disponíveis, os métodos são aditivos.
3. Limitações: O método é limitado pelo rank efetivo da matriz de sensibilidade. Se o processo de treinamento já tiver resolvido as assimetrias de classes (baixo $r_{eff}$), ou se as classes estiverem espectralmente emaranhadas (ex: classes visualmente semelhantes compartilhando direções de pico), os ganhos são limitados.
4. Etapa Terminal: O método é melhor aplicado como uma etapa final post-hoc; o ajuste fino subsequente (mesmo projetado na massa) erosiona os ganhos de reequilíbrio.

Os autores permanecem modestos quanto à hipótese do rank efetivo, observando que é atualmente uma "hipótese de trabalho" baseada em dois regimes medidos (CIFAR-10 e ISIC-2019) e requer testes adicionais em arquiteturas e conjuntos de dados diversos para ser estabelecido como um limiar numérico.