Training Deep Visual Networks Beyond Loss and Accuracy Through a Dynamical Systems Approach

Resumo Técnico: Treinamento de Redes Visuais Profundas Além da Perda e Precisão

1. Problema e Motivação

As métricas padrão para treinar e avaliar redes neurais profundas de reconhecimento visual (como loss e precisão) são insuficientes para compreender a evolução interna das representações durante o treinamento.

• A Lacuna: Uma rede pode atingir um platô de precisão enquanto suas dinâmicas internas ainda estão em fluxo, ou a estrutura representacional pode estabilizar antes que a curva de perda se achate.
• O Desafio: Existe uma falta de um quadro unificado de medição dinâmica que rastreie a trajetória completa do treinamento no nível das ativações das camadas, indo além dos sinais de saída.
• Objetivo: Propor uma abordagem complementar baseada em sistemas dinâmicos para analisar como as representações internas mudam, adaptando conceitos originalmente desenvolvidos para a análise de sinais neurais biológicos (EEG).

2. Metodologia

Os autores propõem um framework que trata as ativações das camadas de uma rede neural profunda como um sistema dinâmico multivariado, analisado ao longo das épocas de treinamento.

Configuração Experimental:

• Modelos: 9 combinações de arquitetura e conjunto de dados, incluindo ResNets (18, 34, 50, 101, 152), DenseNet-121, MobileNetV2, VGG-16 e um Vision Transformer (ViT) pré-treinado.
• Dados: CIFAR-10 e CIFAR-100.
• Coleta de Dados: Hooks (ganchos) foram registrados após as funções de ativação não lineares em quatro níveis representativos de profundidade para cada arquitetura, coletando médias de ativação em lotes de validação ao final de cada época.

Métricas Dinâmicas Propostas:
O framework adapta três componentes matemáticos:

1. Integração Hierárquica (via Análise de Flutuação Desempenada - DFA):

   • Calcula o expoente de Hurst ($H$) para as séries temporais de ativação de cada camada.
   • Um valor $H > 0.5$ indica correlações de longo alcance persistentes.
   • Define-se um Score de Integração Efetiva ($H_{eff}$) usando uma função de ajuste gaussiano centrada em um expoente ótimo ($H_{opt} = 0.7$), penalizando ruído não correlacionado ou rigidez excessiva.

2. Metastabilidade (via Parâmetro de Ordem de Kuramoto):

   • Extrai a fase analítica das ativações via Transformada de Hilbert.
   • Calcula o parâmetro de ordem de Kuramoto ($R$), que mede a sincronia instantânea entre as camadas.
   • A Metastabilidade ($M$) é definida como o desvio padrão temporal de $R$. Alta metastabilidade indica alternância flexível entre estados sincronizados e dessincronizados.

3. Índice de Estabilidade Dinâmica Composto ($\Psi$):

   • Combina $H_{eff}$ e $M$ (normalizados) em um único índice: $\Psi(t) = w_H H_{eff,norm} + w_M M_{norm}$.
   • Analisa-se a volatilidade de $\Psi$ (desvio padrão rolante, $\sigma_\Psi$) como indicador de convergência.

Métricas Derivadas:

• Sincronia Inter-campo ($r(H_z, M_z)$): Correlação de Pearson entre os campos de integração e metastabilidade.
• Correlação de Convergência ($r(\Psi, acc)$): Correlação entre o índice $\Psi$ e a precisão de validação.

3. Principais Contribuições

1. Adaptação do Framework Heff–M–$\Psi$: Formalização da aplicação de métricas de complexidade de sinais neurais biológicos para redes profundas artificiais, com definições formais de cálculo (Algoritmo 1).
2. Observações Empíricas Robustas: Identificação de padrões consistentes em 9 configurações, sugerindo que $H_{eff}$ distingue tarefas de dificuldade e que a volatilidade de $\Psi$ pode sinalizar convergência antes do platô de precisão.
3. Taxonomia de Estados Dinâmicos: Proposição de uma classificação retrospectiva de quatro estados de treinamento baseada nas assinaturas dinâmicas observadas.

4. Resultados Chave

• $H_{eff}$ como Barômetro de Complexidade da Tarefa:

  • Há uma separação clara e robusta entre os conjuntos de dados: modelos no CIFAR-10 (tarefa mais fácil) convergem para valores altos de $H_{eff}$ (0.83–0.98), enquanto modelos no CIFAR-100 (tarefa mais difícil) permanecem em valores baixos (0.04–0.30).
  • O ViT pré-treinado atingiu o maior $H_{eff}$ (0.98), sugerindo que o pré-treinamento permite atingir níveis de integração hierárquica superiores durante o fine-tuning.
  • O VGG-16 no CIFAR-100 mostrou um valor intermediário (0.303), indicando uma integração parcial e incompleta.

• Volatilidade de $\Psi$ como Indicador de Convergência:

  • A volatilidade de $\Psi$ ($\sigma_\Psi$) tende a cair (colapsar) antes que a precisão atinja o platô.
  • No DenseNet-121, a volatilidade caiu abaixo de um limiar candidato (0.30) 7 épocas antes da precisão estabilizar, sugerindo um sinal precoce de convergência.
  • Modelos no CIFAR-100 (como ResNet-50) mostraram alta volatilidade persistente, indicando instabilidade e falha em encontrar um atrator estável.

• Sincronia Inter-campo e Coerência Representacional:

  • Modelos de alto desempenho (como DenseNet-121) exibiram baixa sincronia (correlação próxima de zero ou negativa) entre integração e metastabilidade, indicando evolução dinâmica flexível e independente.
  • Modelos de baixo desempenho no CIFAR-100 (ResNet-50, ResNet-101) exibiram alta sincronia positiva ($r > 0.8$), indicando um regime rígido onde as camadas estão "travadas" em um atrator de baixa complexidade.

5. Taxonomia de Estados de Treinamento

Os autores propõem quatro estados dinâmicos:

1. Convergência Estável (Stable Convergent): Alta integração, volatilidade em colapso rápido e componentes desacoplados. (Ex: DenseNet-121). Representa o estado ótimo.
2. Alta Integração Metastável (Metastable H-I): Alta integração, mas volatilidade persistentemente elevada. O modelo explora o espaço de representação sem se estabilizar. (Ex: ViT pré-treinado, ResNet-152).
3. Integração Parcial (Partial Integration): Integração intermediária e limitada. (Ex: VGG-16 no CIFAR-100).
4. Sincronização Rígida (Rigidly Synchronised): Baixa integração, volatilidade plana e alta sincronia entre componentes. Indica um atrator de baixa complexidade e flexibilidade limitada. (Ex: ResNet-50/101 no CIFAR-100).

6. Significado e Limitações

Significado:

• Oferece uma nova lente para entender o treinamento de redes profundas, focando na complexidade dinâmica interna em vez de apenas no desempenho final.
• Sugere que a estabilidade dinâmica e a flexibilidade das representações internas são preditores de qualidade do modelo e podem ser usadas para detecção precoce de convergência.
• A separação consistente entre CIFAR-10 e CIFAR-100 via $H_{eff}$ sugere que a métrica captura a dificuldade intrínseca da tarefa para a arquitetura.

Limitações:

• Variabilidade de Sementes: Todos os experimentos foram executados com uma única semente aleatória. A variabilidade entre sementes é desconhecida.
• Tamanho da Série Temporal: O número de épocas (25-58) é curto para estimativas robustas de expoentes de Hurst (que geralmente preferem milhares de pontos).
• Generalização: O estudo é limitado aos conjuntos CIFAR e a um conjunto específico de arquiteturas. A generalização para ImageNet ou outras modalidades não foi testada.
• Redução de Informação: A compressão das ativações de cada camada para um único escalar (média) pode descartar estruturas geométricas importantes dentro das camadas.

Conclusão:
O estudo apresenta uma abordagem exploratória e promissora para diagnosticar o treinamento de redes neurais. Embora as conclusões sejam preliminares devido ao tamanho da amostra e à falta de múltiplas sementes, os resultados indicam que métricas baseadas em sistemas dinâmicos podem revelar fases de treinamento e estados de convergência invisíveis às métricas tradicionais de perda e precisão.