Resumo Técnico: O Campo de Propagação: Uma Teoria de Substrato Geométrico para Aprendizado Profundo

1. Declaração do Problema

O aprendizado profundo moderno trata predominantemente as redes neurais como funções de ponto final que mapeiam entradas para saídas, otimizadas por meio de perdas específicas de tarefa (LeCun et al., 2015). Embora essa abordagem tenha impulsionado sucessos significativos, os mecanismos internos de propagação de informações permanecem pouco compreendidos. O treinamento padrão restringe o comportamento de fronteira (mapeamento entrada-saída), mas deixa a geometria das representações por camada e as trajetórias de estado interno subdeterminadas. Essa lacuna manifesta-se em questões que vão desde a robustez adversarial (Szegedy et al., 2013) e a aprendizagem em contexto (Brown et al., 2020) até o esquecimento catastrófico no aprendizado contínuo (Kirkpatrick et al., 2017).

O problema central abordado é que a supervisão de ponto final não identifica unicamente o campo de propagação interno. Dois modelos podem ser "equivalentes em ponto final" (atingindo perdas de tarefa quase idênticas) enquanto possuem estruturas geométricas internas vastamente diferentes, incluindo trajetórias de estado oculto e operadores Jacobianos locais. Consequentemente, as leis de escalonamento padrão caracterizam o escalonamento da perda de ponto final, mas não necessariamente o escalonamento da qualidade da propagação interna.

2. Metodologia: A Estrutura do Campo de Propagação

Os autores propõem uma perspectiva de "Campo de Propagação", inspirada na transição da mecânica baseada em forças para teorias de campo geométricas na física (por exemplo, Relatividade Geral e teoria de Yang-Mills). Em vez de visualizar as camadas como etapas computacionais discretas, a rede é vista como um campo definido pela coleção de trajetórias de estado oculto e operadores Jacobianos locais ao longo da profundidade.

2.1 Definições Centrais

• Campo de Propagação ($\Phi_\theta$): Definido como o conjunto de estados ocultos $\{h_0, \dots, h_L\}$ e Jacobianos locais $\{J_0, \dots, J_{L-1}\}$, onde $J_\ell = \partial h_{\ell+1} / \partial h_\ell$. Para modelos de fluxo contínuo, isso inclui a trajetória $h(t)$ e o campo vetorial $f_\theta(h, t)$.
• Equivalência de Ponto Final: Dois modelos são equivalentes em ponto final se suas perdas de tarefa diferirem por menos de uma tolerância $\epsilon$. O artigo prova (Proposição 2.3) que a equivalência de ponto final não implica equivalência de campo; modelos podem ter precisão idêntica, mas diferir por ordens de magnitude na estrutura de trajetória e Jacobiano.
• Distância de Campo: Uma métrica $d_{field}$ quantifica a discrepância entre as trajetórias de estado oculto e as estruturas Jacobianas de dois modelos.

2.2 Métricas Observáveis

Para tornar o campo de propagação mensurável, os autores introduzem métricas de geometria discreta computáveis em redes padrão:

• Comprimento do Caminho: Deslocamento total da representação ao longo da profundidade.
• Curvatura Discreta: Um proxy para a curvatura da trajetória oculta.
• Alinhamento de Velocidade: A consistência da direção de propagação através das camadas.
• Sensibilidade do Caminho: A variância nos estados ocultos ou saídas quando a mesma entrada é apresentada por meio de diferentes caminhos de observação (por exemplo, diferentes ordens de patches ou janelas temporais).
• Consistência do Solucionador: A estabilidade dos estados terminais quando o mesmo campo subjacente é discretizado com diferentes tamanhos de passo ou solucionadores numéricos.
• Pontuações de Retenção (FRS/JRS): No aprendizado contínuo, métricas que medem o desvio das trajetórias ocultas (FRS) e dos Jacobianos locais (JRS) entre modelos antigos e novos.

2.3 Objetivos de Otimização

O artigo introduz Objetivos Conscientes de Campo para regularizar a geometria interna:

• Consistência Multi-caminho ($L_{reveal}$): Minimiza diferenças nos estados ocultos/logits através de diferentes caminhos de observação.
• Consistência do Solucionador ($L_{solver}$): Garante que os estados terminais permaneçam consistentes sob diferentes discretizações numéricas.
• Suavidade Jacobiana ($L_{jac}$): Regulariza a suavidade dos operadores de propagação locais.
• Regularização de Preservação de Campo (FPR): No aprendizado contínuo, o FPR adiciona restrições para preservar as trajetórias ocultas e os campos Jacobianos de tarefas anteriores, complementando o replay ou a distilação padrão.

3. Contribuições Principais e Resultados Experimentais

O artigo fornece evidências empíricas em sistemas controlados, tarefas do mundo real e configurações de aprendizado contínuo.

3.1 Sistemas Controlados (Teacher-Flow & EDPs)

• Subdeterminação: Em experimentos de teacher-flow, modelos com precisão de ponto final idêntica (0,9975) exibiram erros de recuperação de trajetória que diferiam por 58,7x (3,52 vs. 0,06) quando a supervisão de campo foi aplicada.
• Recuperação de Lei: Em tarefas de extrapolação de EDPs, o ajuste padrão de ponto final falhou em recuperar a lei de propagação subjacente (MSE = 1,217 em $T=2,0$), enquanto modelos de campo estilo gerador alcançaram erro significativamente menor (MSE = 0,195) e preservaram a evolução da energia.
• Conclusão: O ajuste de ponto final identifica uma classe de equivalência comportamental, mas falha em recuperar a lei de propagação subjacente.

3.2 Tarefas Reais Multi-caminho

• Alinhamento de Tarefa: Objetivos conscientes de campo melhoram a generalização (precisão OOD, precisão de caminho não visto) e a calibração apenas quando alinhados com a estrutura da tarefa.
  • Sucesso: No Tiny-ImageNet, o objetivo completo consciente de campo melhorou a precisão (0,097 $\to$ 0,118), a precisão OOD e a calibração, ao mesmo tempo que reduziu a sensibilidade do caminho.
  • Falha (Colapso): No CIFAR-100, impor consistência de campo reduziu a sensibilidade do caminho, mas causou colapso de campo, degradando a precisão de 0,0405 para 0,0093. Isso demonstra que baixa sensibilidade do caminho não é suficiente para desempenho discriminativo; o campo deve reter riqueza direcional suficiente.
• Compensações de Otimização: A análise de gradiente revela conflitos entre objetivos de tarefa e de campo (até 36% de frações de gradiente negativo). A retropropagação padrão não encontra automaticamente a compensação ótima tarefa-campo; algoritmos especializados (por exemplo, LocalFieldMatch) são necessários para navegar na fronteira de Pareto.

3.3 Aprendizado Contínuo

• Retenção de Campo vs. Função: No Split CIFAR-100, a Regularização de Preservação de Campo (FPR) autônoma preservou com sucesso métricas internas de campo (JRS = 0,033), mas falhou em manter a precisão de ponto final (AA = 0,037). Por outro lado, métodos padrão de replay (DER++) preservaram a precisão (AA = 0,135), mas permitiram desvio de campo (JRS = 0,177).
• Complementaridade: Combinar FPR com DER++ (DER++ + FPR-Full) melhorou ambas as dimensões simultaneamente, aumentando a Precisão Média (0,125 $\to$ 0,136) e a Transferência Reversa, ao mesmo tempo que reduziu o desvio de campo. Isso sugere que a retenção de campo e a retenção de função são objetivos complementares, não redundantes.

4. Significado e Alegações

O artigo afirma estabelecer a qualidade do campo de propagação como uma propriedade mensurável e treinável de redes neurais que existe além do desempenho de ponto final.

• Mudança Teórica: Reenquadra o aprendizado profundo de otimizar um mapa estático entrada-saída para gerenciar um substrato geométrico interno dinâmico.
• Identificabilidade: Demonstra que a supervisão de ponto final é insuficiente para determinar unicamente o campo de propagação interno, tornando necessários objetivos explícitos conscientes de campo para tarefas envolvendo dependência de caminho ou processos de longo horizonte.
• Utilidade Prática: Objetivos conscientes de campo podem aumentar a robustez e a generalização em regimes específicos (por exemplo, tarefas multi-caminho), mas exigem um equilíbrio cuidadoso para evitar o "colapso de campo", onde a rede otimiza para consistência geométrica às custas do poder discriminativo.
• Aprendizado Contínuo: Propõe que o esquecimento ocorre no nível do campo (reescrita das leis internas de propagação) e que preservar essa geometria complementa estratégias tradicionais de retenção no nível da função.

Os autores concluem com um "princípio direcional semelhante ao de Kakeya": campos de propagação úteis devem reduzir a sensibilidade de caminho espúria, ao mesmo tempo que preservam riqueza direcional suficiente para discriminação. Este trabalho sugere que a pesquisa futura em aprendizado profundo deve medir e otimizar explicitamente a geometria da propagação interna, e não apenas a saída final.