OUI as a Structural Observable: Towards an Activation-Centric View of Neural Network Training

Resumo Técnico: OUI como Observável Estrutural

Declaração do Problema
Os diagnósticos atuais de treinamento de redes neurais dependem fortemente de métricas externas, como perda, precisão e calibração final. Essas métricas são frequentemente atrasadas, comprimindo a narrativa interna do treinamento, e falham em revelar os regimes estruturais específicos que um modelo entra durante o processo de aprendizado. Embora as funções de ativação sejam a fonte do poder expressivo de uma rede — permitindo a partição do espaço de entrada em regiões funcionais distintas por meio de padrões de ativação —, os diagnósticos padrão raramente monitoram a evolução dessas estruturas internas. Essa lacuna leva a buscas caras por hiperparâmetros, detecção tardia de falhas e uma falta de interpretabilidade em relação à dinâmica do treinamento.

Metodologia e Definição
O artigo centra-se no Indicador de Sobreajuste–Subajuste (OUI), redefinido aqui como um observável estrutural da dinâmica de aprendizado. Os autores adotam uma formulação baseada em lotes (Fernández-Hernández et al., 2026) para monitorar o treinamento online:

1. Mascaramento de Ativação: Para uma camada $l$ com $d_l$ unidades e um lote $B_t$, uma máscara binária $m^{(l)}_{b,n}(t)$ é definida para cada neurônio $n$ e amostra $x_b$, indicando se a pré-ativação é positiva.
2. Contagem de Ativação: Para cada neurônio, é calculada a contagem $s^{(l)}_n(t)$ de amostras ativas no lote.
3. Contagem da Minoría: A métrica $u^{(l)}_n(t) = \min(s^{(l)}_n(t), B - s^{(l)}_n(t))$ é calculada. Esse valor é alto quando um neurônio divide o lote de maneira equilibrada e baixo quando o neurônio está consistentemente ligado ou desligado (viciado).
4. Cálculo do OUI: O OUI para o módulo é a média dessas contagens da minoría normalizada por $\lfloor B/2 \rfloor$.

Operacionalmente, um OUI alto indica que muitas unidades estão particionando o lote de teste de maneira equilibrada, refletindo uma rica estrutura interna de ativação. Um OUI baixo sugere que o módulo tornou-se viciado, com unidades comportando-se uniformemente em relação às entradas.

Principais Resultados e Evidências
O artigo sintetiza evidências de três domínios distintos para demonstrar a utilidade do OUI como um sinal precoce e livre de rótulos:

• Aprendizado Supervisionado (Regularização): Em experimentos com DenseNet-BC-100 no CIFAR-100, as trajetórias do OUI separaram-se precocemente (por volta de 15% do treinamento) para diferentes valores de decaimento de peso. Valores altos de OUI correlacionaram-se com melhor generalização, enquanto valores baixos anteciparam regimes de subajuste ou sobreajuste antes que as métricas de validação padrão pudessem distingui-los.
• Aprendizado por Reforço (PPO Actor-Critic): Reformulado para PPO, o OUI discriminou com sucesso entre regimes de taxa de aprendizado no início do treinamento. Crucialmente, o artigo observa uma assimetria estrutural: críticos ótimos ocupam uma faixa intermediária de OUI, enquanto atores fortes tendem a operar em valores de OUI mais altos. Isso sugere que o regime estrutural "bom" é dependente do contexto.
• Convergência de Padrões de Ativação: Citando trabalhos recentes (Pérez-Corral et al., 2026), o artigo observa que os padrões de ativação frequentemente estabilizam-se significativamente antes das atualizações de parâmetros. No treinamento de ViT-B16, as métricas de convergência de ativação saturaram enquanto a perda continuava a melhorar, apoiando uma visão de duas escalas temporais onde as redes refinam os pesos dentro de regimes de ativação estáveis.

Contribuições
A contribuição primária deste artigo não é um novo algoritmo, mas uma reformulação conceitual e síntese de evidências existentes:

1. Observável Estrutural: O artigo argumenta que o OUI deve ser entendido como o primeiro observável prático da dimensão estrutural interna do aprendizado, em vez de meramente um heurístico para ajuste de hiperparâmetros.
2. Visão Centrada em Ativação: Propõe uma "teoria centrada em ativação da dinâmica de treinamento", postulando que as estruturas internas de ativação tornam-se informativas e acionáveis antes da convergência, oferecendo uma dimensão do treinamento não capturada por métricas de ponto final.
3. Síntese de Evidências: Unifica descobertas em aprendizado supervisionado, aprendizado por reforço e controle online para mostrar um padrão recorrente: observáveis baseados em ativação podem revelar o destino de uma execução de treinamento precocemente.
4. Direção de Pesquisa: Identifica questões abertas necessárias para avançar essa visão, incluindo a "estrutura de fase" do treinamento (organização estrutural inicial versus refinamento tardio), a "adequação" dos regimes de ativação em relação a papéis e tarefas específicos, e a conexão teórica entre esses observáveis e noções formais de estabilidade e generalização.

Significado e Alegações
O artigo alega que visualizar o OUI como um observável estrutural desloca a perspectiva do treinamento, passando do monitoramento de resultados externos atrasados para o monitoramento da organização estrutural interna. Isso tem implicações práticas imediatas para a triagem precoce no pré-treinamento de modelos fundamentais, onde falhas em estágios tardios são custosas. Além disso, sugere uma mudança no controle funcional, permitindo que o treinamento seja regulado por sinais mais próximos do que a rede está fazendo funcionalmente com os dados, em vez de apenas do que o otimizador está fazendo aos parâmetros.

Os autores mantêm uma postura modesta, reconhecendo que o OUI é atualmente um "ponto de apoio empírico" em direção a uma teoria mais ampla. Eles notam limitações, como a definição natural do OUI para padrões semelhantes a ReLU e o risco de confusões de loops de feedback se usado como sinal de controle online. O artigo conclui que, se a mudança de ver ativações como subprodutos ocultos para objetos explícitos de estudo se mantiver, uma teoria centrada em ativação do treinamento torna-se um passo necessário para entender como as redes neurais aprendem.