Coarse-Graining Hidden Representations: Unsupervised Neuron Selection via Mapping Entropy

Definição do Problema

As redes neurais modernas são tipicamente sobreparametrizadas, possuindo muito mais unidades ocultas do que o estritamente necessário para codificar a relação entrada-saída alvo. Isso levanta questões fundamentais sobre a organização interna dessas redes: quais neurônios são essenciais para o desempenho preditivo e é possível identificar essa distinção sem acesso a rótulos de tarefas ou gradientes? As abordagens existentes para eficiência e interpretabilidade frequentemente dependem de sinais supervisionados (ex: magnitude de pesos, saliência ou pontuações baseadas em gradiente) ou estratégias de poda aleatória. Os autores postulam que a estrutura estatística da própria representação oculta pode codificar quais unidades são funcionalmente importantes, independentemente da perda específica da tarefa.

Metodologia

Os autores formulam a seleção de neurônios como um problema de granularidade grossa (coarse-graining - CG). A camada oculta de uma rede feed-forward é tratada como um espaço de configuração microscópica. Uma descrição de granularidade grossa é definida pela retenção de um subconjunto de $n_{cg}$ neurônios de um total de largura $K$, efetivamente decimando a camada oculta.

Para avaliar a qualidade de um subconjunto específico (mapeamento), os autores empregam o fluxo de otimização de Entropia de Mapeamento (ME) (MEOW):

1. Configuração Binária: As ativações contínuas ocultas são binarizadas por seu sinal ($s_i = \text{sign}(h_i)$) para definir uma configuração binária $\phi$. Esta escolha conservadora evita o agrupamento (binning) arbitrário e garante robustez.
2. Entropia de Mapeamento ($S_{map}$): Para um determinado mapeamento $M$ que projeta configurações microscópicas $\phi$ para configurações reduzidas $\Phi$, a ME é definida como a divergência de Kullback–Leibler (KL) entre a distribuição empírica original $p(\phi)$ e uma distribuição retro-mapeada $\bar{p}_M(\phi)$. A distribuição retro-mapeada é construída redistribuindo a probabilidade de um estado reduzido uniformemente entre todos os estados microscópicos compatíveis.
   $$S_{map}(M) = \sum_{\phi} p(\phi) \log \frac{p(\phi)}{\bar{p}_M(\phi)}$$
   Um $S_{map}$ menor indica que a representação reduzida preserva mais da distinguibilidade estatística do conjunto original.
3. Otimização: O objetivo é encontrar o subconjunto de neurônios que minimiza $S_{map}$. Para camadas ocultas pequenas, isso é feito via busca exaustiva; para camadas maiores, utiliza-se o recozimento simulado estocástico (usando o software EXCOGITO).

Configuração Experimental

O estudo avalia o critério MEOW através de três cenários distintos:

1. Sistemas Professor-Aluno (TS): Um ambiente controlado onde uma rede "aluno" (largura $K$) aprende de uma rede "professor" (largura $M < K$). As unidades ocultas do aluno são ou construídas analiticamente como réplicas das unidades do professor com um parâmetro de desajuste $\eta$ ajustável, ou treinadas online. Isso permite o monitoramento explícito do alinhamento entre os neurônios do aluno e as características do professor.
2. Processo Gaussiano Não-Linear (NLGP): Uma tarefa sintética de classificação binária onde os neurônios ocultos se organizam espontaneamente em duas classes funcionais distintas: localizados (pesos concentrados em entradas específicas) e oscilatórios (perfis de sinais alternados estendidos). Isso testa a capacidade do método de detectar heterogeneidade sem replicação explícita.
3. Classificação Binária de MNIST: Um benchmark prático usando dígitos 1 e 7 com aumento de tradução, treinado em uma rede de uma única camada oculta.

Principais Resultados

1. Recuperação de Representações Mínimas em Sistemas Professor-Aluno
No limite de replicação exata ($\eta=0$), onde os neurônios do aluno são cópias perfeitas dos neurônios do professor, a minimização da ME seleciona um subconjunto de tamanho $n_{cg} = M$ que é perfeitamente equilibrado entre todos os modos do professor ($\Delta = 1$). Isso demonstra que a ME pode identificar a representação mínima consistente com o professor usando apenas estatísticas de ativação oculta.
Quando um desajuste é introduzido ($\eta > 0$), o $n_{cg}$ ideal necessário para manter uma seleção equilibrada aumenta. Os autores interpretam esse deslocamento como uma quantificação da variabilidade residual na camada oculta; conforme as réplicas se tornam estatisticamente distinguíveis, mais neurônios devem ser retidos para resolver a informação adicional. Em redes treinadas, o desajuste efetivo $\eta_{eff}$ diminui ao longo do tempo, e os subconjuntos selecionados pela ME evoluem de acordo, recuperando consistentemente mapeamentos equilibrados correspondentes ao nível atual de alinhamento.

2. Detecção de Classes Funcionais em NLGP
Na tarefa NLGP, os neurônios ocultos dividem-se em classes localizada e oscilatória. A minimização da ME não seleciona uma mistura aleatória dessas classes, mas sim mapeamentos coerentes extraídos de uma única classe representacional.

• Início do Treinamento: Os mapeamentos ideais são compostos quase exclusivamente por neurônios localizados.
• Final do Treinamento: À medida que o treinamento progride, o cenário muda. Para tamanhos de subconjunto maiores, os mapeamentos ideais transitam para serem dominados por neurônios oscilatórios.
• Amostragem Wang-Landau: A análise da densidade de estados (DoS) confirma que os mínimos de ME residem nas bordas do espaço de mapeamento (puramente localizado ou puramente oscilatório) em vez de regiões mistas. O método rastreia com sucesso a evolução do modo representacional "preferido" durante o aprendizado.

3. Desempenho Preditivo de Redes Reduzidas
A significância funcional dos subconjuntos selecionados foi validada através da poda das redes e da reotimização apenas do viés de saída (output bias).

• NLGP: Os subconjuntos selecionados pela ME superam consistentemente subconjuntos aleatórios do mesmo tamanho, particularmente no regime de compressão forte (ex: retendo 8–12 neurônios de 30). A vantagem diminui à medida que o tamanho do subconjunto se aproxima da largura total da camada.
• MNIST: Resultados semelhantes foram observados na tarefa de MNIST com aumento de tradução. Os subconjuntos selecionados pela ME alcançaram sistematicamente maior precisão do que subconjuntos aleatórios para $n_{cg}$ pequenos ou intermediários, demonstrando que a preservação da distinguibilidade configuracional traduz-se em preservação do desempenho preditivo.

Significância e Alegações

O artigo afirma que a minimização da Entropia de Mapeamento fornece um critério estritamente não supervisionado para identificar subconjuntos informativos de neurônios.

• Natureza Não Supervisionada: Ao contrário de métodos de poda baseados em magnitude de peso ou gradientes, a ME depende apenas da estrutura estatística das ativações ocultas. Ela não requer acesso a rótulos ou à função de perda.
• Elo com o Desempenho: O trabalho estabelece uma ligação concreta entre a otimalidade informacional (minimização da perda de distinguibilidade) e o desempenho preditivo. Sub-redes selecionadas pela ME degradam menos do que as aleatórias sob compressão forte.
• Interpretabilidade: O método atua como uma sonda para a organização interna da rede, sendo capaz de revelar heterogeneidade funcional (ex: classes distintas de neurônios em NLGP) e a evolução das representações durante o treinamento.
• Complementaridade: Os autores posicionam a MEOW como uma abordagem complementar às técnicas de poda supervisionadas padrão, oferecendo uma maneira de identificar unidades críticas com base na geometria intrínseca da representação dos dados, em vez de sinais específicos da tarefa.

O artigo conclui que a preservação da distinguibilidade configuracional é um proxy robusto para a preservação de informação relevante para a tarefa, sugerindo que a estrutura estatística da camada oculta sozinha codifica quais unidades são funcionalmente importantes.