Topological Simplification in Predictive Coding Networks

Resumo Técnico: Simplificação Topológica em Redes de Codificação Preditiva

Declaração do Problema
Embora a homologia persistente tenha sido amplamente utilizada para analisar a simplificação topológica em redes neurais feedforward (onde características topológicas como componentes conectados e loops são progressivamente colapsadas para criar representações separáveis), não está claro como esse fenômeno se comporta em arquiteturas que devem suportar simultaneamente inferência e reconstrução. As Redes de Codificação Peditiva (PCNs) são modelos hierárquicos e bidirecionais que realizam inferência através da minimização iterativa de um funcional de energia global. Diferente dos classificadores feedforward, as PCNs devem preservar informações topológicas suficientes para suportar a inversão aproximada (reconstrução). Este artigo investiga se as PCNs exibem uma simplificação topológica semelhante às redes feedforward e como as restrições arquiteturais influenciam o tradeoff entre o colapso topológico e a fidelidade da reconstrução.

Metodologia
Os autores empregam a homologia persistente para rastrear a evolução da topologia da representação através das camadas em PCNs treinadas em dois conjuntos de dados:

1. Conjunto de Dados Sintético: Um manifold 2D topologicamente complexo consistindo de nove discos disjuntos ($M_a$, $\beta_0=9$) inseridos dentro de uma região contendo nove buracos ($M_b$, $\beta_1=9$). Este conjunto de dados requer uma transformação topológica significativa para classificação.
2. Conjunto de Dados do Mundo Real: MNIST, tratado como nuvens de pontos em $\mathbb{R}^{784}$.

O estudo utiliza a biblioteca PCX, baseada em JAX, para treinar PCNs com variadas larguras de camadas ocultas, configurações arquiteturais (uniforme, crescente/decrescente, gargalo) e funções de ativação (ReLU, Leaky ReLU, tanh). Os modelos são treinados para alta precisão (≥99,9% no sintético, ≥95% no MNIST).

Duas métricas primárias são introduzidas para quantificar os achados:

• Centro de Massa da Simplificação Topológica (COM): Uma métrica escalar que quantifica o "tempo" (timing) do colapso topológico. Ela calcula a profundidade esperada na qual os números de Betti (especificamente $\beta_0$ e $\beta_1$) decaem, tratando eventos de simplificação como irreversíveis. Um COM mais baixo indica um colapso precoce.
• Distância Média de Reconstrução (MRD): Uma métrica que quantifica a fidelidade da reconstrução. Ela mede a distância euclidiana média entre as inversões de saída e seus vizinhos mais próximos da mesma classe no conjunto de treinamento, capturando se as inversões residem próximas ao manifold de dados correto.

A análise restringe os cálculos de homologia persistente a classes únicas para evitar a confusão das topologias de classe.

Resultados Principais

1. Tamanho do Modelo e Tempo de Simplificação: Existe uma forte correlação positiva entre o tamanho do modelo (soma das larguras das camadas ocultas) e o tempo de simplificação topológica (COM). PCNs menores colapsam componentes conectados significativamente mais cedo do que modelos maiores. Essa relação mantém-se através das funções de ativação, com correlações de Spearman variando entre $\rho \in [0,72, 0,79]$. Redes ReLU mostram a maior sensibilidade à capacidade, onde o aumento da largura retarda o colapso de forma mais substancial do que em redes Leaky ReLU ou tanh.
2. Tradeoff Simplificação-Reconstrução: Uma forte correlação negativa ($\rho = -0,58$) existe entre o tempo de simplificação (COM) e o erro de reconstrução (MRD). Arquiteturas que simplificam a topologia mais tarde (maior COM) alcançam uma melhor qualidade de reconstrução. O colapso precoce corresponde à perda de informação estrutural necessária para a inversão, levando a um desempenho generativo inferior.
3. PCNs vs. Redes Feedforward (MLPs): Quando comparadas a Perceptrons Multicamadas (MLPs) correspondentes treinados para a mesma precisão, as PCNs consistentemente retardam a simplificação topológica. Em média, as PCNs colapsam componentes conectados 3,6 camadas mais tarde do que seus equivalentes MLP. Isso sugere que a dinâmica recorrente e bidirecional da codificação preditiva impõe restrições que preservam a estrutura topológica por mais tempo para facilitar a reconstrução.
4. Consistência entre Dados: Essas tendências foram observadas tanto no manifold sintético quanto no dataset de alta dimensão MNIST, apesar deste último carecer de uma topologia de verdade fundamental (ground-truth) conhecida.

Significância e Alegações
O artigo afirma que a homologia persistente oferece uma lente quantitativa útil para analisar o tradeoff compressão–reconstrução em PCNs. Os achados estendem as análises topológicas de representações aprendidas além das redes feedforward, destacando que:

• A simplificação topológica não é uniforme; ela é governada pela capacidade do modelo e pela dinâmica específica da arquitetura.
• A natureza recorrente da inferência de codificação preditiva molda quando o tradeoff entre compressão (simplificação) e reconstrução é resolvido, forçando a rede a preservar características topológicas mais profundamente na rede em comparação com modelos feedforward padrão.
• Existe um vínculo direto entre o tempo de colapso topológico e a capacidade da rede de inverter suas representações, sugerindo que a simplificação excessiva e precoce compromete as capacidades generativas do modelo.

Os autores mantêm um escopo modesto, observando que, embora as tendências se mantenham para as arquiteturas e conjuntos de dados testados, trabalhos futuros são necessários para testar essas hipóteses em conjuntos de dados mais amplos e para desenvolver métricas de fidelidade semântica mais refinadas e conscientes da reconstrução.