Minimal Filling Architectures of Polynomial Neural Networks: Counterexamples, Frontier Search, and Defects

Resumo Técnico: Arquiteturas de Preenchimento Mínimo de Redes Neurais Polinomiais

Declaração do Problema
O artigo aborda uma questão fundamental na geometria neuroalgebraica relativa às propriedades estruturais das Redes Neurais Polinomiais (PNNs). Especificamente, investiga a "Conjectura Unimodal Mínima" (Conjectura 12 em [8]). A conjectura postula que, para PNNs com funções de ativação de potência ($\sigma(z) = z^r$), qualquer Arquitetura de Preenchimento Mínimo (MFA) — definida como a menor configuração de rede capaz de abranger todo o espaço funcional (neurovariedade) para dimensões fixas de entrada/saída — deve possuir larguras de camadas ocultas unimodais. Ou seja, a sequência de larguras das camadas deve aumentar até um pico e depois diminuir ($d_0 \le \dots \le d_i \ge \dots \ge d_L$). Esta hipótese alinha-se com o "senso comum" no aprendizado de máquina de que as redes expandem a capacidade para capturar padrões e depois estreitam para refiná-los.

Metodologia
Os autores empregam uma combinação de geometria algébrica, computação simbólica e busca algorítmica para testar a conjectura:

1. Estrutura Algébrica: O estudo utiliza o mapa de parâmetros $\Psi_{d,r}$, que mapeia os pesos da rede para o espaço de polinômios homogêneos (a neurovariedade $V_{d,r}$). Uma arquitetura é "preenchida" se a dimensão de sua neurovariedade for igual à dimensão do espaço ambiente (o espaço completo de tensores simétricos).
2. Verificação de Dimensão: Para determinar se uma arquitetura é preenchida, os autores calculam o posto genérico da Jacobiana do mapa de parâmetros. Como o cálculo simbólico exato do posto é difícil para redes grandes, eles utilizam cálculos em corpos finitos (sobre $\mathbb{F}_p$) para determinar o posto genérico. Se o posto sobre um corpo finito corresponder à dimensão ambiente, a arquitetura é preenchida.
3. Limites Recursivos: Para provar a minimalidade (que nenhuma subarquitetura é preenchida), os autores aplicam limites de dimensão recursivos derivados do Lema 2.4 em [8]. Isso permite limitar a dimensão de uma subarquitetura somando as dimensões de suas partes constituintes menos a largura da interface.
4. Algoritmo de Busca de Fronteira: Para descobrir MFAs, os autores desenvolveram um algoritmo de "busca de fronteira" (Algoritmo 1). Este algoritmo propõe iterativamente larguras candidatas de camadas ocultas, podando o espaço de busca com base em:
   • Limites de dimensão ingênuos.
   • Resultados conhecidos de buscas anteriores (mantendo conjuntos de arquiteturas de preenchimento mínimo e não preenchimento máximo).
   • A definição de minimalidade: se um candidato é preenchido, todas as arquiteturas maiores são podadas; se não é preenchido, todas as arquiteturas menores são podadas.

Principais Contribuições e Resultados

• Contratipo à Conjectura Unimodal Mínima: A contribuição principal é a descoberta e certificação de um contratipo à conjectura. Os autores identificaram a arquitetura $d = (2, 3, 4, 5, 4, 6, 4, 1)$ (com $r=2$, entrada 2, saída 1, profundidade 7) como uma Arquitetura de Preenchimento Mínimo que não é unimodal.

  • Prova de Preenchimento: Eles verificaram que a dimensão da neurovariedade é 65, correspondendo à dimensão do espaço ambiente $\dim(\text{Sym}^{2^6}(\mathbb{R}^2) \oplus \mathbb{R}^1)$.
  • Prova de Minimalidade: Eles demonstraram que toda subarquitetura obtida pela redução de uma única largura de camada oculta em uma unidade falha em ser preenchida. Isso foi alcançado mostrando que as dimensões dessas subarquiteturas são estritamente menores que 65, utilizando tanto cálculos em corpos finitos quanto limites recursivos.

• Descoberta de Grandes Defeitos: Ao analisar o contratipo e suas subarquiteturas, os autores observaram "grande defetividade". Defeito é definido como a diferença entre a dimensão esperada (com base na contagem de parâmetros) e a dimensão real da neurovariedade. Diferentemente de exemplos anteriores onde os defeitos eram pequenos, várias subarquiteturas do contratipo exibiram defeitos significativos, desafiando a suposição de que defeitos são negligenciáveis em configurações típicas.

• Resultados de Busca Sistemática: Utilizando seu algoritmo de busca de fronteira, os autores catalogaram MFAs para $d_0=2, d_L=1, r=2$ até profundidade $L=7$.

  • Para $L=7$, encontraram 13 MFAs, apenas uma das quais (o contratipo acima) era não unimodal.
  • Para $L=8$, encontraram 82 MFAs, 20 das quais eram não unimodais.
  • Forneceram uma tabela de MFAs verificadas para $L \le 7$, observando que, embora tenham verificado a completude para $L \le 7$, um método geral para provar a completude para $L$ maiores permanece um problema em aberto.

• Contratipo Adicional: Os autores identificaram um segundo contratipo, mais profundo, com $d_0=d_L=2$ e $L=9$ ($d=(2, 3, 4, 4, 10, 17, 11, 12, 4, 2)$), ilustrando ainda mais que MFAs não unimodais existem em várias configurações.

Significado e Alegações
O artigo alega fornecer o primeiro contratipo à Conjectura Unimodal Mínima para redes neurais polinomiais, refutando assim a ideia de que a expressividade mínima sempre requer uma sequência de larguras unimodal.

Os autores enquadram modestamente o significado de seu trabalho da seguinte forma:

• Correção Teórica: Os resultados corrigem o "senso comum" sobre a eficiência da arquitetura de rede no contexto da geometria algébrica.
• Insight sobre Defectividade: A descoberta de grandes defeitos em subarquiteturas sugere uma falta de compreensão sistemática sobre quais arquiteturas são defeituosas, abrindo uma nova via de pesquisa para a geometria dos espaços de funções.
• Implicação Prática: Os autores sugerem que entender MFAs para ativações de potência poderia informar a seleção de arquiteturas, particularmente ao combinar ativações polinomiais de baixo grau (que são computacionalmente eficientes, mas podem limitar a expressividade) com arquiteturas que são a priori altamente expressivas.
• Direções Futuras: O artigo identifica várias etapas seguintes, incluindo a generalização para famílias mais amplas de ativações polinomiais (por exemplo, bases de Chebyshev), a aplicação da geometria neuroalgebraica a $\Pi$-nets e a comparação das dinâmicas de treinamento de MFAs versus arquiteturas de não preenchimento máximo.

Os autores não alegam ter resolvido o problema geral de caracterizar todas as MFAs para profundidades arbitrárias ou ter explicado completamente as causas geométricas dos grandes defeitos, mas sim ter estabelecido a existência de preenchimentos mínimos não unimodais e fornecido as ferramentas computacionais e dados para explorar esse fenômeno mais a fundo.