Resumo Técnico: bispectrum: G-Bispectros Seletivos Tornados Práticos

Declaração do Problema

Muitas tarefas de aprendizado de máquina requerem invariância sob ações específicas de grupos (por exemplo, translações, rotações 2D/3D). Embora redes neurais equivariantes imponham isso mantendo mapas de características equivariantes, a etapa final exige mapear essas características para representações invariantes para previsão. Os métodos existentes de pooling invariante (pooling de norma, pooling com portão, pooling máximo) são computacionalmente eficientes, mas incompletos: eles descartam informações de fase, significando que sinais distintos que compartilham o mesmo espectro de potência, mas diferem em fases relativas, são mapeados para descritores idênticos.

O G-bispectro oferece um invariante completo e principiado que retém todas as informações do sinal até a ação do grupo. No entanto, sua adoção em aprendizado profundo foi dificultada por:

1. Alto custo computacional: Bispectros completos escalam quadraticamente ($O(|G|^2)$) para grupos finitos e cubicamente ($O(L^3)$) para rotações esféricas.
2. Implementações fragmentadas: Construções existentes estão dispersas em artigos teóricos, sem uma biblioteca unificada, diferenciável e pronta para GPU.
3. Falta de avaliação empírica: Não há um benchmark unificado comparando o pooling bispectral contra alternativas padrão em pipelines modernos de aprendizado profundo.

Metodologia

Os autores apresentam o bispectrum, uma biblioteca PyTório de código aberto que implementa G-bispectros seletivos como camadas diferenciáveis nn.Module. A metodologia central envolve três pilares técnicos:

1. Construção do Bispectro Seletivo

Em vez de calcular o bispectro completo (que contém informações redundantes), a biblioteca calcula um subconjunto seletivo de coeficientes que permanece completo para sinais genéricos.

• Grupos Finitos: Aproveitando uma busca em largura sobre a tabela de produto de Kronecker de representações irredutíveis (irreps), a biblioteca seleciona $O(|G|)$ coeficientes em vez de $O(|G|^2)$.
• Rotações Planas (Disco): Implementa o bispectro seletivo de disco, reduzindo os coeficientes de $O(m^3)$ para $O(m)$ enquanto mantém a completude sob condições de genericidade.
• Rotações Esféricas (SO(3) em $S^2$): Os autores introduzem um novo bispectro seletivo aumentado.
  • Eles constroem um invariante $\Phi_{sel}$ de tamanho $\Theta(L^2)$ (reduzindo do completo $\Theta(L^3)$).
  • A construção usa um bloco "semente" para graus baixos e blocos "bootstrap" para graus mais altos.
  • Para garantir completude em sinais reais (onde o bispectro escalar padrão pode ser de posto deficiente devido a restrições de paridade), eles aumentam as entradas espectrais com escalares CG-power (normas quadradas de produtos tensoriais projetados).
  • Isso resulta em um invariante de tamanho $\Theta(L^2)$ que é empiricamente completo.

2. Design e Implementação da Biblioteca

A biblioteca fornece uma API uniforme para sete pares grupo/domínio (por exemplo, $C_n$ em $C_n$, $SO(3)$ em $S^2$, Grupo Octaédrico).

• Diferenciabilidade: Todos os módulos são totalmente diferenciáveis, permitindo treinamento de ponta a ponta.
• Eficiência: Pré-cálculo de matrizes e kernels de Clebsch-Gordan garante passagens diretas sub-milissegundo em GPUs.
• Inversão: A biblioteca suporta reconstrução de sinal (até ação do grupo) a partir do bispectro, servindo como prova de completude.

3. Avaliação Experimental

Os autores avaliam a biblioteca em três benchmarks, comparando o pooling espectral contra pooling de norma, pooling com portão, pooling Fourier-ELU, pooling máximo e baselines não equivariantes com aumento de dados:

1. PatchCamelyon (PCam): Classificação de histopatologia 2D sob simetria $C_8$.
2. OrganMNIST3D: Classificação de órgãos 3D sob o grupo octaédrico quiral $O$.
3. Spherical MNIST: Classificação de dígitos sob rotações $SO(3)$ na esfera.

Resultados Principais

Desempenho Computacional

• Velocidade: Passagens diretas seletivas são sub-milissegundo em uma GPU NVIDIA H100 (por exemplo, 0,48 ms para $SO(3)$ no limite de banda $L=16$).
• Redução: A seletividade reduz contagens de coeficientes em até $512\times$ (por exemplo, para $|G|=1024$) e reduz a complexidade esférica de $O(L^3)$ para $\Theta(L^2)$.

Completude Empírica (Spherical MNIST)

• Reconstrução: O invariante seletivo aumentado $\Phi_{sel}$ reconstrói com sucesso sinais até rotação com baixos resíduos ($\sim 10^{-3}$), fornecendo evidência empírica de completude.
• Invariância: O modelo alcança invariância $SO(3)$ quase exata ($\sigma_{rot} \sim 10^{-4}$), enquanto CNNs padrão colapsam sob rotações não vistas.
• Completude vs. Capacidade: O espectro de potência (invariante incompleto) estagna em $\sim 78\%$ de precisão mesmo quando escalado para corresponder à contagem de parâmetros do modelo de bispectro ($95\%$), confirmando que a lacuna de desempenho deve-se à incompletude, não à capacidade do modelo.

Eficiência de Dados

• Regime de Baixa Quantidade de Dados: Em todos os três benchmarks, a camada de pooling espectral supera consistentemente as alternativas quando os dados de treinamento são escassos (por exemplo, 1% do conjunto de dados).
  • Em PCam (1% de dados), o bispectro alcançou 0,912 AUC versus 0,873 para NormReLU.
  • Em OrganMNIST3D (5% de dados), o bispectro atingiu 33,2% de precisão versus 18,9% para pooling máximo.
• Regime de Alta Capacidade: À medida que a capacidade do modelo e o tamanho dos dados aumentam, a vantagem do invariante completo diminui, e métodos incompletos (como pooling máximo) podem igualar ou superar o desempenho espectral.

Significado e Alegações

O artigo afirma fechar a lacuna entre o apelo teórico dos G-bispectros e sua utilidade prática no aprendizado profundo moderno.

• Implantação Prática: Ao fornecer uma biblioteca unificada, diferenciável e eficiente, os autores tornam os G-bispectros seletivos acessíveis como camadas "plug-and-play" para qualquer arquitetura equivariante.
• Contribuição Teórica: A introdução do invariante SO(3) seletivo aumentado na esfera é um passo teórico significativo, reduzindo a complexidade dos bispectros esféricos para $\Theta(L^2)$ enquanto demonstra empiricamente a completude.
• Viés Indutivo: Os resultados sugerem que invariantes completos fornecem um viés indutivo mais forte do que os incompletos, particularmente em regimes de baixa quantidade de dados e capacidade moderada, substituindo efetivamente exemplos de treinamento ausentes.

Os autores permanecem modestos quanto ao status teórico da construção esférica, observando que, embora a reconstrução empírica sugira completude, uma prova formal permanece aberta. Eles também reconhecem que, em altas capacidades, a sobrecarga computacional de invariantes completos pode não ser justificada em comparação com estratégias de pooling mais simples e incompletas.