Bases of Steerable Kernels for Equivariant CNNs: From 2D Rotations to the Lorentz Group

1. Problema

O artigo aborda o desafio de projetar Redes Neurais Convolucionais (CNNs) que sejam equivariantes sob grupos de simetria gerais (além das translações). Em CNNs equivariantes, se a entrada for transformada por um elemento de um grupo $G$, a saída deve se transformar de maneira correspondente.

O núcleo do problema reside na restrição de steerability (direcionabilidade) aplicada ao kernel de convolução $K$. Para que uma camada seja equivariante, o kernel deve satisfazer a seguinte equação para todo $g \in G$:
$$K(g \cdot x) = \frac{1}{|\det g|} \rho_{out}(g) K(x) \rho_{in}(g)^{-1}$$
Onde $\rho_{in}$ e $\rho_{out}$ são representações do grupo agindo nos mapas de características de entrada e saída.

Desafios existentes:

• Métodos anteriores (como os de [2] e [9]) frequentemente exigem o cálculo de coeficientes de Clebsch-Gordan para decompor o produto tensorial das representações em uma base acoplada, encontrar os invariantes e depois retornar à base desacoplada.
• O cálculo desses coeficientes pode ser computacionalmente caro e analiticamente complexo, especialmente para grupos não compactos como o Grupo de Lorentz.
• A falta de bases explícitas e prontas para uso para tipos de tensores arbitrários e grupos não compactos limita a aplicação prática em física relativística.

2. Metodologia

O autor propõe uma estratégia alternativa e direta para resolver a restrição de steerability, evitando a necessidade de calcular coeficientes de Clebsch-Gordan ou mudar de base para uma representação acoplada.

A Estratégia Principal:

1. Fixação de um Ponto e Subgrupo Estabilizador: Em vez de resolver a equação para todo o espaço, o método fixa um ponto $x_0$ em uma órbita do grupo $G$. O grupo de estabilizador (isotropia) $H$ é definido como o subgrupo que deixa $x_0$ invariante ($H = \{g \in G \mid g \cdot x_0 = x_0\}$).
2. Condição de Invariância Local: A restrição de steerability é reduzida a uma condição de invariância no ponto $x_0$. O valor do kernel $K(x_0)$ deve ser um homomorfismo entre as representações restritas de $H$ (denotadas $\rho^H_{in}$ e $\rho^H_{out}$):
   $$K(x_0) = \rho_{out}(h) K(x_0) \rho_{in}(h)^{-1}, \quad \forall h \in H$$
3. Uso do Lema de Schur: Como as representações restritas de $H$ são geralmente redutíveis (somas diretas de representações irredutíveis), o espaço de soluções para $K(x_0)$ é encontrado aplicando o Lema de Schur. Isso permite identificar os blocos não nulos da matriz $K(x_0)$ que conectam subespaços isomórficos das representações de $H$.
4. Steering (Direcionamento): Uma vez encontrada uma base para $K(x_0)$, o kernel para qualquer ponto $x$ na órbita é obtido aplicando a equação de steerability original: $K(g \cdot x_0) = \rho_{out}(g) K(x_0) \rho_{in}(g)^{-1}$. Isso "move" a solução do ponto fixo para qualquer ponto arbitrário.

Vantagens Metodológicas:

• Não requer a mudança para uma base acoplada (onde o produto tensorial é decomposto).
• Trabalha diretamente com as representações das entradas e saídas.
• As funções de base (harmônicas) surgem naturalmente dos elementos de matriz das representações $\rho(g)$, sem necessidade de definições externas.

3. Contribuições Principais

O artigo fornece bases explícitas, reais e complexas, prontas para uso, para diversos grupos de simetria e tipos de tensores:

1. Generalidade: O método é aplicado a grupos compactos ($SO(2)$, $O(2)$, $SO(3)$, $O(3)$) e ao grupo não compacto de Lorentz $SO^+(1, 3)$.
2. Bases para Representações Reais e Complexas: O autor deriva explicitamente as bases para representações reais (frequentemente mais relevantes para implementações de deep learning) e complexas.
3. Aplicação ao Grupo de Lorentz (Física Relativística):
   • Partículas Massivas: Derivação de kernels para hiperboloides massivos, onde o grupo de isotropia é $SO(3)$. São fornecidas bases para tensores espaciais e espinores (spin 1/2, 3/2), incluindo a estrutura de projetores covariantes.
   • Partículas Sem Massa: Tratamento do cone de luz, onde o grupo de isotropia é $ISO(2)$. O autor simplifica o problema focando no subgrupo $SO(2)$ (ignorando as translações do grupo de Lorentz que atuam trivialmente na natureza), derivando projetores para campos de spin 1 e spin 2 que são covariantes e independentes da escolha de gauge.
4. Interpretação Geométrica: Demonstra que os intertwiners (mapeamentos equivariantes) para spins inteiros atuam essencialmente como projetores sobre subespaços invariantes dentro de tensores do espaço-tempo.

4. Resultados Chave

• SO(2) e O(2): As bases são derivadas de forma trivial, resultando em combinações de funções seno e cosseno (harmônicos circulares), recuperando resultados conhecidos de forma mais direta.
• SO(3) e O(3): As bases são expressas em termos de elementos de matriz das Matrizes D de Wigner (para o caso complexo) e harmônicos esféricos reais. O método evita o uso explícito de coeficientes de Clebsch-Gordan, mostrando que a estrutura da base é determinada pela decomposição das representações restritas ao eixo de rotação.
• Grupo de Lorentz ($SO^+(1,3)$):
  • Para partículas massivas, os kernels são construídos a partir de projetores que isolam componentes de spin específicos dentro de tensores do espaço-tempo (ex: projetar a parte espacial de um vetor 4D).
  • Para partículas sem massa, são construídos projetores transversais ($\Delta_{\mu\nu}$) que dependem de vetores nulos $n$ e $\bar{n}$, garantindo a covariância de Lorentz.
  • Para espinores, a estrutura de intertwiners envolve a conjugação de carga e matrizes $\gamma$, permanecendo invariantes sob o "steering" devido às propriedades de simetria da conjugação complexa no grupo de Lorentz.

5. Significado e Impacto

• Acessibilidade: O método é apresentado com ferramentas técnicas mínimas, tornando a construção de CNNs equivariantes acessível para uma audiência mais ampla, sem exigir profundo conhecimento prévio de teoria de representação avançada (como o cálculo manual de coeficientes de Clebsch-Gordan).
• Eficiência Computacional: Ao eliminar a necessidade de calcular e armazenar grandes tabelas de coeficientes de Clebsch-Gordan ou realizar mudanças de base complexas durante o treinamento ou inferência, o método reduz a sobrecarga computacional.
• Aplicação em Física: A extensão para o Grupo de Lorentz é um avanço significativo, permitindo a construção de redes neurais que respeitam a relatividade especial. Isso é crucial para tarefas como a previsão de forças atômicas em moléculas relativísticas ou análise de dados de física de partículas, onde a estrutura vetorial e tensorial deve ser preservada sob transformações de Lorentz.
• Flexibilidade: A abordagem permite definir cortes independentes nos rótulos de representação das entradas e saídas, oferecendo maior flexibilidade no design da arquitetura da rede em comparação com métodos baseados em bases acopladas.

Em resumo, o artigo oferece uma "caixa de ferramentas" unificada e eficiente para gerar kernels de convolução equivariantes para uma vasta gama de grupos de simetria, facilitando a integração de priors de simetria em arquiteturas de aprendizado profundo, especialmente em domínios onde a física relativística é relevante.