Resumo Técnico: Simetrias no Aprendizado PAC-Bayesiano

Declaração do Problema

Simetrias em aprendizado de máquina, como invariância rotacional ou translacional, são empiricamente conhecidas por melhorar o desempenho do modelo. No entanto, as garantias teóricas existentes que explicam esses ganhos são limitadas por suposições restritivas. Estruturas teóricas anteriores, particularmente dentro do cenário PAC-Bayesiano, tipicamente dependem de duas restrições fundamentais:

1. Compacidade: O grupo de simetria deve ser compacto (ex: grupos finitos ou rotações), excluindo grupos não compactos como translações ou escalonamentos, que são centrais para arquiteturas como Redes Neurais Convolucionais (CNNs).
2. Invariância de Dados: A distribuição dos dados é assumida como invariante sob a ação do grupo. Em cenários do mundo real, isso raramente é verdade (ex: uma xícara de água de cabeça para baixo é improvável de ocorrer em dados naturais, violando a invariância por translação).

Este trabalho aborda a lacuna na compreensão teórica ao estender as garantias de generalização para cenários envolvendo simetrias não compactas e distribuições de dados não invariantes.

Metodologia

Os autores utilizam o framework PAC-Bayesiano, que permite priors e posteriors dependentes dos dados sobre classes de hipóteses. A metodologia procede em três estágios:

1. Formulação do Problema e Suposições

O artigo formaliza o processo de geração de dados onde as saídas $Y$ são geradas a partir de entradas $X$ via uma função equivariante de grupo $f^*$ perturbada por ruído independente $\Xi$ (Suposição 2.1).

• Ação de Grupo: Um grupo topológico $G$ age sobre o espaço de entrada $X$ e o espaço de saída $Y$.
• Equivariância: Uma hipótese $f$ é equivariante se $f(g \cdot x) = g \cdot f(x)$.
• Função de Perda: Assume-se que a perda $\ell$ é convexa em seu primeiro argumento e $G$-invariante (Suposição 4.1), significando que $\ell(g \cdot y, g \cdot \hat{y}) = \ell(y, \hat{y})$.

Crucialmente, os autores relaxam o requisito para que $G$ seja compacto e para que a distribuição dos dados seja invariante. Eles assumem que a ação do grupo no espaço de entrada é livre (Suposição 3.1) para facilitar a construção de um operador de média.

2. O Operador de Média e Decomposição KL

Para lidar com grupos não compactos e distribuições não invariantes, os autores introduzem um operador de média generalizado $Q$. Diferente de trabalhos anteriores que dependem da medida de Haar (que requer compacidade), este operador integra sobre a órbita do grupo usando um kernel de probabilidade derivado do Teorema da Desintegração (Teorema 1.1).

• Definição: $Q(f)(x) = \pi_G(x) \cdot \int_G g^{-1} \cdot f(g \cdot \pi_{X_\phi}(x)) \kappa(\pi_{X_\phi}(x), dg)$, onde $\kappa$ é a distribuição condicional do grupo dado o representante da órbita.
• Propriedade: $Q$ mapeia funções mensuráveis arbitrárias para funções equivariantes e atua como uma projeção ($Q^2 = Q$).

Usando este operador, os autores derivam uma decomposição de divergência KL (Lema 3.4). Para quaisquer duas medidas $\mu$ e $\nu$ na classe de hipóteses:
$$D_{KL}(\mu \| \nu) = D_{KL}(Q_*\mu \| Q_*\nu) + \text{Resto}$$
Isso mostra que a divergência KL entre as medidas originais é estritamente maior ou igual à divergência KL entre suas projeções equivariantes ($Q_*\mu$ e $Q_*\nu$). O termo de resto captura a informação "não-equivariante" descartada pela projeção.

3. Limites de Generalização

Os autores aplicam esta decomposição ao limite de McAllester de PAC-Bayes.

• Redução de Complexidade: Ao restringir o prior e o posterior a funções equivariantes (via o pushforward $Q_*$), o termo de complexidade (envolvendo $D_{KL}$) é reduzido (Corolário 3.6).
• Redução de Risco: Os autores provam que simetrizar a hipótese não aumenta o risco real e que os riscos podem ser computados inteiramente nos representantes de órbita sem perda de informação (Teorema 4.3).
• Resultado Principal: O limite derivado (Equação 14) é válido para grupos não compactos e dados não invariantes, fornecendo uma garantia de generalização mais estreita para modelos equivariantes comparado aos limites padrão aplicados à classe de hipóteses completa.

Principais Contribuições

1. Extensão para Simetrias Não Compactas: O artigo fornece a primeira análise de generalização PAC-Bayesiana que acomoda grupos de simetria não compactos (ex: translações, escalonamentos, transformações de Lorentz), cobrindo arquiteturas invariantes por translação dentro de um framework unificado.
2. Relaxamento da Invariância de Dados: As garantias teóricas não exigem que a distribuição dos dados seja invariante sob a ação do grupo, abordando uma limitação importante de trabalhos anteriores onde os dados do mundo real frequentemente violam essa suposição.
3. Operador de Média Generalizado: A introdução de um operador de média baseado no Teorema da Desintegração permite a projeção de hipóteses em subespaços equivariantes sem depender da existência de uma medida uniforme (Haar), que não está disponível para grupos não compactos.
4. Limites Mais Estreitos: O trabalho demonstra que impor a equivariância leva a uma divergência KL estritamente menor no limite de PAC-Bayes, explicando teoricamente o desempenho de generalização melhorado de modelos simétricos.

Resultados Experimentais

Os autores validam sua teoria através de experimentos numéricos em vários conjuntos de dados (Exemplo Toy, MNIST, CIFAR-10/100, ModelNet, Top Tagging) com ambos os grupos compactos (SO(2), SO(3)) e não compactos (SE(2), $\mathbb{R}^+$, $SO^+(1,3)$).

• Configuração: Eles comparam redes neurais de base (não-equivariantes) com contrapartes equivariantes (usando bibliotecas como e2cnn e e3nn). Os experimentos utilizam explicitamente amostragem não uniforme de transformações para violar as suposições de invariância de dados.
• Descobertas:
  • Redução de KL: Os posteriors simétricos alcançaram consistentemente divergências KL significativamente menores em comparação às bases (reduções de 14,5% a 89,2% entre os datasets).
  • Estreitamento do Limite: Os limites de generalização PAC-Bayes foram substancialmente mais estreitos para modelos equivariantes (reduções de 10% a 34%).
  • Desempenho: Modelos equivariantes igualaram ou melhoraram o risco de teste da base (redução de risco de 5,3% a 41,5% em casos específicos), confirmando que o estreitamento teórico se traduz em ganhos empíricos mesmo quando as distribuições de dados não são invariantes.

Significância e Alegações

O artigo afirma fornecer evidência teórica de que modelos simétricos são preferíveis além do cenário restrito de grupos compactos e distribuições invariantes. Ao remover essas suposições restritivas, o trabalho amplia as fundações teóricas da simetria no aprendizado de máquina.

Os autores afirmam que suas descobertas oferecem uma explicação principista para o sucesso empírico de arquiteturas conscientes de simetria (como CNNs) em cenários práticos onde os dados não são perfeitamente invariantes nem governados por grupos compactos. Eles enfatizam que seu framework se aplica a classes de hipóteses gerais e segue formulações PAC-Bayesianas padrão, tornando os resultados aplicáveis a uma ampla gama de problemas de aprendizado envolvendo simetrias não compactas. O trabalho não pretende resolver todos os problemas de generalização, mas visa especificamente a lacuna teórica referente ao papel das simetrias em distribuições de dados do mundo real, que não são ideais.