Measuring the Symmetry--Data Exchange Rate

Definição do Problema

A teoria da equivariância prevê que a incorporação de um prior de simetria arquitetural (invariância ou equivariância sob um grupo $G$) reduz a complexidade de amostragem por um fator de $|G|$. Embora amplamente citada, essa previsão raramente é medida como uma lei de escala com controles que isolem o prior estrutural de fatores de confusão, como redução da capacidade efetiva, aumento de dados implícito ou regularização. A maioria dos estudos empíricos relata lacunas de acurácia em tamanhos de amostra fixos ou razões de eficiência em pontos operacionais únicos, falhando em rastrear a lei de escala da complexidade de amostragem ou separar o "alinhamento" (a simetria correta) da "restrição" (qualquer restrição de força semelhante). O artigo aborda essa lacuna metodológica: como converter a afirmação qualitativa "a estrutura ajuda" em uma taxa de troca calibrada e falsificável entre simetria e dados.

Metodologia

Os autores constroem uma tarefa sintética 2-D controlada onde o grupo de simetria é conhecido exatamente e sua ordem $n$ é um parâmetro livre.

• A Tarefa: As entradas são amostradas de um anel e rotuladas com base em um padrão angular alternado $1[\cos(n\theta) > 0]$. O grupo de simetria é o grupo cíclico $C_n$ (ordem $n$), com $n \in \{1, 2, 3, 4, 6, 8, 12\}$. A tarefa é projetada para ser não trivial, sem atalhos baseados em coordenadas.
• Famílias de Modelos: Cinco famílias de modelos compartilham uma arquitetura totalmente conectada idêntica (1.185 parâmetros) para garantir capacidade correspondente:
  1. Equivariante (Tratamento): Utiliza orbit pooling (média das saídas de $n$ cópias rotacionadas) para impor invariância $C_n$ por construção.
  2. Grupo-Errado (Controle): Utiliza a mesma arquitetura de orbit pooling, mas com ângulos de rotação desalinhados por um fator irracional ($0,7\times$ o período correto). Isso isola o "alinhamento" da "restrição", mantendo o tamanho da órbita e o computacional idênticos, enquanto destrói o ajuste da simetria.
  3. Aumentado: Uma rede não restringida treinada em todas as $n$ cópias rotacionadas (média dos logits na perda), mas usando uma passagem direta de entrada única no teste.
  4. Vanilla: Uma rede padrão não restringida.
  5. Regularizado: Uma rede vanilla com weight decay L2 correspondente aos graus de liberdade removidos pelo orbit pooling.
• Métrica: O estudo mede $N_{target}$, o tamanho mínimo de amostra necessário para que 3 de 5 sementes alcancem 80% de acurácia de validação.
• O Estimador: Para abordar o fator de confusão de que a dificuldade da tarefa aumenta com $n$ (tornando as inclinações absolutas positivas para todos os modelos), os autores introduzem uma taxa de troca relativa $\beta_{diff}$. Esta é a inclinação de $\log_2(N_{vanilla}^{target} / N_{treatment}^{target})$ contra $\log_2(n)$. Teoricamente, se a simetria reduz a complexidade de amostragem por $|G|$, esta inclinação deve ser $+1$.
• Inferência: O estudo utiliza um bootstrap de pares não paramétrico (10.000 reamostragens) e um bootstrap de pares conjunto para comparações tratamento-vs-controle. Uma taxonomia de falhas pré-especificada classifica os resultados (ex: nenhum benefício, colapso da regularização, explicação de aumento de dados ou sinal genuíno).

Principais Contribuições

1. Uma Metodologia de Medição Livre de Confundimento: A introdução do estimador de taxa de troca relativa, que cancela a escala de dificuldade de tarefa compartilhada, permitindo que a previsão teórica de $|G|$ seja testada. Isso é acompanhado por um controle de "grupo errado" para distinguir alinhamento de restrição genérica e um bootstrap de pares conjunto para lidar com intervalos de confiança sobrepostos.
2. A Taxa Estimada: Na tarefa controlada, o modelo equivariante produz uma estimativa pontual de $\beta_{diff} = 1,28$. Isso é consistente com a previsão teórica de $1,0$ em sinal e ordem de magnitude. No entanto, os autores enfatizam que o valor numérico preciso é exploratório; a direção qualitativa é o achado robusto.
3. Isolando Alinhamento de Restrição: O controle de "grupo errado" (órbita desalinhada de tamanho idêntico) é encontrado como sendo pior do que nenhuma restrição ($\beta_{diff} \approx -0,77$), demonstrando que os priors estruturais desalinhados são ativamente prejudiciais, não apenas inúteis.
4. Arquitetura vs. Aumento: O estudo descobre que o aumento apenas durante o treinamento (sem a média de órbita no tempo de teste) falha em atingir a acurácia alvo onde o modelo equivariante tem sucesso. No entanto, uma replicação em CPU mostra que adicionar a média de órbita no tempo de teste ao modelo aumentado o torna bit a bit idêntico ao modelo equivariante. Assim, a lacuna é condicional ao computação assimétrica no tempo de teste, não a uma superioridade incondicional da arquitetura.
5. Reprodutibilidade: O experimento completo (5.600 execuções) é liberado com código, hashes de configuração e todos os registros por execução, rodando em ~90 minutos em uma única GPU.

Resultados

• Taxa de Troca: O estimador primário produz $\beta_{diff} = 1,28$.
  • O intervalo de confiança (CI) de percentile bootstrap de nível único é $[+0,92, +2,05]$ (excluindo zero).
  • O bootstrap de dois níveis mais conservador (reamostrando sementes e tamanhos de grupo) produz um CI de $[-0,63, +1,72]$, que inclui o zero.
  • Uma replicação de $N$ mais fina em uma grade espaçada por $\sqrt{2}$ produziu um resultado inconclusivo ($\beta_{diff} = -0,82$, CI amplo), destacando a sensibilidade à discretização da grade.
• Controles:
  • O controle de Grupo-Errado é significativamente pior que a linha de base Vanilla em comparações de pares conjuntos (CI $[+0,79, +3,26]$ para a diferença), confirmando que o benefício vem do alinhamento correto, não apenas da presença de uma restrição.
  • A linha de base Regularizada não mostra vantagem sobre a Vanilla ($\beta_{diff} \approx -0,04$), descartando a redução de graus de liberdade efetivos como o mecanismo primário.
  • O modelo Aumentado (apenas tempo de treinamento) falha em atingir a acurácia alvo para $n \ge 3$, enquanto o modelo equivariante tem sucesso.
• Robustez: A taxa relativa permanece estável (mantendo 88–97% de seu valor limpo) quando até 30% dos rótulos de treinamento são corrompidos com ruído assimétrico.

Significância e Reivindicações

O artigo se enquadra explicitamente como um estudo exploratório, não uma medição confirmatória. Os autores são modestos em suas reivindicações:

• Não há Constante Universal: A taxa relatada é uma estimativa operacional condicional a uma tarefa específica, acurácia alvo e modelo de escala, não uma constante de informação teórica universal.
• Direção Qualitativa: A principal contribuição é a direção qualitativa (positiva, concordância de ordem de magnitude com a teoria) e o achado do grupo errado (restrições desalinhadas são prejudiciais). O valor numérico preciso ($1,28$) não é reivindicado como uma medição definitiva devido à natureza exploratória da adoção do estimador (post-hoc) e à inclusão do zero no intervalo de confiança conservador.
• Transferibilidade Metodológica: O arcabouço (estimador de taxa relativa, controle de grupo errado, bootstrap de pares conjunto, taxonomia de falhas) é apresentado como uma ferramenta transferível para medir a força de qualquer viés indutivo parametrizável, não apenas simetria.
• Limitações: O estudo reconhece que a tarefa é sintética e 2-D, a simetria é exata (não aproximada ou latente) e a comparação com a teoria envolve um descompasso entre a teoria de kernel/random-feature e MLPs ReLU de largura finita. A afirmação "neutra em FLOPs" também é matizada: embora os FLOPs totais de treinamento sejam aproximadamente iguais, o modelo equivariante incorre em maior sobrecarga de computação e memória por amostra.

Os autores concluem que o resultado do "grupo errado" é o achado mais limpo e confiável, enquanto o número principal exige uma replicação futura, registrada externamente, em novas sementes para ser considerado confirmatório.