Resumo Técnico: Backbones sem Ativação para Reconhecimento de Imagem

Declaração do Problema

Arquiteturas de visão modernas, incluindo backbones no estilo MetaFormer, dependem fortemente de funções de ativação pontuais (por exemplo, ReLU, GELU, SiLU) e operações exponenciais dentro da atenção softmax para introduzir não linearidade. Embora esses componentes permitam que redes neurais aproximem funções complexas, eles não são a única fonte de não linearidade. O artigo postula que essas ativações não são estritamente necessárias para desempenho competitivo. Além disso, a dependência de operações não polinomiais (como exponenciais e ativações pontuais) cria uma sobrecarga significativa para Criptografia Homomórfica Totalmente Homomórfica (FHE), um paradigma de computação que preserva a privacidade, onde redes padrão incorrem em custos substanciais devido à sua natureza não polinomial. Redes polinomiais existentes (por exemplo, MONet, DTTN) demonstraram potencial, mas frequentemente exigem arquiteturas personalizadas e rigidamente acopladas que limitam sua utilidade prática e não conseguem igualar o desempenho de contrapartes baseadas em ativação em custos computacionais comparáveis.

Metodologia

Os autores propõem um framework para substituir não linearidades padrão por alternativas polinomiais, preservando as interfaces de entrada-saída de backbones modulares de visão existentes. Essa abordagem permite a integração de módulos polinomiais em frameworks estabelecidos como o MetaFormer, sem a necessidade de redesenhar toda a arquitetura.

Primitivas Principais

O artigo introduz três módulos sem ativação que substituem não linearidades padrão por produtos de Hadamard (multiplicação elemento a elemento) de projeções lineares aprendidas:

1. PolyMLP (Mistura de Canais): Substitui a ativação pontual em redes feedforward pelo produto de Hadamard de duas projeções lineares paralelas: $PolyMLP(x) = W_o ((W_a x) * (W_b x))$. Isso resulta em um polinômio de segundo grau nas características de entrada.
2. PolyConv (Mistura Espacial): Substitui a ativação em convoluções separáveis fundindo ramos convolucionais paralelos com campos receptivos diferentes via multiplicação elemento a elemento. Especificamente, combina um ramo "grosso" (convolução depthwise dilatada) e um ramo "fino" (convolução depthwise padrão), aplicando uma inversão de canal a um ramo antes da fusão para descorrelacionar características.
3. PolyAttn (Mistura Espacial Global): Substitui a função exponencial na atenção softmax por um kernel polinomial: $A = (s \cdot QK^\top + 1)^p$, seguido de normalização $\ell_1$. Isso cria um mecanismo de atenção sem ativação que permanece compatível com variantes estruturais como atenção em janelas.

Técnicas de Estabilização

Os autores identificam que produtos de Hadamard podem amplificar valores grandes, levando à instabilidade de treinamento em redes profundas. Para permitir o treinamento estável de redes de até ~200 camadas, eles introduzem:

• Escala Sigmoid: Um escalar aprendível limitado por uma função sigmoid ($\sigma(\lambda)$) que escala contribuições residuais ($y = x + \sigma(\lambda)f(x)$), impedindo crescimento ilimitado.
• Conexões de Salto de Múltiplas Entradas: Inspirado pelo NASNet, cada célula recebe entradas das duas células precedentes ($x_{t-1}$ e $x_{t-2}$), melhorando o fluxo de gradiente.
• Design Profundo sobre Largo: Os autores defendem empilhar camadas mais estreitas mais profundamente em vez de usar configurações mais largas e rasas. Esse design aproveita o fato de que o grau polinomial cresce exponencialmente com a profundidade ($2^L$ para profundidade $L$), maximizando a capacidade representacional sem um aumento linear nos parâmetros.

Arquitetura: PolyNeXt

Esses módulos são instanciados dentro de uma arquitetura hierárquica de quatro estágios no estilo MetaFormer. Duas variantes são propostas:

• CPolyNeXt: Usa PolyConv para mistura espacial em todos os estágios.
• APolyNeXt: Um design híbrido usando PolyConv em estágios de alta resolução e PolyAttn em estágios de baixa resolução.

Resultados Principais

Os modelos foram avaliados em classificação ImageNet-1K, robustez fora da distribuição (OOD) e segmentação semântica ADE20K.

• Classificação ImageNet-1K: Os modelos PolyNeXt igualam ou superam instâncias de MetaFormer baseadas em ativação (ConvFormer, CAFormer) em todas as escalas de modelo (Tiny a Large). Por exemplo, o CPolyNeXt-S (26M de parâmetros) alcança 83,9% de precisão Top-1, superando o ConvFormer-S18 (83,0%) e redes polinomiais anteriores como DTTN-S (79,4%) por margens significativas (2–3 pontos percentuais) com menor custo computacional.
• Robustez: Os backbones polinomiais demonstram robustez superior no ImageNet-C (corrupções), ImageNet-A (adversarial), ImageNet-R (reproduções) e ImageNet-Sketch. O CPolyNeXt-B (40M de parâmetros) supera o ConvFormer-B36 (100M de parâmetros) em vários benchmarks OOD.
• Predição Densa: Na segmentação semântica ADE20K, o CPolyNeXt-S supera tanto o ConvFormer-S18 quanto o CAFormer-S18 em +2,0 e +1,7 mIoU, respectivamente, em contagens de parâmetros correspondentes.
• Variantes Totalmente Polinomiais: Ao substituir LayerNorm por um BatchNorm compatível com polinômios (usando estatísticas em execução para evitar divisão), os autores criaram modelos totalmente polinomiais. O CPolyNeXt-S (BN) alcança 82,7% no ImageNet, uma melhoria de 5,0 pontos sobre o melhor modelo totalmente polinomial anterior (MONet-T BN) e superando o ConvNeXt-T baseado em ativação (82,1%).

Insights de Ablação

• Ativações são Prejudiciais: Reintroduzir ativações (por exemplo, GELU) nos módulos polinomiais consistentemente degrada o desempenho. Os autores atribuem isso à interrupção do "acoplamento de gradiente mútuo" inerente ao produto de Hadamard, onde o gradiente de cada ramo é escalado pela saída do outro.
• Estabilização é Crítica: A remoção da Escala Sigmoid ou das conexões de salto de múltiplas entradas leva a quedas significativas de desempenho ou colapso do treinamento.
• Sensibilidade da Receita: Os ganhos de desempenho são atribuídos ao design do módulo e às técnicas de estabilização, em vez de uma receita de treinamento única, uma vez que os módulos transferem bem quando trocados em outras arquiteturas.

Significado e Alegações

O artigo alega que as funções de ativação não são uma necessidade representacional para backbones modernos de visão, mas sim uma solução para desafios de otimização. Ao abordar a estabilidade de treinamento por meio de mecanismos específicos (Escala Sigmoid, profundidade sobre largura), interações polinomiais podem servir como fontes eficazes de não linearidade.

As principais contribuições são:

1. Alternativas Polinomiais: A introdução de PolyMLP, PolyConv e PolyAttn, que substituem não linearidades padrão por produtos de Hadamard, mantendo compatibilidade com melhorias arquitetônicas.
2. Evidência Empírica: Demonstração de que backbones sem ativação (PolyNeXt) podem igualar ou superar contrapartes baseadas em ativação em precisão e robustez em todas as escalas.
3. Receita de Estabilização: Um conjunto leve de técnicas que permite o treinamento de redes polinomiais profundas (de até 200 camadas).
4. Progresso em FHE: Um passo em direção à inferência compatível com Criptografia Homomórfica Totalmente Homomórfica, removendo operações não polinomiais, incluindo uma variante totalmente polinomial que supera redes polinomiais anteriores e se aproxima de baselines baseadas em ativação.

Os autores concluem que, embora seu trabalho não implique benefícios imediatos de segurança ou equidade, ele abre um caminho para inferência que preserva a privacidade e sugere que o campo deve reavaliar a necessidade de funções de ativação tradicionais em modelos de visão profunda.