Resumo Técnico: ArcGate: Ativação Porteira Arctangente Adaptativa

Declaração do Problema

As funções de ativação são fundamentais para redes neurais profundas, governando a não linearidade, a aprendizagem de características, a convergência e a robustez. Embora escolhas históricas como Sigmoid e Tanh tenham sofrido com gradientes que desaparecem, e funções modernas de forma fixa como ReLU, GELU e SiLU ofereçam eficiência computacional, elas carecem de flexibilidade estrutural. Essas ativações convencionais não se adaptam aos requisitos específicos de diferentes camadas de rede ou distribuições de dados. Além disso, ativações fixas frequentemente exibem limitações, como o problema do "ReLU moribundo" (gradientes zero para entradas negativas) ou "dobras" não diferenciáveis na origem, que podem desestabilizar o treinamento em arquiteturas profundas. No contexto de sensoriamento remoto, onde os dados frequentemente exibem faixas dinâmicas elevadas e são suscetíveis a ruído de sensores e perturbações atmosféricas, a rigidez das funções de ativação padrão pode impedir o desempenho e a resiliência ótimos.

Metodologia

O artigo propõe o ArcGate (Ativação Porteira Arctangente Adaptativa), uma função de ativação paramétrica e flexível projetada para otimizar autonomamente sua não linearidade. O ArcGate é construído por meio de uma transformação não linear em três estágios envolvendo sete parâmetros aprendíveis por camada: $a, c, p, \alpha, \beta, \gamma, \delta$.

A formulação procede da seguinte maneira:

1. Transição Monótona: Uma função de transição suave $u(x; a, c)$ mapeia a entrada para $(0, 1)$ usando uma função arctangente. O parâmetro $a$ controla a inclinação, e $c$ define o centro da transição.
2. Estiramento Não Linear (Porteira): Uma função de porteira adaptativa $v(x; p)$ é derivada aplicando uma transformação de odds a $u(x)$, elevando-a à potência $p$ e mapeando-a de volta para $(0, 1)$ via arctangente. O parâmetro $p$ controla a nitidez da porteira, permitindo transições de comportamento semelhante ao sigmoidal para comportamento quase linear por partes.
3. Combinação Afim: A ativação final $F(x)$ combina a função de porteira com termos lineares e bilineares:
   $$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$$
   Aqui, $\alpha$ regula a inclinação na região ativa, $\beta$ controla a contribuição não linear, $\gamma$ introduz um caminho linear (vazamento) e $\delta$ fornece um deslocamento constante.

Propriedades Matemáticas

• Generalização: O ArcGate forma um superconjunto funcional capaz de replicar ativações clássicas (ReLU, Sigmoid, Tanh, SiLU, GELU, Leaky ReLU) como casos especiais ou aproximações próximas ao ajustar seus parâmetros.
• Continuidade e Diferenciabilidade: Diferentemente da ReLU, o ArcGate é $C^\infty$ (infinitamente diferenciável) em todos os lugares devido à sua composição de funções arctangente e de potência, garantindo uma retropropagação estável.
• Estabilidade Numérica: O uso da arctangente como mecanismo de compressão previne problemas de estouro comuns em funções baseadas em exponenciais (como Sigmoid) durante o treinamento de meia precisão.
• Viés Aprendível: Os parâmetros $c$ e $\delta$ permitem que a ativação aprenda um viés interno independente das camadas de pesos, adaptando-se a estatísticas de dados específicas.

Configuração Experimental

Os autores avaliaram o ArcGate usando arquiteturas ResNet-50 e Vision Transformer (ViT-B/16) em três benchmarks de sensoriamento remoto:

• PatternNet: Um conjunto de dados de cobertura do solo de alta resolução.
• UC Merced Land Use: Um conjunto de dados padrão de classificação de uso do solo.
• EuroSAT MSI: Um conjunto de dados multiespectral de 13 bandas.

Para entradas multiespectrais (EuroSAT), os modelos foram adaptados para 13 canais. O treinamento utilizou otimização AdamW ao longo de 50 épocas. Os parâmetros do ArcGate foram inicializados em uma configuração "ReLU Suave" ($a=5.0, p=1.0$, etc.) para garantir um treinamento inicial estável.

Resultados Principais

1. Precisão de Classificação

O ArcGate superou consistentemente as linhas de base padrão (ReLU, Leaky-ReLU, SiLU, GELU, etc.) em todos os conjuntos de dados e arquiteturas.

• PatternNet: Alcançou uma Precisão Global (OA) máxima de 99,67% com ResNet-50, superando a linha de base ReLU (99,57%) e a SiLU (99,01%).
• UC Merced: Alcançou 98,15% (ResNet-50) e 98,33% (ViT-B/16), superando ReLU e SiLU.
• EuroSAT: Demonstrou desempenho competitivo, com ResNet-50 alcançando 98,47% de OA.

2. Robustez ao Ruído

Um teste de estresse envolvendo ruído gaussiano ($\sigma \in [0, 0,2]$) no conjunto de dados PatternNet revelou a resiliência estrutural superior do ArcGate.

• Sob ruído moderado ($\sigma = 0,1$), a precisão do modelo baseado em ReLU caiu drasticamente para 39,34%.
• O modelo ArcGate manteve uma precisão de 65,99%, representando uma melhoria absoluta de 26,65% sobre a linha de base ReLU.
• Essa resiliência é atribuída à transição suave e totalmente diferenciável do ArcGate, que regulariza naturalmente a resposta e limita a amplificação do ruído em comparação com a descontinuidade abrupta da ReLU.

3. Adaptação por Camada e Ablação

• Evolução Dependente da Profundidade: A análise dos parâmetros aprendidos mostrou que a inclinação da porteira ($\alpha$) aumenta com a profundidade da rede (de 0,99 em camadas rasas para 1,12 em camadas profundas). Isso sugere que a rede aprende autonomamente a amplificar a intensidade do sinal em camadas mais profundas para contrabalançar a atenuação e realçar a saliência das características.
• Granularidade: Um estudo de ablação confirmou que parâmetros Aprendíveis por Camada (343 parâmetros extras no total) superaram parâmetros Compartilhados Globais em 0,42% e parâmetros Fixos em 0,66%. A sobrecarga computacional foi negligenciável (<0,002% do total de parâmetros).
• Inicialização: A inicialização com uma configuração "ReLU Suave" resultou em convergência mais rápida e resultados próximos ao ótimo em comparação com inicialização aleatória ou identidade.

Significado e Alegações

O artigo postula que o ArcGate é uma função de ativação de nó geral robusta e adaptativa especificamente benéfica para tarefas de observação da Terra de alta resolução. Seu significado principal reside em:

1. Adaptação Autônoma: Diferentemente de ativações fixas, o ArcGate permite que a rede molde sua não linearidade à hierarquia de características específica e à distribuição de dados, evidenciado pela evolução dependente da profundidade dos parâmetros.
2. Robustez Aprimorada: A natureza suave e diferenciável da função fornece resiliência significativa contra perturbações de sinal comuns em sensoriamento remoto (por exemplo, ruído de sensores), superando a ReLU padrão por uma ampla margem em condições ruidosas.
3. Framework Unificado: O ArcGate unifica vários comportamentos de ativação (retificador, saturante, linear, não monotônico suave) em uma única família paramétrica, demonstrando que as funções clássicas são casos especiais desta formulação mais ampla.

Os autores concluem que, embora o ArcGate mostre promessa para análise de imagens SAR e ópticas, trabalhos futuros explorarão sua aplicação em arquiteturas leves e redes de valores complexos.