Resumen Técnico: ArcGate: Activación de Puerta Arctangente Adaptativa

Enunciado del Problema

Las funciones de activación son fundamentales para las redes neuronales profundas, ya que gobiernan la no linealidad, el aprendizaje de características, la convergencia y la robustez. Mientras que las elecciones históricas como Sigmoid y Tanh sufrían de gradientes que se desvanecían, y las funciones modernas de forma fija como ReLU, GELU y SiLU ofrecen eficiencia computacional, carecen de flexibilidad estructural. Estas activaciones convencionales no se adaptan a los requisitos específicos de diferentes capas de la red o distribuciones de datos. Además, las activaciones fijas a menudo exhiben limitaciones como el problema de "ReLU moribunda" (gradientes cero para entradas negativas) o "quiebres" no diferenciables en el origen, lo que puede desestabilizar el entrenamiento en arquitecturas profundas. En el contexto de la teledetección, donde los datos a menudo exhiben rangos dinámicos altos y son susceptibles al ruido del sensor y a perturbaciones atmosféricas, la rigidez de las funciones de activación estándar puede obstaculizar el rendimiento óptimo y la resiliencia.

Metodología

El artículo propone ArcGate (Activación de Puerta Arctangente Adaptativa), una función de activación paramétrica y flexible diseñada para optimizar autónomamente su no linealidad. ArcGate se construye mediante una transformación no lineal de tres etapas que involucra siete parámetros aprendibles por capa: $a, c, p, \alpha, \beta, \gamma, \delta$.

La formulación procede de la siguiente manera:

1. Transición Monótona: Una función de transición suave $u(x; a, c)$ mapea la entrada a $(0, 1)$ utilizando una función arctangente. El parámetro $a$ controla la pendiente y $c$ establece el centro de transición.
2. Estiramiento No Lineal (Puerta): Una función de puerta adaptativa $v(x; p)$ se deriva aplicando una transformación de probabilidades a $u(x)$, elevándola a la potencia $p$ y mapeándola de nuevo a $(0, 1)$ mediante arctangente. El parámetro $p$ controla la nitidez de la puerta, permitiendo transiciones desde un comportamiento tipo sigmoide hasta uno casi lineal por partes.
3. Combinación Afín: La activación final $F(x)$ combina la función de puerta con términos lineales y bilineales:
   $$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$$
   Aquí, $\alpha$ regula la pendiente en la región activa, $\beta$ controla la contribución no lineal, $\gamma$ introduce una ruta lineal (fuga) y $\delta$ proporciona un desplazamiento constante.

Propiedades Matemáticas

• Generalización: ArcGate forma un superconjunto funcional capaz de replicar activaciones clásicas (ReLU, Sigmoid, Tanh, SiLU, GELU, Leaky ReLU) como casos especiales o aproximaciones cercanas ajustando sus parámetros.
• Continuidad y Diferenciabilidad: A diferencia de ReLU, ArcGate es $C^\infty$ (infinitamente diferenciable) en todas partes debido a su composición de funciones arctangente y de potencia, asegurando una retropropagación estable.
• Estabilidad Numérica: El uso de arctangente como mecanismo de acotación previene problemas de desbordamiento comunes en funciones basadas en exponenciales (como Sigmoid) durante el entrenamiento de media precisión.
• Sesgo Aprendible: Los parámetros $c$ y $\delta$ permiten que la activación aprenda un sesgo interno independiente de las capas de pesos, adaptándose a estadísticas de datos específicas.

Configuración Experimental

Los autores evaluaron ArcGate utilizando las arquitecturas ResNet-50 y Vision Transformer (ViT-B/16) en tres puntos de referencia de teledetección:

• PatternNet: Un conjunto de datos de cobertura terrestre de alta resolución.
• UC Merced Land Use: Un conjunto de datos estándar de clasificación de uso del suelo.
• EuroSAT MSI: Un conjunto de datos multiespectral de 13 bandas.

Para entradas multiespectrales (EuroSAT), los modelos se adaptaron a 13 canales. El entrenamiento utilizó la optimización AdamW durante 50 épocas. Los parámetros de ArcGate se inicializaron en una configuración "ReLU Suave" ($a=5.0, p=1.0$, etc.) para asegurar un entrenamiento temprano estable.

Resultados Clave

1. Precisión de Clasificación

ArcGate superó consistentemente a los baselines estándar (ReLU, Leaky-ReLU, SiLU, GELU, etc.) en todos los conjuntos de datos y arquitecturas.

• PatternNet: Alcanzó una Precisión Global (OA) máxima de 99.67% con ResNet-50, superando la línea base de ReLU (99.57%) y SiLU (99.01%).
• UC Merced: Alcanzó 98.15% (ResNet-50) y 98.33% (ViT-B/16), superando a ReLU y SiLU.
• EuroSAT: Demostró un rendimiento competitivo, con ResNet-50 alcanzando un 98.47% de OA.

2. Robustez al Ruido

Una prueba de estrés que involucraba ruido gaussiano ($\sigma \in [0, 0.2]$) en el conjunto de datos PatternNet reveló la superior resiliencia estructural de ArcGate.

• Bajo ruido moderado ($\sigma = 0.1$), la precisión del modelo basado en ReLU cayó drásticamente a 39.34%.
• El modelo ArcGate mantuvo una precisión de 65.99%, representando una mejora absoluta del 26.65% sobre la línea base de ReLU.
• Esta resiliencia se atribuye a la transición suave y completamente diferenciable de ArcGate, que regulariza naturalmente la respuesta y limita la amplificación del ruido en comparación con la discontinuidad aguda de ReLU.

3. Adaptación por Capa y Ablación

• Evolución Dependiente de la Profundidad: El análisis de los parámetros aprendidos mostró que la pendiente de la puerta ($\alpha$) aumenta con la profundidad de la red (de 0.99 en capas superficiales a 1.12 en capas profundas). Esto sugiere que la red aprende autónomamente a amplificar la intensidad de la señal en capas más profundas para contrarrestar la atenuación y mejorar la saliencia de las características.
• Granularidad: Un estudio de ablación confirmó que los parámetros Aprendibles por Capa (343 parámetros extra en total) superaron a los parámetros Compartidos Globalmente en un 0.42% y a los parámetros Fijos en un 0.66%. La sobrecarga computacional fue despreciable (<0.002% del total de parámetros).
• Inicialización: Inicializar con una configuración "ReLU Suave" produjo una convergencia más rápida y resultados casi óptimos en comparación con la inicialización aleatoria o identidad.

Significado y Afirmaciones

El artículo postula que ArcGate es una función de activación de nodo general robusta y adaptativa específicamente beneficiosa para tareas de observación terrestre de alta resolución. Su significado principal radica en:

1. Adaptación Autónoma: A diferencia de las activaciones fijas, ArcGate permite que la red moldee su no linealidad a la jerarquía de características específica y la distribución de datos, evidenciado por la evolución de parámetros dependiente de la profundidad.
2. Robustez Mejorada: La naturaleza suave y diferenciable de la función proporciona una resiliencia significativa contra las perturbaciones de señal comunes en la teledetección (por ejemplo, ruido del sensor), superando a la ReLU estándar por un amplio margen en condiciones ruidosas.
3. Marco Unificado: ArcGate unifica diversos comportamientos de activación (rectificadores, saturantes, lineales, no monótonos suaves) en una sola familia paramétrica, demostrando que las funciones clásicas son casos especiales de esta formulación más amplia.

Los autores concluyen que, aunque ArcGate muestra promesa para el análisis de imágenes SAR y ópticas, el trabajo futuro explorará su aplicación en arquitecturas ligeras y redes de valor complejo.