Riepilogo Tecnico: ArcGate: Attivazione a Cancellazione Arctangente Adattiva

Enunciato del Problema

Le funzioni di attivazione sono fondamentali per le reti neurali profonde, governando non linearità, apprendimento delle caratteristiche, convergenza e robustezza. Sebbene scelte storiche come Sigmoid e Tanh abbiano sofferto di gradienti che svanivano, e funzioni moderne a forma fissa come ReLU, GELU e SiLU offrano efficienza computazionale, esse mancano di flessibilità strutturale. Queste attivazioni convenzionali non si adattano ai requisiti specifici dei diversi livelli della rete o delle distribuzioni dei dati. Inoltre, le attivazioni fisse spesso presentano limitazioni come il problema del "ReLU morente" (gradienti nulli per input negativi) o "pieghe" non differenziabili all'origine, che possono destabilizzare l'addestramento in architetture profonde. Nel contesto del telerilevamento, dove i dati spesso presentano intervalli dinamici elevati e sono suscettibili al rumore dei sensori e alle perturbazioni atmosferiche, la rigidità delle funzioni di attivazione standard può ostacolare prestazioni e resilienza ottimali.

Metodologia

Il documento propone ArcGate (Adaptive Arctangent Gated Activation), una funzione di attivazione parametrica e flessibile progettata per ottimizzare autonomamente la propria non linearità. ArcGate è costruita tramite una trasformazione non lineare a tre stadi che coinvolge sette parametri apprendibili per livello: $a, c, p, \alpha, \beta, \gamma, \delta$.

La formulazione procede come segue:

1. Transizione Monotona: Una funzione di transizione liscia $u(x; a, c)$ mappa l'input su $(0, 1)$ utilizzando una funzione arcotangente. Il parametro $a$ controlla la pendenza, mentre $c$ imposta il centro della transizione.
2. Stiramento Non Lineare (Gating): Una funzione di gating adattiva $v(x; p)$ è derivata applicando una trasformazione delle probabilità a $u(x)$, elevandola alla potenza $p$ e mappandola nuovamente su $(0, 1)$ tramite arcotangente. Il parametro $p$ controlla la nitidezza del cancello, permettendo transizioni da un comportamento simile alla sigmoide a un comportamento quasi lineare a tratti.
3. Combinazione Affine: L'attivazione finale $F(x)$ combina la funzione di gating con termini lineari e bilineari:
   $$F(x; \alpha, \beta, \gamma, \delta) = (\alpha x + \beta)v(x; p) + (\gamma x + \delta)$$
   Qui, $\alpha$ regola la pendenza nella regione attiva, $\beta$ controlla il contributo non lineare, $\gamma$ introduce un percorso lineare (perdita), e $\delta$ fornisce uno spostamento costante.

Proprietà Matematiche

• Generalizzazione: ArcGate forma un superset funzionale capace di replicare attivazioni classiche (ReLU, Sigmoid, Tanh, SiLU, GELU, Leaky ReLU) come casi particolari o approssimazioni vicine regolando i suoi parametri.
• Continuità e Differenziabilità: A differenza di ReLU, ArcGate è $C^\infty$ (infinitamente differenziabile) ovunque grazie alla sua composizione di funzioni arcotangente e potenza, garantendo una retropropagazione stabile.
• Stabilità Numerica: L'uso dell'arcotangente come meccanismo di compressione previene problemi di overflow comuni nelle funzioni basate sull'esponenziale (come Sigmoid) durante l'addestramento in precisione ridotta.
• Bias Apprendibile: I parametri $c$ e $\delta$ permettono all'attivazione di apprendere un bias interno indipendente dai livelli di pesi, adattandosi a statistiche dei dati specifiche.

Configurazione Sperimentale

Gli autori hanno valutato ArcGate utilizzando le architetture ResNet-50 e Vision Transformer (ViT-B/16) su tre benchmark di telerilevamento:

• PatternNet: Un dataset ad alta risoluzione di copertura del suolo.
• UC Merced Land Use: Un dataset standard per la classificazione dell'uso del suolo.
• EuroSAT MSI: Un dataset multispettrale a 13 bande.

Per input multispettrali (EuroSAT), i modelli sono stati adattati a 13 canali. L'addestramento ha utilizzato l'ottimizzazione AdamW per 50 epoche. I parametri di ArcGate sono stati inizializzati a una configurazione "Soft ReLU" ($a=5.0, p=1.0$, ecc.) per garantire un addestramento iniziale stabile.

Risultati Chiave

1. Accuratezza di Classificazione

ArcGate ha costantemente superato le linee di base standard (ReLU, Leaky-ReLU, SiLU, GELU, ecc.) su tutti i dataset e le architetture.

• PatternNet: Ha raggiunto un'Accuratezza Complessiva (OA) massima del 99,67% con ResNet-50, superando la baseline ReLU (99,57%) e SiLU (99,01%).
• UC Merced: Ha raggiunto il 98,15% (ResNet-50) e il 98,33% (ViT-B/16), superando ReLU e SiLU.
• EuroSAT: Ha dimostrato prestazioni competitive, con ResNet-50 che ha raggiunto un OA del 98,47%.

2. Robustezza al Rumore

Un test di stress che coinvolgeva rumore gaussiano ($\sigma \in [0, 0.2]$) sul dataset PatternNet ha rivelato una resilienza strutturale superiore di ArcGate.

• Sotto rumore moderato ($\sigma = 0.1$), l'accuratezza del modello basato su ReLU è crollata drasticamente al 39,34%.
• Il modello ArcGate ha mantenuto un'accuratezza del 65,99%, rappresentando un miglioramento assoluto del 26,65% rispetto alla baseline ReLU.
• Questa resilienza è attribuita alla transizione liscia e completamente differenziabile di ArcGate, che regolarizza naturalmente la risposta e limita l'amplificazione del rumore rispetto alla discontinuità netta di ReLU.

3. Adattamento a Livello di Strato e Ablazione

• Evoluzione Dipendente dalla Profondità: L'analisi dei parametri appresi ha mostrato che la pendenza del gating ($\alpha$) aumenta con la profondità della rete (da 0,99 nei livelli superficiali a 1,12 nei livelli profondi). Ciò suggerisce che la rete impara autonomamente ad amplificare l'intensità del segnale nei livelli più profondi per contrastare l'attenuazione e migliorare la salienza delle caratteristiche.
• Granularità: Uno studio di ablazione ha confermato che i parametri Apprendibili a Livello di Strato (343 parametri extra in totale) hanno superato i parametri Condivisi Globali dello 0,42% e i parametri Fissi dello 0,66%. Il sovraccarico computazionale è stato trascurabile (<0,002% dei parametri totali).
• Inizializzazione: L'inizializzazione con una configurazione "Soft-ReLU" ha prodotto una convergenza più rapida e risultati quasi ottimali rispetto all'inizializzazione casuale o identità.

Significato e Affermazioni

Il documento afferma che ArcGate è una funzione di attivazione del nodo generale robusta e adattiva specificamente benefica per le attività di osservazione terrestre ad alta risoluzione. Il suo significato principale risiede in:

1. Adattamento Autonomo: A differenza delle attivazioni fisse, ArcGate permette alla rete di modellare la propria non linearità in base alla gerarchia delle caratteristiche specifica e alla distribuzione dei dati, come dimostrato dall'evoluzione dei parametri dipendente dalla profondità.
2. Robustezza Potenziata: La natura liscia e differenziabile della funzione fornisce una significativa resilienza contro le perturbazioni del segnale comuni nel telerilevamento (ad esempio, rumore del sensore), superando il ReLU standard di un ampio margine in condizioni rumorose.
3. Quadro Unificato: ArcGate unifica vari comportamenti di attivazione (rettificanti, saturanti, lineari, non monotoni lisci) in una singola famiglia parametrica, dimostrando che le funzioni classiche sono casi particolari di questa formulazione più ampia.

Gli autori concludono che, sebbene ArcGate mostri promesse per l'analisi di immagini SAR e ottiche, il lavoro futuro esplorerà la sua applicazione in architetture leggere e reti a valori complessi.