Riepilogo Tecnico: RSU – Una Nuova Funzione di Attivazione a Unità Seno Rettificata per una Diagnosi Patologica Robusta

1. Definizione del Problema

L'apprendimento profondo (deep learning), in particolare le Reti Neurali Convoluzionali (CNN), è diventato lo standard per l'analisi automatizzata delle immagini mediche. Tuttavia, le prestazioni di queste reti dipendono fortemente dalla scelta delle funzioni di attivazione. Sebbene le funzioni standard come ReLU, Leaky ReLU ed ELU abbiano dimostrato successo, esse possiedono limiti intrinseci:

• Linearità e Monotonicità: Le funzioni standard sono spesso monotone, il che può limitare la loro capacità di catturare pattern complessi, non lineari e oscillatori inerenti alle immagini mediche (ad es., sottili texture tissutali, irregolarità cellulari).
• Problemi di Gradiente: La funzione ReLU soffre del problema del "neurone morto" (dying neuron), in cui i gradienti diventano zero per input negativi, interrompendo l'apprendimento. Sebbene Leaky ReLU ed ELU tentino di mitigare questo aspetto, possono comunque presentare una convergenza lenta o avere difficoltà in regioni altamente non lineari.
• Gap nell'Estrazione delle Caratteristiche: Esiste un vuoto nella ricerca riguardante l'esplorazione di funzioni di attivazione alternative che possano sfruttare meglio le intricate caratteristiche spaziali e ad alta frequenza presenti nei dati patologici attraverso diversi tipi di cancro (Cervello, Polmone, Colon e Seno).

2. Metodologia

2.1 La Funzione di Attivazione Proposta: Unità Seno Rettificata (RSU)

Gli autori propongono una nuova funzione di attivazione, la Unità Seno Rettificata (RSU), definita matematicamente come una funzione a tratti:
$$f(x) = \begin{cases} 0 & \text{se } x < 0 \\ 2 \sin^2(x) & \text{se } x \geq 0 \end{cases}$$
Proprietà Matematiche Chiave:

• Non-linearità: Dimostrata essere non lineare poiché fallisce i test di additività e omogeneità richiesti per le funzioni lineari. Ciò consente alla rete di modellare relazioni complesse e non monotone.
• Limitatezza (Boundedness): L'output è strettamente limitato nell'intervallo $[0, 2]$. Il coefficiente di scala di 2 fornisce un intervallo dinamico più ampio rispetto all'intervallo $[0, 1]$ delle unità standard simili alla sigmoide.
• Differenziabilità: La funzione è continua e differenziabile ovunque, con una derivata di $f'(x) = 4\sin(x)\cos(x) = 2\sin(2x)$ per $x \geq 0$. Ciò garantisce un flusso di gradiente continuo.
• Periodicità: La natura sinusoidale introduce la periodicità, che gli autori sostengono agisca come una forma implicita di regolarizzazione, aiutando a prevenire l'overfitting e favorendo l'esplorazione del panorama della perdita (loss landscape).
• Preservazione del Gradiente: A differenza di ReLU, che produce gradienti nulli per input negativi, RSU mantiene gradienti non nulli per input positivi ed evita il fenomeno del "neurone morto".

2.2 Configurazione Sperimentale

Per validare la RSU, gli autori hanno condotto uno studio comparativo controllato su quattro distinti dataset di imaging medico:

1. Tumore al Cervello (MRI): 3 classi (Glioma, Meningioma, Tumore).
2. Tumore al Polmone (CT): 3 classi (Benigno, Normale, Maligno).
3. Tumore al Colon (Istopatologia): 2 classi (Non-Cancro, Cancro).
4. Tumore al Seno (Istopatologia): 2 classi (Non-Cancro, Cancro).

Architettura e Protocollo:

• Una CNN standardizzata è stata costruita da zero per tutti gli esperimenti al fine di isolare l'impatto della funzione di attivazione.
• Input: Immagini ridimensionate a $64 \times 64 \times 3$.
• Struttura: Due blocchi convoluzionali (128 filtri poi 64 filtri) con kernel $3 \times 3$, seguiti da Max-Pooling, un livello Flatten e un livello completamente connesso (128 neuroni).
• Confronto: La RSU è stata sistematicamente sostituita a ReLU, Leaky ReLU ed ELU nella stessa architettura.
• Addestramento: I modelli sono stati addestrati per 10 epoche utilizzando l'ottimizzatore Adam e la perdita di Cross-Entropia Categoriale.
• Metriche: La valutazione ha incluso Accuratezza, Precisione, Recall, F1-Score (media macro) e analisi della convergenza della perdita.

3. Contributi Chiave

• Nuova Funzione di Attivazione: Introduzione della RSU, che combina la rettifica con una trasformazione sinusoidale per creare un'unità di attivazione non monotona e periodica.
• Analisi Teorica: Prove formali della non-linearità, limitatezza e differenziabilità della funzione, insieme a un'analisi delle proprietà del flusso di gradiente che suggeriscono resistenza alla scomparsa del gradiente (vanishing gradient).
• Benchmarking Completo: Una valutazione rigorosa attraverso quattro diversi dataset di cancro (MRI, CT e Istopatologia), dimostrando che la funzione proposta non è limitata a una singola modalità.
• Validazione delle Prestazioni: Evidenza empirica che mostra come la RSU superi costantemente o rimanga altamente competitiva con le funzioni di attivazione standard allo stato dell'arte in termini di accuratezza, velocità di convergenza e stabilità.

4. Risultati

I risultati sperimentali indicano che le CNN integrate con RSU raggiungono prestazioni superiori o altamente competitive rispetto ai modelli che utilizzano ReLU, Leaky ReLU o ELU:

• Accuratezza:
  • Tumore al Cervello: RSU ha raggiunto l'85,31%, superando ReLU (83,00%).
  • Tumore al Polmone: RSU ha raggiunto il 99,55%, superando Leaky ReLU (98,64%) e superando significativamente ELU (87,73%).
  • Tumore al Colon: RSU ha raggiunto il 99,77%, dimostrando un'alta robustezza (comparabile al 99,88% di ReLU, ma con una convergenza iniziale più stabile).
  • Tumore al Seno: RSU ha raggiunto il 97,88%, eccedendo Leaky ReLU (97,27%).
• Convergenza e Perdita (Loss):
  • I modelli RSU hanno mostrato una convergenza più rapida e valori di perdita finale inferiori in tutti i dataset. Ad esempio, nel Tumore al Cervello, RSU ha ridotto la perdita da 0,68 a 0,02, mentre ReLU è rimasta a 0,33.
  • Le curve di perdita per RSU sono state più fluide e stabili, indicando un flusso di gradiente robusto e un'efficace mitigazione del problema della scomparsa del gradiente.
• Precisione e Recall:
  • RSU ha dimostrato una Precisione, una Recall e un F1-score macro-mediati superiori. Nel Tumore al Polmone, RSU ha raggiunto una Recall di 0,9861, fondamentale per minimizzare i falsi negativi nello screening.
• Analisi della Matrice di Confusione:
  • Nel dataset del Tumore al Cervello, RSU ha mostrato una dominanza diagonale superiore, classificando correttamente più casi di Meningioma e Glioma rispetto a ReLU, che faticava a distinguere tra questi specifici tipi di tessuto.

5. Significato e Rivendicazioni

Il documento sostiene che la funzione di attivazione RSU offre un'alternativa convincente alle standard unità rettificate per la diagnosi medica automatizzata. La significatività del lavoro risiede nelle seguenti rivendicazioni:

• Estrazione delle Caratteristiche Migliorata: La natura periodica della funzione seno permette alla rete di catturare intricate caratteristiche spaziali ad alta frequenza e sottili sfumature patologiche (ad es., morfologia cellulare, densità tissutale) che le funzioni monotone potrebbero attenuare o perdere.
• Robustezza e Stabilità: Mantenendo gradienti non nulli e fornendo una transizione fluida vicino allo zero, RSU assicura una dinamica di addestramento stabile e previene il problema del "neurone morto", portando a una convergenza più affidabile nelle reti profonde.
• Generalizzabilità: La coerenza delle prestazioni attraverso quattro diversi tipi di cancro e modalità di imaging suggerisce che RSU sia una componente versatile in grado di migliorare l'affidabilità delle CNN in ambienti clinici ad alto rischio.
• Efficienza: Lo studio dimostra che guadagni di prestazione significativi possono essere ottenuti modificando componenti fondamentali della rete, piuttosto che basarsi esclusivamente sull'aumento della complessità architettonica o sull'uso di massicci ensemble pre-addestrati.

Gli autori concludono che l'adozione di RSU può portare a sistemi diagnostici più sensibili capaci di ridurre i tassi di diagnosi errata in oncologia, distinguendo meglio tra caratteristiche patologiche complesse e sovrapponibili. Il lavoro futuro suggerisce di esplorare RSU nella fusione multi-modale e nelle architetture basate su Transformer.