Technische Samenvatting: RSU – Een Nieuwe Rectified Sine Unit Activatiefunctie voor Robuuste Pathologische Diagnostiek

1. Probleemstelling

Deep learning, met name Convolutionele Neurale Netwerken (CNN's), is de standaard geworden voor automatische medische beeldanalyse. De prestaties van deze netwerken zijn echter sterk afhankelijk van de keuze van de activatiefuncties. Hoewel standaardfuncties zoals ReLU, Leaky ReLU en ELU succesvol zijn gebleken, hebben zij inherente beperkingen:

• Lineariteit en Monotoniciteit: Standaardfuncties zijn vaak monotoon, wat hun vermogen kan beperken om complexe, niet-lineaire en oscillerende patronen te vangen die inherent zijn aan medische beeldvorming (bijv. subtiele weefseltexturen, cellulaire onregelmatigheden).
• Gradiëntproblemen: ReLU lijdt aan het "dying neuron"-probleem, waarbij gradiënten nul worden voor negatieve inputs, wat het leerproces stopt. Hoewel Leaky ReLU en ELU proberen dit te mitigeren, kunnen ze nog steeds kampen met trage convergentie of moeite hebben in sterk niet-lineaire regio's.
• Gap in Feature Extractie: Er is een onderzoeksachterstand in het verkennen van alternatieve activatiefuncties die de complexe ruimtelijke en hoogfrequente kenmerken beter kunnen exploiteren die aanwezig zijn in pathologische data van diverse soorten kanker (hersenen, longen, colon en borst).

2. Methodologie

2.1 De Voorgestelde Activatiefunctie: Rectified Sine Unit (RSU)

De auteurs stellen een nieuwe activatiefunctie voor, de Rectified Sine Unit (RSU), die wiskundig wordt gedefinieerd als een stuksgewijze functie:
$$f(x) = \begin{cases} 0 & \text{als } x < 0 \\ 2 \sin^2(x) & \text{als } x \geq 0 \end{cases}$$
Belangrijke Wiskundige Eigenschappen:

• Niet-lineariteit: Bewezen niet-lineair omdat het faalt voor de additiviteits- en homogeniteitstesten die vereist zijn voor lineaire functies. Dit stelt het netwerk in staat om complexe, niet-monotone relaties te modelleren.
• Begrensdheid: De output is strikt begrensd binnen het interval $[0, 2]$. De schaleringscoëfficiënt van 2 biedt een breder dynamisch bereik dan de $[0, 1]$ range van standaard sigmoid-achtige eenheden.
• Differentieerbaarheid: De functie is glad en differentieerbaar overal, met een afgeleide van $f'(x) = 4\sin(x)\cos(x) = 2\sin(2x)$ voor $x \geq 0$. Dit zorgt voor een continue gradiëntstroom.
• Periodiciteit: De sinusoïdale aard introduceert periodiciteit, wat de auteurs betogen dat fungeert als een impliciete vorm van regularisatie, wat helpt bij het voorkomen van overfitting en het ondersteunen van de exploratie van de loss-landschap.
• Gradiëntbehoud: In tegen tegenstelling tot ReLU, dat nul gradiënten geeft voor negatieve inputs, behoudt RSU niet-nul gradiënten voor positieve inputs en voorkomt het het "dead neuron"-fenomeen.

2.2 Experimentele Opzet

Om de RSU te valideren, hebben de auteurs een gecontroleerde vergelijkende studie uitgevoerd over vier verschillende medische beeldvormingsdatasets:

1. Hersencancer (MRI): 3 klassen (Glioma, Meningioom, Tumor).
2. Longkanker (CT): 3 klassen (Goedaardig, Normaal, Maligne).
3. Colonkanker (Histopathologie): 2 klassen (Niet-kanker, Kanker).
4. Borstkanker (Histopathologie): 2 klassen (Niet-kanker, Kanker).

Architectuur en Protocol:

• Een gestandaardiseerde CNN-architectuur werd vanaf nul gebouwd voor alle experimenten om de impact van de activatiefunctie te isoleren.
• Input: Afbeeldingen geresized naar $64 \times 64 \times 3$.
• Structuur: Twee convolutionele blokken (128 filters en daarna 64 filters) met $3 \times 3$ kernels, gevolgd door Max-Pooling, een Flatten-laag en een fully connected laag (128 neuronen).
• Vergelijking: De RSU werd systematisch gesubstitueerd voor ReLU, Leaky ReLU en ELU in dezelfde architectuur.
• Training: Modellen werden getraind voor 10 epochs met de Adam-optimizer en Categorical Cross-Entropy loss.
• Metrics: Evaluatie omvatte Accuracy, Precision, Recall, F1-Score (macro-gemiddeld) en loss-convergentieanalyse.

3. Belangrijkste Bijdragen

• Nieuwe Activatiefunctie: Introductie van de RSU, die rectificatie combineert met een sinusoïdale transformatie om een niet-monotone, periodieke activatie-eenheid te cren.
• Theoretische Analyse: Formele bewijzen van de niet-lineariteit, begrensdheid en differentieerbaarheid van de functie, naast een analyse van de gradiëntstroom-eigenschappen die wijzen op weerstand tegen vanishing gradients.
• Uitgebreide Benchmarking: Een rigoureuze evaluatie over vier diverse kankerdatasets (MRI, CT en Histopathologie), wat aantoont dat de voorgestelde functie niet beperkt is tot één enkele modaliteit.
• Prestatievalidatie: Empirisch bewijs dat RSU consequent beter presteert of zeer competitief blijft met de huidige state-of-the-art standaard activatiefuncties wat betreft nauwkeurigheid, convergentiesnelheid en stabiliteit.

4. Resultaten

De experimentele bevindingen geven aan dat CNN's geïntegreerd met RSU superieure of zeer competitieve prestaties behalen vergeleken met modellen die gebruikmaken van ReLU, Leaky ReLU of ELU:

• Nauwkeurigheid (Accuracy):
  • Hersencancer: RSU bereikte 85,31%, waarmee het ReLU (83,00%) versloeg.
  • Longkanker: RSU bereikte 99,55%, waarmee het Leaky ReLU (98,64%) overtrof en aanzienlijk beter presteerde dan ELU (87,73%).
  • Colonkanker: RSU bereikte 99,77%, wat een hoge robuustheid demonstreert (vergelijkbaar met de 99,88% van ReLU, maar met een stabielere vroege convergentie).
  • Borstkanker: RSU bereikte 97,88%, waarmee het Leaky ReLU (97,27%) overtrof.
• Convergentie en Loss:
  • RSU-modellen vertoonden snellere convergentie en lagere uiteindelijke loss-waarden over alle datasets. Bijvoorbeeld, bij hersencancer verminderde RSU de loss van 0,68 naar 0,02, terwijl ReLU op 0,33 bleef hangen.
  • De loss-curves voor RSU waren gladder en stabieler, wat duidt op een robuuste gradiëntstroom en een effectieve mitigatie van het vanishing gradient-probleem.
• Precisie en Recall:
  • RSU demonstreerde superieure macro-gemiddelde Precision, Recall en F1-scores. In longkanker bereikte RSU een Recall van 0,9861, wat cruciaal is voor het minimaliseren van fout-negatieven bij screening.
• Verwarringsmatrix-analyse (Confusion Matrix):
  • In de dataset voor hersencancer vertoonde RSU een superieure diagonale dominantie, waarbij het meer gevallen van meningioom en glioma correct classificeerde vergeleken met ReLU, dat moeite had om tussen deze specifieke weefseltypen te onderscheiden.

5. Betekenis en Claims

Het artikel stelt dat de RSU-activatiefunctie een overtuigend alternatief biedt voor standaard gerectificeerde eenheden voor automatische medische diagnose. De betekenis van het werk ligt in de volgende claims:

• Verbeterde Feature Extractie: De periodieke aard van de sinusfunctie stelt het netwerk in staat om complexe, hoogfrequente ruimtelijke kenmerken en subtiele pathologische nuances (bijv. cellulaire morfologie, weefseldichtheid) te vangen die monotone functies mogelijk zouden gladstrijken of missen.
• Robuustheid en Stabiliteit: Door niet-nul gradiënten te behouden en een gladde overgang nabij nul te bieden, zorgt RSU voor stabiele trainingsdynamiek en voorkomt het het "dying neuron"-probleem, wat leidt tot meer betrouwbare convergentie in diepe netwerken.
• Generaliseerbaarheid: De consistente prestaties over vier verschillende soorten kanker en beeldvormingsmodaliteiten suggereren dat RSU een veelzijdige component is die de betrouwbaarheid van CNN's in klinische omgevingen met hoge inzet kan verbeteren.
• Efficiëntie: De studie toont aan dat significante prestatiewinsten kunnen worden behaald door fundamentele netwerkcomponenten te wijzigen, in plaats van enkel te vertrouwen op het vergroten van de architecturale complexiteit of het gebruik van massale pre-trained ensembles.

De auteurs concluderen dat het adopteren van RSU kan leiden tot gevoeliger diagnostische systemen die in staat zijn om misdiagnose-percentages in de oncologie te verlagen door beter onderscheid te maken tussen complexe en overlappende pathologische kenmerken. Toekomstig werk wordt gesuggereerd om RSU te verkennen in multi-modale fusie en Transformer-gebaseerde architecturen.