💻 computer science

RSU: A Novel RectifiedSineUnit Activation Function for Robust Pathological Diagnosis Across Multi-Cancer Datasets

이 논문은 네 가지 다양한 암 데이터셋을 통한 자동 병리 진단에서 ReLU 및 Leaky ReLU와 같은 표준 활성화 함수보다 우수한 정확도를 달성하며 합성곱 신경망의 성능을 크게 향상시키는 새로운 정류 사인 유닛(Rectified Sine Unit, RSU) 활성화 함수를 제안한다.

원저자: Muhammad Saood Sarwar, Shahzaib ur Rehman

게시일 2026-07-29

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Muhammad Saood Sarwar, Shahzaib ur Rehman

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 단순히 도형의 집합이 아니라, 숨겨진 디테일로 가득 찬 이야기를 읽는 법을 가르치려 한다고 상상해 보세요. 이것이 바로 딥러닝(Deep Learning)의 핵심입니다. 딥러닝은 컴퓨터가 마치 큰 시험을 준비하는 학생처럼 수천 개의 사례를 살펴보며 학습하는 인공지능의 한 분야입니다. 이 로봇의 '두뇌'는 합성곱 신경망(Convolutional Neural Network, CNN)이라고 불립니다. CNN을 각각의 작은 부분에 집중하여 가장자리, 질감, 또는 색상과 같은 단서를 찾아내는 작은 탐정 팀이라고 생각해보세요.

하지만 여기 문제가 있습니다. 이 탐정들에게 어떤 단서가 다음 탐정에게 전달될 만큼 중요한지 결정할 방법이 필요합니다. 이 의사결정 도구를 활성화 함수(Activation Function)라고 부릅니다. 오랫동안 가장 인기 있었던 도구는 ReLU(Rectified Linear Unit)라는 것이었습니다. ReLU는 엄격한 문지기라고 생각하면 됩니다. 만약 단서가 양수(좋음)라면 통과시키지만, 음수(나쁨)라면 문을 완전히 닫아버리고 아무것도 전달하지 않습니다. 이 방식도 효과적이긴 하지만 결함이 있습니다. 때때로 문을 너무 세게 닫아버려서, 로봇이 피드백을 받지 못해 학습을 멈추게 되는 것입니다. 이 분야의 큰 질문은 이것입니다. 우리가 더 똑똑한 문지기를 만들어 로봇이 더 빠르게 학습하고, 의료 영상 속 아주 작고 혼란스러운 디테일까지 포착하게 할 수 있을까?

새로운 문지기: RSU를 만나다

이 논문에서 두 명의 연구자, 무함마드 사우드 사르와르(Muhammad Saood Sarwar)와 샤 사이브 우르 레만(Shahzaib ur Rehman)은 RSU(Rectified Sine Unit)라는 새로운 브랜드의 문지기를 제안합니다. 단순히 온/오프 스위치처럼 작동하는 ReLU와 달리, RSU는 조금 더 악기에 가깝습니다. RSU는 무엇을 전달할지 결정하기 위해 사인파(소리의 파동에서 볼 수 있는 매끄럽고 물결치는 선)를 사용합니다.

이것이 어떻게 작동하는지 쉬운 말로 설명하자면 다음과 같습니다:

기존 방식 (ReLU): 클럽의 보안 요원이 오직 웃고 있는 사람만 들여보낸다고 상상해 보세요. 당신이 얼굴을 찌푸리고 있다면, 당신은 전혀 주목받지 못합니다. 때때로 보안 요원이 너무 엄격해져서, 아무도 웃는 법을 배울 기회를 얻지 못하게 됩니다.
새로운 방식 (RSU): RSU는 군중의 리듬을 듣는 보안 요원입니다. 입력값이 까다롭더라도, RSU는 단순히 차단하는 대신 물결치듯 진동(파동처럼 위아래로 움직임)합니다. 이 "물결치는" 움직임은 로봇이 미묘하거나 혼란스러운 단서가 있을 때도 계속 학습할 수 있도록 도와줍니다.

이것이 암 진단에 왜 중요한가요?

연구진은 이 새로운 RSU 문지기를 매우 심각한 작업, 즉 의료 영상을 통한 암 진단에 테스트했습니다. 그들은 RSU가 기존의 방식보다 컴퓨터가 뇌, 폐, 대장, 유방 스캔에서 종양을 더 잘 찾아낼 수 있는지 확인하고자 했습니다. 의료 영상은 믿기 힘들 정도로 복잡합니다. 종양은 건강한 조직과 매우 비슷해 보일 수 있으며, 아주 작은 디테일을 놓치는 것은 위험할 수 있습니다. 연구진은 RSU가 파동 형태로 움직이기 때문에, 직선 형태의 문지기인 ReLU가 놓칠 수 있는 "물결치는" 고주파 디테일을 더 잘 잡아낼 수 있다고 믿었습니다.

연구 결과

연구팀은 표준 컴퓨터 비전 모델을 구축한 뒤, 기존의 문지기들(ReLU, Leaky ReLU, ELU)을 새로운 RSU로 교체했습니다. 그런 다음 모델을 네 가지 서로 다른 의료 데이터셋에 실행하여 성능을 확인했습니다. 수치가 보여준 결과는 다음과 같습니다:

뇌암 (MRI): RSU 모델은 **85.31%**의 정확도를 기록했습니다. 이는 표준 ReLU 모델이 **83.00%**에 그친 것보다 높은 수치였습니다. RSU는 다양한 유형의 뇌종양을 구별하는 데 더 뛰어났습니다.
폐암 (CT): 이는 엄청난 승리였습니다. RSU 모델은 **99.55%**의 정확도를 달성하며, **98.64%**를 기록한 Leaky ReLU 모델을 앞질렀습니다. 폐 문제를 포착하는 데 거의 완벽했습니다.
유방암: RSU 모델은 **97.88%**를 기록하며, 다시 한번 Leaky ReLU의 점수인 **97.27%**를 넘어섰습니다.
대장암: RSU 모델은 테스트 세트에서 **99.77%**의 정확도에 도달하며 놀라운 안정성을 보여주었습니다.

RSU가 다른 이유

논문은 비결이 사인파의 주기적 특성에 있다고 제안합니다. RSU는 진동하기 때문에 단순히 "켜짐" 또는 "꺼짐" 상태로 머물지 않습니다. 대신 정보의 매끄럽고 연속적인 흐름을 만들어냅니다.

"죽은" 뉴런 없음: 기존 ReLU 모델에서는 입력값이 음수일 경우 네트워크의 일부가 "죽어버리는"(학습을 완전히 멈추는) 경우가 있었습니다. RSU는 그래디언트(학습 신호)를 계속 흐르게 하여 이러한 데드 존(dead zones)을 방지합니다.
미묘한 것을 포착함: 연구진은 RSU가 매우 유사해 보이는 조직들을 구별하는 데 특히 유능하다는 것을 발견했습니다. 예를 들어, 뇌 스캔에서 ReLU는 때때로 두 종류의 종양을 혼동했지만, RSU는 이를 명확히 구분해 냈습니다.

결론

저자들은 표준적인 직선형 문지기를 이 새로운 물결 모양의 RSU 함수로 교체함으로써 컴퓨터 비전 모델이 더 견고하고 정확해진다고 결론지었습니다. 그들은 이 간단한 변화가 AI가 이전에는 놓쳤던 의료 영상 속 복잡하고 리드미컬한 패턴을 "볼" 수 있게 도와준다고 제안합니다. 그들이 암 진사를 완전히 해결했다고 주장하는 것은 아니지만, 실험 결과는 이 새로운 활성화 함수가 향에 더 신뢰할 수 있는 자동 진단 시스템으로 이어질 수 있는 강력한 도구임을 강력하게 시사합니다. 이들의 연구 코드는 다른 사람들이 확인하고 발전시킬 수 있도록 공개되어 있어, 이 "물결치는" 새로운 사고방식에 대한 더 많은 실험의 문을 열어두고 있습니다.

기술 요약: RSU – 견고한 병리 진단을 위한 새로운 정류 사인 유닛(Rectified Sine Unit) 활성화 함수

1. 문제 정의

딥러닝, 특히 합성곱 신경망(CNN)은 자동화된 의료 영상 분석의 표준이 되었습니다. 그러나 이러한 네트워크의 성능는 활성화 함수의 선택에 크게 의존합니다. ReLU, Leaky ReLU, ELU와 같은 표준 함수들은 성공적인 성과를 보여왔으나, 다음과 같은 내재적 한계를 지니고 있습니다:

선형성 및 단조성: 표준 함수들은 종종 단조적(monotonic)이며, 이는 의료 영상(예: 미세한 조직 질감, 세포의 불규칙성)에 내재된 복잡하고 비선형적이며 진동하는 패턴을 포착하는 능력을 제한할 수 있습니다.
그래디언트 문제: ReLU는 음수 입력에 대해 그래디언트가 0이 되어 학습이 중단되는 "죽은 뉴런(dying neuron)" 문제로 고통받습니다. Leaky ReLU와 ELU가 이를 완화하려고 시도하지만, 여전히 느린 수렴을 보이거나 매우 비선형적인 영역에서 어려움을 겪을 수 있습니다.
특징 추출 격차: 다양한 암 유형(뇌, 폐, 결장 및 유방)의 병리 데이터에서 발견되는 복잡한 공간적 및 고주파 특징을 더 잘 활용할 수 있는 대안적인 활성화 함수를 탐색하는 데 있어 연구 격차가 존재합니다.

2. 방법론

2.1 제안된 활성화 함수: 정류 사인 유닛 (RSU)

저자들은 다음과 같이 조각별 함수(piecewise function)로 정의되는 새로운 활성화 함수인 정류 사인 유닛(RSU)을 제안합니다:
$f(x) = \begin{cases} 0 & \text{if } x < 0 \\ 2 \sin^2(x) & \text{if } x \geq 0 \end{cases}$
주요 수학적 특성:

비선형성: 선형 함수에 요구되는 가법성(additivity)과 동차성(homogeneity) 테스트를 통과하지 못하므로 비선형임이 증명되었습니다. 이를 통해 네트워크는 복잡하고 비단조적인 관계를 모델링할 수 있습니다.
유계성(Boundedness): 출력값은 구간 $[0, 2]$ 내로 엄격히 제한됩니다. 스케일링 계수인 2는 표준 시그모이드 형태의 유닛이 가진 $[0, 1]$ 범위보다 더 넓은 동적 범위를 제공합니다.
미분 가능성: 이 함수는 모든 곳에서 매끄럽고 미분 가능하며, $x \geq 0$ 일 때 도함수는 $f'(x) = 4\sin(x)\cos(x) = 2\sin(2x)$ 입니다. 이는 연속적인 그래디언트 흐름을 보장합니다.
주기성: 사인 함수의 주기적 특성은 저자들이 주장하듯 암시적인 형태의 규제(regularization) 역할을 하여, 과적합을 방지하고 손실 지형(loss landscape)의 탐색을 돕습니다.
그래디언트 보존: ReLU와 달리, RSU는 음수 입력에 대해 0의 그래디언트를 출력하지 않고 양수 입력에 대해 비제로(non-zero) 그래디언트를 유지하여 "죽은 뉴론" 현상을 방지합니다.

2.1 실험 설정

RSU를 검증하기 위해 저자들은 네 가지 서로 다른 의료 영상 데이터셋에 걸쳐 통제된 비교 연구를 수행했습니다:

뇌암 (MRI): 3개 클래스 (Glioma, Meningioma, Tumor).
폐암 (CT): 3개 클래스 (Benign, Normal, Malignant).
결장암 (조직병리): 2개 클래스 (Non-Cancer, Cancer).
유방암 (조직병리): 2개 클래스 (Non-Cancer, Cancer).

아키텍처 및 프로토콜:

활성화 함수의 영향을 격리하기 위해 모든 실험을 위해 표준화된 CNN 아키텍처를 처음부터 구축했습니다.
입력: 이미지를 $64 \times 64 \times 3$ 크기로 리사이징함.
구조: 두 개의 컨볼루션 블록( $3 \times 3$ 커널, 128개 필터 후 64개 필터), Max-Pooling, Flatten 레이어, 그리고 128개 뉴런을 가진 Fully Connected 레이어로 구성되었습니다.
비교: 동일한 아키텍처 내에서 RSU를 ReLU, Leaky ReLU, ELU와 체계적으로 교체하여 실험했습니다.
학습: Adam 옵티마이저와 Categorical Cross-Entropy 손실 함수를 사용하여 10 에포크 동안 모델을 학습시켰습니다.
지표: 정확도(Accuracy), 정밀도(Precision), 재현율(Recall), F1-Score(매크로 평균), 그리고 손실 수렴 분석을 평가에 포함했습니다.

3. 주요 기여

새로운 활성화 함수: 정류와 사인 변환을 결합하여 비단조적이고 주기적인 활성화 유닛을 생성하는 RSU를 도입했습니다.
이론적 분석: 함수의 비선형성, 유계성, 미분 가능성에 대한 공식적인 증명과 함께, 소실 그래디언트(vanishing gradient)에 대한 저항성을 시사하는 그래디언트 흐름 특성을 분석했습니다.
포괄적 벤치마킹: MRI, CT, 조직병리 등 네 가지 다양한 암 데이터셋에 걸친 엄격한 평가를 통해, 제안된 함수가 단일 모달리티에 국한되지 않음을 입증했습니다.
성능 검증: RSU가 정확도, 수렴 속도 및 안정성 측면에서 최신 표준 활성화 함수들과 지속적으로 우수하거나 매우 경쟁력 있는 성능을 보인다는 경험적 증거를 제시했습니다.

4. 결과

실험 결과, RSU가 통합된 CNN은 ReLU, Leaky ReLU 또는 ELU를 사용하는 모델에 비해 우수하거나 매우 경쟁력 있는 성능을 달이는 것으로 나타났습니다:

정확도:
- 뇌암: RSU는 **85.31%**를 달성하여 ReLU(83.00%)를 앞질렀습니다.
- 폐암: RSU는 **99.55%**에 도달하여 Leaky ReLU(98.64%)를 능가하고 ELU(87.73%)를 크게 압도했습니다.
- 결장암: RSU는 **99.77%**를 달성하여 높은 견고함을 보여주었습니다 (ReLU의 99.88%와 유사하지만 더 안정적인 초기 수렴을 보임).
- 유방암: RSU는 **97.88%**를 기록하여 Leaky ReLU(97.27%)를 넘어섰습니다.
수렴 및 손실:
- RSU 모델은 모든 데이터셋에서 더 빠른 수렴과 더 낮은 최종 손실 값을 나타냈습니다. 예를 들어, 뇌암의 경우 RSU는 손실을 0.68에서 0.02로 줄였으나, ReLU는 0.33에 머물렀습니다.
- RSU의 손실 곡선은 더 매끄럽고 안정적이었습니다. 이는 견고한 그래디언트 흐름과 소실 그래디언트 문제의 효과적인 완화를 나타냅니다.
정밀도 및 재현율:
- RSU는 우수한 매크로 평균 정밀도, 재현율 및 F1-스코어를 보여주었습니다. 폐암의 경우, RSU는 선별 검사에서 위음성(false negatives)을 최소화하는 데 중요한 0.9861의 재현율을 달성했습니다.
혼동 행렬(Confusion Matrix) 분석:
- 뇌암 데이터셋에서 RSU는 더 우수한 대각 우위(diagonal dominance)를 보였으며, ReLU가 특정 조직 유형 간의 구분을 어려워했던 것과 달리 Meningioma와 Glioma를 더 정확하게 분류했습니다.

5. 의의 및 주장

본 논문은 RSU 활성화 함수가 자동화된 의료 진단을 위한 표준 정류 유닛의 강력한 대안이 될 수 있다고 상정합니다. 본 연구의 의의는 다음과 같은 주장에 있습니다:

향상된 특징 추출: 사인 함수의 주기적 특성은 네트워크가 단조 함수가 놓치거나 매끄럽게 처리해버릴 수 있는 복잡하고 고주파적인 공간적 특징 및 미세한 병리적 뉘칙(예: 세포 형태, 조직 밀도)을 포착할 수 있게 합니다.
견고성 및 안정성: 비제로 그래디언트를 유지하고 0 근처에서 매끄러운 전이를 제공함으로써, RSU는 안정적인 학습 역학을 보장하고 "죽은 뉴런" 문제를 방지하여 심층 네트워크에서 더 신뢰할 수 있는 수렴을 이끌어냅니다.
일반화 가능성: 네 가지 다른 암 유형과 영상 모달리티에 걸친 일관된 성능은 RSU가 높은 신뢰도가 요구되는 임상 환경에서 CNN의 신뢰성을 향상시킬 수 있는 다재다능한 구성 요소임을 시사합니다.
효율성: 본 연구는 단순히 아키텍처의 복잡성을 높이거나 거대한 사전 학습 앙상블을 사용하는 것이 아니라, 근본적인 네트워크 구성 요소를 수정함으로써 상당한 성능 향상을 달할 수 있음을 보여줍니다.

저자들은 RSU 채택이 복잡하고 중첩된 병리적 특징을 더 잘 구별함으로써 오진율을 줄일 수 있는 더 민감한 진단 시스템을 구축하는 데 기여할 수 있다고 결론지었습니다. 향후 연구로는 멀티모달 퓨전(multi-modal fusion) 및 트랜스포머 기반 아키텍처에서의 RSU 탐색을 제안합니다.