🔢 mathematics

Uncertain but Useful: Leveraging CNN Training Variability into Data Augmentation

이 논문은 뇌 영상학을 위한 FastSurfer 딥러닝 모델을 학습시키는 과정에서 내재된 수치적 불확실성이 신뢰성에 영향을 미칠 뿐만 아니라, 앙상블을 통한 데이터 증강 기법으로 효과적으로 활용되어 다운스트림 뇌 연령 회귀 성능을 향상시킬 수 있음을 입증한다.

원저자: Inés Gonzalez-Pepe, Vinuyan Sivakolunthu, Yohan Chatelain, Tristan Glatard

게시일 2026-07-03

📖 4 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Inés Gonzalez-Pepe, Vinuyan Sivakolunthu, Yohan Chatelain, Tristan Glatard

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 이 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 내용입니다.

핵심 요약: 컴퓨터가 서로 다르게 "추측"할 때

당신이 매우 정밀한 레시피(딥러닝 모델)를 사용하여 케이크를 굽고 있다고 상상해 보세요. 당신은 정확히 같은 재료와 정확히 같은 오븐 설정을 사용한다면, 매번 똑같은 케이크를 얻을 것이라고 기대합니다.

하지만 이 논문은 현대의 AI 뇌 스캐너를 사용할 때는 그것이 완전히 사실은 아니라는 점을 발견했습니다. 설령 당신이 정확히 같은 뇌 스캔 데이터와 정확히 같은 레시피를 사용하더라도, 계산 방식의 미세하고 보이지 않는 변동에 따라 컴퓨터는 약간씩 다른 "케이크"(분할 결과)를 구워낼 수 있습니다.

연구진은 두 가지 큰 질문을 던졌습니다:

이 "굽기 불일치"가 문제가 되는가? (이것이 우리의 결과를 신뢰할 수 없게 만드는가?)
이 불일치를 우리에게 유리하게 이용할 수 있는가? (버그를 기능으로 바꿀 수 있는가?)

파트 1: 문제점 – "떨리는 손"

연구진은 뇌를 지도화하는 두 가지 방법을 비교했습니다:

FreeSurfer: 전통적인 방식 (마치 숙련된 목수가 손톱질을 하는 것과 같습니다).
FastSurfer: 빠르고 새로운 딥러닝 방식 (마치 첨단 레이저 커터를 사용하는 것과 같습니다).

발견 사항:
연구진은 새로운 AI(FastSurfer)가 *학습(training)*할 때, 기존 방식보다 특히 뇌의 바깥층(피질)에서 훨씬 더 **흔들림(shaky)**이 심하다는 것을 발견했습니다.

비유:
두 명의 예술가가 도시의 지도를 따라 그리는 모습을 상상해 보세요.

**옛날 화가 (FreeSurfer)**는 지도를 한 번 그립니다. 만약 작은 실수를 하더라도, 그 실수는 일관적입니다.
**새로운 화가 (FastSurfer)**는 그림 그리는 법을 배우고 있습니다. 숫자를 처리하는 방식 때문에 연습할 때마다 손이 아주 조금씩 다르게 떨립니다. 어떤 때는 길을 왼쪽으로 1mm 옮겨 그리고, 어떤 때는 오른쪽으로 1mm 옮겨 그립니다.

연구진은 이 새로운 AI의 "손 떨림"이 너무 강해서 기존 방식보다 최종 지도를 더 많이 변화시킬 수 있다는 것을 발견했습니다. 이것은 중요한 문제입니다. 만약 의사가 그 지도를 바탕으로 뇌 크기를 측정한다면, 이 미세한 변화가 진단을 "건강함"에서 "위험함"으로 바꿀 수도 있기 때문입니다.

파트 2: 지름길 – "마법의 주사위"

이 "손 떨림"을 측정하기 위해 연구진은 **몬테카를로 산술(Monte Carlo Arithmetic)**이라는 복잡하고 느린 수학적 도구를 사용했습니다. 이는 마치 모래시계 속의 모래알 하나하나가 크기가 약간 다른지 확인하는 것과 같습니다. 정확하지만 시간이 매우 오래 걸립니다.

발견 사항:
그들은 이 불안정성을 측정할 수 있는 훨씬 빠른 방법을 찾아냈습니다. 그들은 단순히 학습 시작 시 랜덤 시드(Random Seed)(이것을 '다른 주사위를 던지는 것'이라고 생각하세요)를 변경했습니다.

비유:
모래알 하나하나를 검사하는 대신, 예술가에게 다른 "기분"(다른 랜덤 시드)으로 그림을 시작하라고 요청한 것입니다. 그 결과, 만들어진 "흔들리는" 지도들이 매우 느리고 복잡한 수학 도구로 만든 지도들과 거의 똑같이 보인다는 것을 발견했습니다.

왜 이것이 좋은가: 현미경 없이도 손의 흔들림을 볼 수 있다는 것을 깨달은 것과 같습니다. 그냥 여러 가지 방식으로 흔들어 보고 그 결과를 보면 됩니다. 이는 AI가 얼마나 불안정한지 확인할 수 있는 저렴하고 빠른 방법입니다.

파트 3: 해결책 – "합창 효과"

보통 컴퓨터가 서로 다른 결과를 내놓으면 우리는 그것을 버그라고 생각합니다. 하지만 연구진은 이렇게 물었습니다. 만약 우리가 그 모든 서로 다른 버전들을 사용하여 더 나은 답을 낼 수 있다면 어떨까?

발견 사항:
그들은 각기 다른 "기분"(랜덤 시드)을 가진 15개의 서로 다른 AI 버전을 학습시켰습니다. 그런 다음, 단 하나의 버전만 선택하는 대신, 15개의 지도를 모두 결합(앙상블)했습니다.

비유:
당신이 바깥 온도를 맞히려고 노력하고 있다고 상상해 보세요.

방법 A: 한 사람에게 물어봅니다. 그 사람은 약간 틀릴 수도 있습니다.
방법 B: 서로 약간씩 다른 시계를 가진 15명에게 물어봅니다. 그리고 그들의 답변의 평균을 냅니다.
결과: 15개 추측의 평균은 보통 단 하나의 추측보다 실제 온도에 훨씬 더 가깝습니다.

이 논문에서 연구진은 이 "합창 효과"를 사용하여 뇌 연령(Brain Age)(뇌의 모양을 바탕으로 뇌의 나이를 추정하는 것)을 예측했습니다.

그들은 이 "흔들리는" 지도들을 결합하여 사용했을 때, 연령 예측이 훨씬 더 정확해졌다는 것을 발견했습니다.
이를 새로운 데이터를 억지로 만들어내려는 다른 방법들(예: 흐릿한 복사본을 만드는 복사기)과 비교했습니다. "합창" 방식이 더 효과적이었던 이유는 15개의 지도가 모두 실제 뇌를 기반으로 하고 있으며, 단지 약간 다르게 관찰되었을 뿐이기 때문입니다. 가짜 데이터는 "비현실적"이었고 도움이 되지 않았습니다.

주요 요점 정리

AI는 불안정합니다: 새로운 빠른 AI 뇌 스캐너는 학습 과정 중의 미세한 수학적 오류에 기존의 느린 방식보다 훨씬 더 민감합니다. 이를 고려하지 않으면 의료 결과에 영향을 줄 수 있습니다.
랜덤 시드는 좋은 척도입니다: 이 불안정성을 측정하기 위해 복잡한 수학이 필요하지 않습니다. 시작하는 무작위 숫자(시드)를 바꾸는 것만으로도 AI가 얼마나 흔들리는지 명확하게 알 수 있습니다.
흔들림을 받아들이세요: 연구진은 이 불안정성과 싸우는 대신, 이를 활용했습니다. 약간씩 다른 여러 버전의 AI를 결합함으로써, 새로운 환자 데이터를 수집하지 않고도 표준적인 방법보다 더 나은 뇌 연령을 예측하는 "슈퍼 모델"을 만들었습니다.

요약하자면: 이 논문은 AI 학습의 "노이즈"가 실제로 존재하며 위험할 수 있다는 것을 보여주지만, 단 한 명의 가수 대신 합창단 전체의 소리에 귀를 기울인다면, 그 노이즈가 오히려 진실을 더 명확하게 듣는 데 도움을 줄 수 있다는 것을 보여줍니다.

기술 요약: 불확실하지만 유용한: CNN 학습 변동성을 데이터 증강으로 활용하기

문제 제로 (Problem Statement)

딥러닝(DL)은 계산 시간을 단축하면서도 최첨단 성능을 제공함으로써 신경 영상 분야에 혁신을 일으켰으나, DL 학습 과정에 내재된 수치적 불확실성은 여전히 충분히 탐구되지 않은 상태로 남아 있다. 추론과 달리 학습은 반복적이고 고차원적인 최적화 과정을 포함하며, 이 과정에서 발생하는 작은 수치적 섭동(perturbation)은 여러 반복 단계에 걸쳐 축적되어 동일한 데이터에 대해서도 모델을 서로 다른 솔루션으로 유도할 수 있다. 수치적 불확실성은 전통적인 신경 영상 파이프라인(예: FreeSurfer)에서는 잘 문서화되어 있으나, DL 학습 중 발생하는 그 거동과 영향에 대해서는 아직 완전히 이해되지 않았다. 이러한 간극은 신경망이 클래식 툴킷을 대체하고 있는 현 시점에서 매우 중요하다. 최근 연구들은 전통적인 파이프라인의 유사한 수치적 노이즈가 임상적 결과를 왜곡할 수 있음을 시사하고 있다.

방법론 (Methodology)

저자들은 FastSurfer 세그멘테이션 모델의 학습 시 변동성을 정량화하고 활용하기 위해 다각적인 접근 방식을 채택하였다:

몬테카를로 산술(Monte Carlo Arithmetic, MCA)을 통한 수치적 섭동:
- 하드웨어 및 소프트웨어의 가변성을 시뮬레이션하기 위해, 저자들은 런타임 시 부동 소수점 연산에 무작위 섭동을 도입하는 확률적 산술 방식인 MCA를 적용하였다.
- Fuzzy PyTorch를 사용하여, 가상 정밀도 오류를 시뮬레이션하기 위해 1 unit of least precision (ulp)의 섭동을 적용함으로써 MCA를 PyTorch 실행 파이프라인에 직접 통합하였다.
- 비교를 위해, MCA를 CPU 상의 "fuzzy libmath"를 사용하여 전통적인 FreeSurfer v7.3.2 파이프라인에도 적용하였다.
대리 지표로서의 랜덤 시드 섭동 (Random Seed Perturbation as a Proxy):
- 실용적인 베이스라인을 구축하기 위해, 모델을 15개의 서로 다른 랜덤 시드로 GPU에서 학습시켰다. 이 시드들은 가중치 초기화 및 드롭아웃과 같은 의사 난수 프로세스를 제어하였으며, 데이터 셔플링은 고정하여 모델 자체의 불확실성(epistemic uncertainty)만을 분리해냈다.
- 시드에 의한 변동성과 MCA에 의한 변동성 사이의 구조적 유사성을 평가하여, 시드가 수치적 불확실성을 위한 저비용 대리 지표로서 유효한지 검증하였다.
데이터 증강으로서의 앙상블 (Ensembling as Data Augmentation):
- 저자들은 학습 시의 불안정성을 데이터 증강 기법으로 재정의하였다. 서로 다른 시드로 여러 개의 FastSurfer 모델을 학습시켰으며, 이들의 출력을 앙상블하여 피험자당 15개의 서로 다르면서도 해부학적으로 유효한 세그멘테이션을 생성하였다.
- 이렇게 앙상블로부터 도출된 관심 영역(ROI) 볼륨은 Random Forest (RF), Support Vector Machine (SVM), Gradient Boosting (GB) 모델을 이용한 후속 뇌 연령 회귀 작업의 특징(feature)으로 사용되었다.
- 이 방식은 합성 데이터 증강 방법, 특히 Gaussian Copula 합성기와 변이형 오토인코더(VAE, 후자는 비현실적인 분포 문제로 제외됨)와 비교되었다.
평가 지표 (Evaluation Metrics):
- 변동성(Variability): 최악의 경우의 일관성을 포착하기 위해 반복 쌍 간의 최소 Sørensen-Dice 점수를 사용하여 측정하였다.
- 후속 성능(Downstream Performance): 내부 데이터셋(FastSurfer 학습 세트)과 외부 데이터셋(Healthy Brain Network, HBN)에 대한 뇌 연령 회귀의 평균 절대 오차(MAE)를 통해 평가하였다.

주요 결과 (Key Results)

피질 영역에서 전통적 방식보다 높은 학습 시 변동성:
- 정량화 결과, FastSurfer의 학습 시 변동성은 특히 피질 구조에서 FreeSurfer의 변동성과 비슷하거나 더 높은 것으로 나타났다. 하부 피질(subcortical) 변동성은 대체로 유사했으나, 모든 피질 영역에서 FastSurft가 유의미하게 더 큰 변동성을 보였다.
- 이는 FastSurfer가 기존 FreeSurfer에서 확인된 것과 동일한 재현성 문제를 겪고 있음을 시사하며, 향후 다운스트림 임상 결과에 영향을 미칠 수 있음을 의미한다.
유효한 대리 지표로서의 시드 섭동:
- 지역별 변동성 순위는 MCA와 랜덤 시드 섭동 간에 강한 상관관계를 보였다 (Spearian $\rho = 0.877$ ).
- MCA는 CPU에서, 시드는 GPU에서 수행되었음에도 불구하고, 강력한 구조적 일치성을 통해 랜덤 시드가 수치적 불-확실성의 지역적 패턴을 효과적으로 포착하며, 이는 철저한 MCA를 대신할 수 있는 계산적으로 용이한 대안임을 입증했다.
수치적 앙상블을 통한 다운스트림 성능 향상:
- 서로 다른 시드로 학습된 모델들은 고정된 IEEE 베이스라인과 대등한 성능을 달al성하였으며, 이는 관찰된 변동성이 핵심 모델 능력을 저하시키지 않음을 확인시켜 준다.
- 데이터 증강 효능: 수치적 앙상블은 뇌 연령 회귀 성능을 지속적으로 개선하였다. 앙상블 반복 횟수를 늘릴수록 내부 및 외부 데이터셋 모두에서 RF, SVM, GB 모델의 MAE가 단조적으로 개선되는 유의미한 결과가 나타났다.
- 합성 방법과의 비교: 수치적 앙상블은 합성 증강(Gaussian Copula)보다 우수한 성능을 보였다. 합성 방법은 성능 개선과의 상관관계가 약하거나 유의미하지 않았던 반면, 수치적 앙상블은 견고한 이득을 제공했다. 저자들은 이를 합성 방법이 제한된 데이터로부터 현실적인 분포를 학습하는 데 어려움을 겪는 반면, 앙상블 멤버들은 실제 MRI 스캔의 실제 해부학적 변이를 나타내기 때문이라고 설명한다.

의의 및 주장 (Significance and Claims)

본 논문은 DL 학습 중의 수치적 불확실성이 다운스트림 작업에 측정 가능한 결과를 초래하는 실질적인 요소임을 강조한다. 저자들은 두 가지 주요 주장을 제기한다:

리스크 평가: FastSurfer 학습에 내재된 수치적 불확실성은 특히 피질 영역에서 전통적인 FreeSurfer 파이프라인만큼이나 유의미하다. 따라서 DL 기반 파이프라인에서 다운스트림 임상 분석으로 이어지는 불확실성 전파에 대한 체계적인 조사가 필요하다.
증강의 기회: 랜덤 시드 섭동을 통해 효과적으로 특성화할 수 있는 학습 시 변동성은 데이터 증강 기법으로서 건설적으로 활용될 수 있다. 앙상블을 활용함으로써 연구자들은 추가적인 데이터 수집 없이도 다양하고 해부학적으로 현실적인 표현을 생성할 수 있으며, 이를 통해 합성 데이터 생성보다 회귀 작업의 견고성과 성능을 높일 수 있다.

결론적으로, 본 연구는 수치적 불확실성을 단순히 최소화해야 할 오류의 원인이 아니라, 적절히 특성화하고 활용할 때 신경 영상 애플리케이션의 신뢰성과 성능을 향상시킬 수 있는 자원으로 보아야 한다고 제언한다.