📊 statistics

neuralGAM: An R Package for Fitting Generalized Additive Neural Networks

이 논문은 높은 정확도와 구조적 유연성을 유지하면서 개별 특성의 기여도를 추정하기 위해 독립적인 신경망을 적합시키는 일반화 가법 신경망(Generalized Additive Neural Networks)을 구현함으로써 딥러닝의 해석 가능성을 향상시키는 R 패키지인 **neuralGAM**을 소개한다.

원저자: Ines Ortega-Fernandez, Marta Sestelo

게시일 2026-08-11

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Ines Ortega-Fernandez, Marta Sestelo

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 로봇에게 날씨를 예측하는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇을 위해 수백만 개의 미세한 연결로 가득 찬 거대하고 초복잡한 뇌를 만들 수도 있습니다. 이 '블랙박스' 뇌는 거의 매번 예보를 정확히 맞힐 수도 있지만, 만약 당신이 "왜 비가 올 것이라고 생각하니?"라고 묻는다면, 그것은 그저 멍하니 당신을 바라볼 뿐일 것입니다. 그것은 '무엇'을 해야 하는지는 알지만, 어떻게 그 답을 찾아냈는지 설명하지는 못합니다. 이것이 인공지능에서의 유명한 '블랙박스 문제'입니다. 반면에, 모든 톱니바퀴와 레버가 눈에 보이는 단순하고 투명한 기계를 만들 수도 있습니다. 이 '화이트 박스'는 이해하기는 쉽지만, 폭풍우 치는 하늘의 복잡하고 무질서한 현실을 다루기에는 너무 단순할 수 있습니다. 수년 동안 과학자들은 똑똑하지만 신비로운 뇌와 명확하지만 어리석은 기계 사이에서 선택해야 하는 난제에 빠져 있었습니다. 큰 질문은 이것입니다: 우리는 미래를 예측하는 천재이면서 동시에 자신의 생각을 단계별로 설명할 수 있는 훌ile 훌륭한 교사인 로봇을 만들 수 있을까요?

이것이 바로 이네스 오르테가-페르난데스(Ines Ortega-Fernandez)와 마르타 세스텔로(Marta Sestelo) 연구진이 선보인 새로운 도구인 neuralGAM이 해결하고자 하는 퍼즐입니다. 그들은 새로운 종류의 AI 뇌를 구축하는 특별한 R 패키지(R 프로그래밍 언어를 위한 도구 상자)를 만들었습니다. 이 모델은 하나의 거대하고 뒤엉킨 연결망 대신, 작고 독립적인 전문가들의 팀을 구축합니다. 마치 경기장 위의 모든 선수마다 별도의 전문가가 있는 스포츠 팀을 상상해 보세요. 한 전문가는 쿼터백을 연구하고, 다른 전문가는 바람을 연구하며, 세 번째 전문가는 심판을 연구합니다. 각 전문가는 강력한 신경망을 사용하여 자신만의 특정 업무를 학습하지만, 이들은 모두 단순히 결과를 합산하는 중앙 코치에게 조사 내용을 보고합니다. 이 '일반화된 가법 신경망'(Generalized Additive Neural Network, GANN)은 AI가 딥 뉴럴 네트워크의 초지능적인 학습 능력을 사용하면서도, 각 요인이 최종 예측에 얼마나 기여했는지 정확하게 보여줄 수 있을 만큼 모델을 투명하게 유지할 수 있게 해줍니다.

연구진은 이 아이디어를 두 가지 서로 다른 시나리오로 테스트했습니다. 첫째, 도구가 숨겨진 패턴을 찾을 수 있는지 확인하기 위해 완벽하고 알려진 규칙을 가진 가상의 세계를 만들었습니다. 그 결과 neuralGAM은 다른 복잡한 방법들과 대등한 성능을 보이면서도 엄청난 보너스를 가졌음을 발견했습니다. 바로 각 변수가 결과에 어떻게 변화를 주는지 보여주는 명확하고 매끄러운 그림을 그려낼 수 있다는 점입니다. 심지어 모델이 정답에 대해 얼마나 확신하는지를 알려주는 '신뢰 구간(confidence bands)'—선 주변의 흐릿한 그림자 같은 것—까지 추가했습니다. 연구진이 실제 세상의 도전 과제, 즉 날씨와 항공 데이터를 바탕으로 항공편 지연 여부를 예측하는 단계로 넘어갔을 때, 이 도구는 스스로를 설명할 수 없는 '블랙박스' 신경망만큼이나 뛰어난 성능을 보였습니다. 그러나 블랙박스와 달리, neuralGAM은 왜 지연이 발생할 가능성이 높은지 보여줄 수 있었습니다. 예를 들어, 매우 낮은 기온이나 높은 습도가 특정 방식으로 지연 위험을 높인다는 것을 밝혀냈으며, 데이터가 충분하지 않은 영역에서는 모델이 추측하고 있다는 사실도 알려줄 수 있었습니다.

이 논문은 이러한 접근 방식이 신비로운 천재와 투명한 교사 사이의 최적의 접점을 제공한다고 제안합니다. '블랙박스' 모델은 어떤 경우에는 아주 약간 더 높은 정확도를 뽑아낼 수도 있지만, 결정 뒤에 숨겨진 논리를 보여주는 능력은 상실합니다. 반면, neuralGAM은 지능을 희생하지 않고도 명확성을 얻을 수 있다는 것을 증명합니다. 복잡한 문제를 더 작고 독립적인 조각들로 나누고 각 조각을 신경망이 해결하게 함으로써, 고도로 정확하면서도 이해하기 쉬운 모델을 얻을 수 있다는 것을 보여줍니다. 연구진은 이 방법이 특정 유형의 데이터(숫자, 예/아니오 결과, 카운트 등)에 잘 작동하는 새로운 방법임을 주의 깊게 언급하며, 향가 변수 간의 더 복잡한 관계를 처리할 수 있도록 발전시키려는 꿈을 이미 꾸고 있습니다. AI를 사용하고 싶지만 내부를 볼 수 없는 마법 상자를 믿는 것에 지친 사람들에게, 이 패키지는 신선하고 명확하며 강력한 대안을 제시합니다.

기술 요약: 신경망 기반 일반 가법 모델(neuralGAM)을 위한 R 패키지

문제 정의

신경망(NN)은 다양한 작업에서 탁월한 예측 성능을 보이는 것으로 널리 알려져 있으나, 의사결정 과정을 이해하기 어렵게 만드는 "블랙박스" 문제를 안고 있습니다. 사후 해석(post-hoc) 방법론들이 존재하지만, 예측 정확도를 희생하지 않으면서도 본질적으로 해석 가능한 모델을 구축하려는 선행적(ante-hoc) 접근 방식에 대한 수요가 증가하고 있습니다. 일반 가법 모델(GAM)과 신경망을 결합하려는 기존의 시도들은 한계에 직면해 왔습니다. 초기 방법들은 수동 튜닝이 필요하거나 얕은 구조로 제한되었으며, 최근의 딥러닝 기반 접근 방식(예: Neural Additive Models)은 과적합이나 계산 비용 증가를 겪을 수 있습니다. 또한, 가법 모델과 신경망을 통합하는 기존의 R 패키지들(예: deepregression, bamlss)은 스플라인 기저(spline bases)가 내장된 분포 회귀에 집중하거나 높은 계산 오버헤드를 가진 베이지안 프레임워크를 활용하며, R 생태계 내에서 각 특성(feature)에 대해 완전히 독립적인 심층 신경망을 활용하는 전용 구현체가 부족한 실정입니다.

방법론

본 논문은 neuralGAM이라는 R 패키지를 소개하며, 이는 일반 가법 신경망(GANN) 토폴로지를 구현합니다. 핵심 방법론은 각 특성의 기여도를 추정하기 위해 각 특성에 대한 독립적인 신경망 앙상블을 학습시키는 것입니다. 전체 모델은 다음과 같은 가법 구조를 유지합니다:

$E[Y | X] = m(X) = h^{-1}\left(\alpha + \sum_{j=1}^{p} f_j(X_j)\right)$

여기서 $h(\cdot)$ 는 연결 함수(link function)이며, $f_j$ 는 신경망에 의해 추정되는 매끄러운 함수(smooth functions)입니다.

추정 알고리즘

이 패키지는 두 가지 반복 알고리즘의 조합을 사용하여 모델 파라미터를 추정합니다:

로컬 스코어링 (Local Scoring, LS): 현재 적합도와 특정 분포(가우시안, 이항, 또는 포아송)에 따라 종속 변수( $Z_i$ )와 가중치( $W_i$ )를 조정합니다.
백피팅 (Backfitting, BF): 각 공변량의 기여도를 반복적으로 업데이트합니다. 각 단계에서, 각 매끄러운 항 $f_j$ 는 해당 특정 공변량의 부분 잔차(partial residuals)에 대해 피드포워드 신경망을 학습시켜 추정되는 가중 가법 모델이 됩니다.

이 접근 방식은 딥러닝 구조의 유연성을 유지하면서도 가법적 분해를 강제함으로써 해석 가능성을 우선시합니다. 이 프레임워크는 일부 항은 선형이고 다른 항은 비매개변수적 신경망인 준매개변수적(semi-parametric) 모델을 지원합니다.

불확실성 정량화

인식론적 불확실성(epistemic uncertainty)을 정량화하기 위해, neuralGAM은 몬테카를로(MC) 드롭아웃을 채택합니다. 드롭아웃 레이어가 신경망에 삽els되어 추론 시에도 활성화된 상태를 유지합니다. $B$ 번의 확률적 순전파(stochastic forward passes)를 수행함으로써, 패키지는 예측값의 분포를 생성합니다. 이를 통해 개별 매끄러운 항과 연결 척도 및 반응 척도(반응 척도의 경우 델타 방법 사용)에서의 신뢰 구간을 계산할 수 있습니다.

소프트웨어 아키텍처

이 패키지는 기초적인 신경망 구현을 위해 keras와 TensorFlow에 의존합니다. 주요 특징은 다음과 같습니다:

유연한 아키텍처: 사용자는 네트워크 깊이, 유닛 수, 활성화 함수 및 규제화(regularizer)를 전역적으로 또는 항별로 정의할 수 있습니다.
커스텀 손실 함수: 표준 Keras 손실 함수와 사용자 정의 커스텀 손실 함수를 모두 지원합니다.
검증: 검증 분할(validation splits) 및 교차 검증 워크플로우 지원을 포함합니다.
시각화: 진단 플롯(잔차, QQ-plot)과 base R 및 ggplot2를 이용한 신뢰 구간이 포함된 부분 효과(partial effect) 플롯을 제공합니다.

주요 기여

구현: neuralGAM은 로컬 스코어링과 백피팅을 통해 각 특성에 대해 완전히 독립적인 심층 신경망을 사용하는 GANN을 구현한 유일한 R 패키지로 제시됩니다.
해석 가능성 vs. 유연성: 이 패키지는 예측 성능을 경쟁력 있게 유지하면서도 GAM의 "화이트박스" 특성을 유지하여 명확한 특성 수준의 해석을 가능하게 함으로써, 해석 가능성과 유연성 사이의 실용적인 균형을 제공합니다.
불확실성 추정: MC 드롭아웃을 훈련 및 추론 파이프라인에 직접 통합하여, 모델 앙상블을 필요로 하는 다른 방법들(deepregression 등)과 달리 계산 비용을 낮추면서도 개별 항 및 전역적 인식론적 불측성을 제공합니다.
사용성: 표준 R 회귀 패키지와 유사한 사용자 친화적인 인터페이스를 제공하며, 환경 설정용 헬퍼 함수(install_neural_GAM)와 종합적인 진단 도구를 갖추고 있습니다.

결과

본 논문은 시뮬레이션 데이터와 실제 응용 사례(항공 지연 예측)를 통해 neuralGAM을 deepregression 및 keras로 구현된 블랙박스 다층 퍼셉트론(MLP)과 비교 평가합니다.

시뮬레이션 데이터: 가우시안 반응 시나리오에서 neuralGAM은 deepregression보다 약간 더 나은 평균 제곱 오차(MSE)와 설명된 편차(deviance explained)를 달이트했습니다. 결정적으로, neuralGAM은 진정한 함수 형태(이차, 선형, 사인파)를 더 매끄러운 곡선과 더 좁고 안정적인 신뢰 구간으로 복원했습니다. 반면, deepregression은 특히 경계 영역에서 더 불규칙하고 "꿈틀거리는(wiggly)" 추정치를 보였으며, 불확실성을 근사하기 위해 모델 앙상블이 필요했습니다.
실제 데이터 (항공 지연): 항공 지연(이항 반응) 예측에서 neuralGAM은 AUC-ROC 0.819를 기록하여 deepregression(0.838) 및 블랙박스 MLP(0.838)와 대등한 성능을 보였습니다. 블랙박스 모델이 약간 더 높은 예측 정확도를 제공했으나 해석력이 부족했습니다. neuralGAM은 (비단조적 관계인 비행 시간과 지연 사이의 관계 등을) 안정적인 불확실성 밴드와 함께 부분 효과를 성공적으로 시각화한 반면, deepregression은 국소적 노이즈에 과적합되었음을 시사하는 진동하는 효과를 생성했습니다.

의의 및 주장

저자들은 neuralGAM을 R 생태계 내에서 해석 가능한 신경망 구현을 찾는 연구자들에게 가치 있는 도구로 자리매김합니다. 본 논문은 neuralGAM이 딥러닝의 유연성과 가법 모델의 해석 가능성 사이에서 강력한 절충안을 제공한다고 주장합니다.

neuralGAM의 의의는 다음과 같습니다:

수동적인 단변량 퍼셉트론 튜닝 없이도 블랙박스 딥러닝의 "화이트박스" 대안을 제공합니다.
모델 앙상블을 위해 독립적인 여러 모델을 훈련해야 하는 계산적 비용 없이, MC 드롭아웃을 통한 네이티브 불확실성 정량화를 제공합니다.
특히 데이터가 희소한 영역에서 deepregression의 스플라인 기반 추정치보다 해석하기 쉬운 안정적이고 매끄러운 효과 추정치를 전달합니다.

저자들은 neuralGAM이 현재 가우시안, 이항, 포아송 분포로 제한되어 있다는 점을 인정하면서도, 이것이 접근 가능하고 해석 가능한 딥러닝을 향한 중요한 진전임을 밝히고 있습니다. 향후 과제로 다항 로지스틱 회귀로의 확장, 상호작용 항의 포함, 그리고 컨포멀 예측(conformal prediction)과 같은 추가적인 불확실성 추정 방법의 탐색을 제시하였습니다.