Comparison of generalised additive models and neural networks in applications: A systematic review

기술 요약: 응용 분야에서의 일반화 가법 모델(GAM)과 신경망(NN) 비교

문제 제기
신경망(NN)은 특히 이미지 인식 및 자연어 처리와 관련된 작업에서 예측 정확도를 우선시하며 예측 모델링의 주도권을 잡게 되었습니다. 반면, 일반화 가법 모델(GAM)은 가법적 구조를 통해 해석 가능성을 유지하면서도 유연한 비선형 통계 프레임워크를 제공합니다. 두 모델 모두 최첨단 기술이지만, 실제 정형 데이터(tabular data)에 대한 상대적 성능에 관한 체계적인 이해는 부족한 실정입니다. 기존의 체계적 검토들은 주로 특정 도메인(예: 교통, 심장 건강)에 집중하거나, 신경망을 더 단순한 선형 모델(예: 선형 또는 로지스틱 회귀)과 비교하는 데 그쳤으며, 현대적인 비선형 통계 모델인 GAM의 비선형적 역량을 고려하지 못했습니다. 본 논문은 다양한 응용 분야에 걸쳐 GAM과 NN을 비교하는 체계적 검토 및 메타 분석을 수행함으로써 이 간극을 메우고자 합니다.

연구 방법론
본 연구는 PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses) 가이드라인을 준수합니다.

• 데이터 수집: Scopus 데이터베이스 검색을 통해 445개의 문헌을 확보했습니다. 적격성 심사(동료 검토 완료, 영어, 전체 텍스트, 동일 데이터셋에 대한 GAM과 NN의 경험적 비교, 성능 지표 가용성)를 거쳐 143개의 논문을 선정하였으며, 이 논문들은 430개의 서로 다른 데이터셋을 포함하고 있습니다.
• 데이터 추출: 논문 수준(도메인, 저널, 연도)과 데이터셋 수준(표본 크기, 예측 변수 수, 문제 유형, 신경망 구조, 복잡도, 성능 지표) 모두에서 속성을 추출하였습니다.
• 통계 분석: 연구 질문 3(성능 차이와 관련된 요인)을 해결하기 위해 저자들은 선형 혼합 효과 모델(linear mixed-effects modelling)을 사용했습니다. 이 접근 방식은 여러 데이터셋이 단일 논문 내에 중첩되어 발생하는 논문 내 의존성을 고려하기 위해 선택되었습니다.
  • 반응 변수: 분석은 가장 빈번하게 보고된 세 가지 지표인 평균 제곱근 오차(RMSE), $R^2$, 곡선 아래 면적(AUC)에 초점을 맞췄습니다. 다양한 데이터셋 간의 척도 불변성을 보장하기 위해, 저자들은 성능 지표의 로그 비율(예: $\log(\text{RMSE}_{\text{GAM}}/\text{RMSE}_{\text{NN}})$)을 계산하였으며, $R^2$와 AUC를 RMSE와 일치시키기 위해 손실 측정값($1-R^2$, $1-\text{AUC}$)으로 변환하였습니다.
  • 예측 변수: 고정 효과로는 출판 연도, 도메인 영역, 표본 크기, 예측 변수 수, 신경망 복잡도가 포함되었습니다. 시간적 추세를 평가하기 위해 출판 연도와의 쌍별 상호작용이 포함되었습니다. 논문별 이질성을 포착하기 위해 "Paper ID"에 대한 랜덤 절편(random intercept)이 포함되었습니다.
  • 결측치 처리: 표본 크기, 예측 변수 수, 복잡도가 보고되지 않는 경우가 빈번했기 때문에, 결측값을 버리는 대신 범주형 "Unknown" 수준으로 변환하여 결측 여부 자체가 결과와 상관관계가 있는지 평가할 수 있도록 했습니다.

주요 결과

• 전반적인 성능: 430개의 데이터셋 전체에 걸쳐, 가장 흔한 지표(RMSE, $R^2$, AUC)를 기준으로 볼 때 GAM과 신경망 중 어느 하나가 우월하다는 일관된 증거는 발견되지 않았습니다. 혼합 효과 모델의 절편은 통계적으로 유의미하게 0과 다르지 않았으며, 이는 평균적으로 두 모델 클래스 중 어느 것도 다른 모델을 체계적으로 능가하지 못함을 나타냅니다.
• 신경망 복잡도: RMSE의 경우, 신경망 복잡도와 그와 시간의 상호작용이 유의미했습니다. 2011년에는 중간 및 대규모 복잡도의 네트워크가 소규모 네트워크에 비해 GAM 대비 낮은 성능을 보였습니다. 그러나 이러한 부정적 효과는 시간이 흐름에 따라 감소했습니다. 2024년까지 복잡도는 GAM 대비 성능 우위나 열위에 더 이상 영향을 미치지 않았습니다.
• 데이터셋 차원 (표본 크기 및 예측 변수): AUC의 경우, 과거에는 더 큰 표본 크기와 더 많은 예측 변수가 GAM 대비 신경망의 성능 향상과 관련이 있었습니다. 그러나 시간과의 상호작용을 통해 이러한 이점이 크게 좁혀졌음을 확인했습니다. 최근 몇 년 동안 데이터셋 차원과 두 모델의 상대적 성능 사이에는 통계적으로 유의미한 연관성이 존재하지 않습니다.
• 보고 품질: 중요한 발견 중 하나는 문헌에서 나타난 높은 정보 누락율이었습니다. 데이터셋의 세 가지 핵심 속성(표본 크기, 예측 변수, 복잡도)을 모두 보고한 데이터셋은 21%에 불과했습니다. 보고되지 않은 신경망 복잡도는 결측의 대부분을 차지했습니다(35%의 데이터셋에서만 보고됨).
• 논문 내 상관관계: 급내 상관계수(ICC)가 높게(0.76 ~ 0.97 범위) 나타났는데, 이는 관찰된 데이터셋 수준의 변수로는 설명할 수 없는 논문 간의 상당한 변동성이 존재함을 의미합니다. 이는 보고되지 않은 방법론적 세부 사항(예: 전처리, 하이퍼파라미터 튜닝)이 모델 클래스 자체보다 성능 차이를 주도할 가능성이 높음을 시사합니다.

의의 및 결론
본 논문은 GAM과 신경망을 정형 데이터를 위한 경쟁 관계가 아닌 상호 보완적인 접근 방식으로 보아야 한다고 주장합니다. 연구의 결론은 다음과 같습니다:

1. 성능 트레이드오프: 두 방법 간의 성능 차이는 미미합니다. 두 모델 클래스 중 어느 것도 다양한 응용 분야에서 일관된 우위를 점하지 못합니다.
2. 해석 가능성: 성능이 유사하다는 점을 고려할 때, 특히 해석 가능성과 투명성이 매우 중요한 과학 연구 분야에서 GAM은 여전히 강력한 선택지입니다.
3. 보고 표준: 본 검토는 머신러닝 문헌, 특히 데이터셋 특성 및 모델 복잡도와 관련된 표준화된 보고 체계의 심각한 결여를 강조합니다. 이러한 불투도성은 재현성을 제한하고 모델의 우월성에 대한 확정적인 결론을 내리는 것을 어렵게 만듭니다.
4. 향후 방향: 저자들은 향후 연구가 표준화된 보고 프로토콜(예: "모델 카드")에 집중해야 하며, 모델링 선택의 효과를 보고의 불일치로부터 분리하기 위해 본 검토의 데이터셋을 일관된 프로토콜로 독립적으로 재분석하는 것을 수행해야 한다고 제안합니다.

본 논문은 신경망이 복잡한 비정형 도메인에서 탁월한 성능을 발휘하지만, 정형 데이터에 대해서는 GAM에 비해 결정적인 성능 우위를 제공하지 않는다는 점을 강조하며, 따라서 두 모델 사이의 선택은 해석 가능성과 예측적 이득 사이에서 부여하는 가치에 따라 달라져야 한다고 결론짓습니다.