기술 요약: ASD-Bench

문제 제기

자폐 스펙트럼 장애 (ASD) 를 위한 자동 선별 도구는 현재 세 가지 치명적인 한계를 겪고 있습니다:

1. 단일 축 평가: 이전 연구들은 종종 고립된 지표 (예: 정확도 또는 F1) 와 단일 아키텍처 비교에 의존하여 보정, 해석 가능성, 그리고 강건성을 간과합니다.
2. 연령 무관 접근법: 대부분의 연구는 성인 또는 아동 코호트 중 하나에만 집중하여 연령별 진단 패턴을 흐리게 합니다. 특히 청소년은 고유한 특징 계층 구조와 더 높은 분류 난이도를 보임에도 불구하고 상대적으로 연구가 부족합니다.
3. 임상적 불일치: 기존 벤치마크는 임상 오류의 비대칭적 비용 (위음성이 위양성보다 훨씬 더 큰 비용을 초래함) 을 고려하지 못하며, 다기관 배포에 필요한 안정성 지표를 결여하고 있습니다.

방법론

저자들은 네 가지 명확한 축을 통해 17 가지 모델 구성을 평가하는 체계적인 표형 벤치마크인 ASD-Bench를 도입했습니다.

데이터셋 (v3)

이 벤치마크는 UCI 머신러닝 리포지토리 (v1) 와 아칸소 대학교의 보조 데이터셋 (v2) 에서 파생된 4,068 건의 큐레이션된 데이터셋을 활용합니다. 중복 제거 및 품질 관리 후, 데이터는 세 가지 연령 코호트로 계층화되었습니다:

• 아동 (1–11 세): 2,514 건.
• 청소년 (12–16 세): 818 건.
• 성인 (17–64 세): 736 건.
  해당 데이터셋은 AQ-10(자폐 스펙트럼 지수 10 문항) 설문조사에서 파생된 이진 특징과 인구통계학적 변수로 구성됩니다.

평가된 모델

이 연구는 네 가지 범주의 모델을 평가하며, 각 모델은 베이스라인 및 하이퍼파라미터 튜닝 구성 (GridSearchCV 를 통해) 으로 테스트되었습니다:

1. 전통적 앙상블: 로지스틱 회귀, 랜덤 포레스트, AdaBoost, XGBoost.
2. 신경망: 다층 퍼셉트론 (MLP).
3. 딥 табular 아키텍처: TabNet, TabTransformer, FT-Transformer (모두 불확실성 추정을 위해 몬테카를로 드롭아웃을 활용).
4. 기반 모델: TabPFN v2 (경사 기반 미세 조정 없이 컨텍스트 학습을 수행하는 사전 데이터 적합 네트워크).

네 축 평가 프레임워크

1. 예측 성능: 표준 지표 (정확도, 정밀도, 재현율, F1, AUC-ROC).
2. 보정/불확실성: 기대 보정 오차 (ECE), 브라이어 점수, 그리고 엔트로피.
3. 해석 가능성: SHAP(트리/딥/그래디언트 설명자) 를 통한 특징 중요도, 순열 중요도, 그리고 내장된 마스크.
4. 적대적 강건성: 특징 뒤집기 (10–30%), 가우시안 노이즈 ($\sigma \in \{0.1, 0.2, 0.3\}$), 그리고 특징 제거 (top-k) 하에서의 성능.

HAP 지표

저자들은 임상 배포를 위해 설계된 비용 민감형 지표인 **휴리스틱 집계 페널티 (HAP)**를 도입했습니다. 이는 다음을 통합합니다:

• 비대칭 페널티: 진단 누락의 더 높은 임상적 비용을 반영하는 $w_{FN}:w_{FP} = 10:2$(5:1) 의 가중치 비율.
• 안정성 페널티: 신호 대 잡음 비율에서 도출된 명시적 분산 항 ($\lambda \cdot \text{Var}(C_k)$) 으로, 교차 검증 폴드 전반에 걸쳐 일관되지 않은 성능을 보이는 모델을 페널티화합니다.

주요 결과

예측 성능

• 성인: 작업이 매우 분리 가능하여 17 개 모델 중 10 개가 완벽한 F1 및 AUC 점수를 달성했습니다.
• 아동: F1 점수는 0.864 에서 0.915 사이였습니다. **TabTransformer(튜닝)**가 가장 높은 F1(0.915) 을 달성한 반면, TabPFN v2가 가장 높은 AUC(0.963) 를 달성했습니다.
• 청소년: 이 코호트는 가장 어려운 과제를 제시했으며, F1 상한선은 0.837 이었습니다 (아동의 0.915 대비). TabPFN v2가 F1 0.837 및 AUC 0.900 으로 이 코호트를 주도했습니다.

보정 및 강건성

• 지표의 분리: 높은 정확도가 보정을 보장하지는 않습니다. 예를 들어, AdaBoost는 성인에서 F1 = 1.000 을 달성했으나 심각한 보정 불량 (ECE = 0.302) 을 겪었습니다.
• 강건성 vs 정확도 트레이드오프: 트랜스포머 기반 모델 (TabTransformer, FT-Transformer) 은 성인에서 완벽한 F1 을 달성했으나 가우시안 노이즈 하에서 상당한 저하 (~24%) 를 보였습니다. 반면, 트리 기반 모델 (랜덤 포레스트, XGBoost) 은 더 높은 강건성을 입증했습니다.
• 청소년 강건성: 역설적으로 모델들은 절대 정확도가 낮음에도 불구하고 청소년 코호트에서 더 강건했습니다 (예: TabNet 베이스라인 R = 0.980). 이는 교란 하에서 더 매끄러운 결정 경계를 시사합니다.

특징 계층 구조

특징 중요도는 코호트 간에 크게 변화하여 연령별 모델의 필요성을 뒷받침했습니다:

• 아동: A9(사회적 동기/잡담)가 지배적이었으며, 17 개 모델 중 11 개에서 최상위 순위였습니다.
• 청소년: 완전한 계층 구조 변화가 발생했습니다. A5(패턴 인식)가 지배적인 특징이 된 반면, A9 는 8 위까지 하락했습니다.
• 성인: 발달적 사회적 가면을 일관되게 반영하여 단일 지배적 특징이 없는 평탄한 중요도 프로파일을 보였습니다.

중요성 및 주장

본 논문은 ASD-Bench 를 임상적으로 검증된 진단 도구가 아닌 개념 증명 (proof-of-concept) 프레임워크로 위치시킵니다. 주요 기여점은 다음과 같습니다:

1. 체계적 벤치마킹: 세 가지 명확한 연령 코호트 전반에 걸쳐 ASD 선별을 위해 전통적, 딥 테이블, 그리고 기반 모델을 통합한 최초의 연구입니다.
2. 임상 지표 혁신: HAP의 도입은 단순 정확도를 넘어 임상적 비용 비대칭성과 배포 안정성에 기반한 모델을 평가하는 원칙적인 방법을 제공합니다.
3. 코호트별 통찰: "일률적" 모델은 바람직하지 않음을 발견이 입증합니다. 고유한 특징 계층 구조 (사회적 대 인지 - 지각적) 와 다양한 난이도 수준 (청소년이 더 어려움) 은 맞춤형 배포 전략을 필요로 합니다.
4. 배포 권장 사항: 저자들은 네 축 스코어카드에 기반한 구체적인 모델 권장 사항을 제공합니다 (예: 통제된 성인 환경용 TabTransformer, 정확도를 우선시하는 청소년용 TabPFN, 강건성을 위한 TabNet).

저자가 인정한 한계:

• 데이터셋은 임상가가 확인한 진단이 아닌 자가 보고된 AQ-10 점수에 의존합니다.
• 성인 코호트 크기 (중복 제거 후 n=148) 가 작아 성능 지표를 과장할 수 있습니다.
• 외부 또는 다기관 검증이 수행되지 않았으며, 결과는 내부 벤치마크 점수입니다.
• 기반 모델의 미세 조정 부재로 인해 튜닝된 모델과 TabPFN 간의 비교는 본질적으로 비대칭적입니다.

저자들은 알고리즘 개발에 있어 결과가 유망하지만, 이는 내부 벤치마크 성능을 나타내며 전향적 다기관 검증 없이 실제 임상 진단 준비 상태의 증거로 해석되어서는 안 된다고 결론지었습니다.