External Validation and Interpretability Analysis of a Deep Learning Model for Forensic Age Estimation Across Brazilian and Romanian Populations

기술 요약: 법의학적 연령 추정을 위한 딥러닝 모델의 외부 검증 및 해석 가능성 분석

문제 정의
법의학적 연령 추정은 법적 및 인도적 맥락에서 인류 식별의 핵심적인 구성 요소이다. 치과 방사선 사진, 특히 파노라마 방사선 사진(OPG)은 예측 가능한 연령 관련 변화를 제공하지만, 전통적인 형태학적 및 형태계측적 방법은 시간이 많이 소요되고, 작업자 의존적이며, 변동성에 취약하다는 단점이 있다. 최근 합성곱 신경망(CNN) 모델들이 내부 테스트에서 높은 정확도를 입증했음에도 불구하고, 상당한 신뢰성 격차가 존재한다. 대부분의 기존 모델은 엄격한 외부 검증 없이 특정 인구 집단 데이터셋을 기반으로 개발 및 검증되며, 서로 다른 임상 프로토콜과 하드웨어 시스템을 통해 획득된 독립적인 코호트에 대한 검증이 부족하다. 또한, 기존 문헌들은 모델이 비해부학적 특징(예: 이미지 경계, 방향 표시기)을 활용하여 높은 내부 성능을 달성하는 "지름길 학습(shortcut learning)" 현상을 간과하는 경우가 많으며, 이는 다양한 인구 집단에 적용될 때 낮은 일반화 성능으로 이어진다. 본 연구는 법의학 AI 모델의 생물학적 일관성과 일반화 능력을 서로 다른 인구 통계 및 영상 환경 전반에 걸쳐 평가할 필요성을 다룬다.

연구 방법론
본 연구는 브라질의 대규모 데이터셋으로 학습된 세 가지 CNN 아키텍처(VGG-16, InceptionV4, ResNet-18)의 일반화 능력을 평가하였으며, 이를 독립적인 루마니아 코호트에 대해 테스트하였다.

• 데이터셋:
  • 학습/내부 데이터: 2.3세에서 96.5세 사이의 연령대를 가진 브라질 인구(페르남부쿠코 연방 대학교)로부터 추출한 10,036개의 OPG. 데이터셋은 학습(n=8,028), 검증(n=1,004), 내부 테스트(n=1,004) 세트로 분할되었다.
  • 외부 검증 데이터: Vatech PCH-2500 및 Planmeca Promax 장비를 사용하여 클루지나포카(Cluj-Napoca)의 세 개 임상 부서에서 수집된 150개의 독립적인 OPG.
• 전처리 및 학습: 이미지는 224 × 224 픽셀 크기로 조정되었으며 ImageNet 통계치를 사용하여 정규화되었다. 데이터 증강(수평 뒤집기)은 학습 세트에만 적용되었다. 모델은 ImageNet 사전 학습 가중치로 초기화되었으며, Adam 옵티마이저(학습률 0.001)와 평균 제곱 오차(MSE) 손실 함수를 사용하여 20 에포크 동안 학습되었다. 주요 평가 지표는 평균 절대 오차(MAE)이다.
• 해석 가능성 및 강건성 분석:
  • Grad-CAM: 최적의 성능을 보인 모델을 대상으로 20개의 외부 검증 방사선 사진에 적용하여, 합성곱 층 전반의 특징 활성화를 시각화하였다. 특히 해부학적 구조와 비해부학적 아티팩트(artifact)에 대한 주의 집중도를 조사하였다.
  • 잠재 공간(Latent Space) 분석: 512차원 특징 벡터를 추출한 후, 주성분 분석(PCA), 확산 맵(Diffusion Maps), PHATE를 사용하여 연령 진행에 대한 모델의 내부 표현을 분석하였다.
  • 데이터셋 이동(Dataset Shift) 분석: 브라질과 루마니아 데이터셋 간의 정규화된 채널별 평균 픽셀 강도 및 표준 편차를 비교하여 도메인 이동을 정량화하였다.

주요 결과

• 모델 성능: ResNet-18이 가장 우수한 아키텍처로 나타났다. 이 모델은 내부 테스트에서 3.61년의 MAE를 달enc성했다. 그러나 루마니아 데이터셋에 대한 외부 검증 시 MAE는 5.80년으로 증가했다. InceptionV4와 VGG-16은 각각 6.42와 6.36의 외부 검증 MAE를 기록하며 상대적으로 낮은 성능을 보였다. 모든 모델은 외부 코호트에 적용되었을 때 유의미한 성능 저하를 나타냈다.
• Grad-CAM 결과: 초기 합성곱 층은 관련 해부학적 랜드마크(치아 치배, 하악 두께, 치근)를 올바르게 우선순위화하였다. 그러나 심층 결정 층은 방사선 방향 표시기("R") 및 이미지 경계를 포함한 비해부학적 영역을 빈번하게 활성화하였다. 이러한 패턴은 청소년, 성인, 노인 환자 모두에게서 일관되게 나타났으며, 이는 지름길 학습에 대한 취약성을 나타낸다.
• 잠재 공간 분석: 차원 축소 기법(PCA, PHATE, Diffusion Maps)은 학습된 특징 표현이 명확하고 연속적인 연대기적 궤적을 따른다는 것을 보여주었다. PCA 결과 첫 번째 주성분이 95.17%의 분산을 설명하였으며, 이는 연령 진행과 일치하였다. 이는 모델이 외부 검증에서의 성능 저하에도 불구하고 생물학적 노화 패턴을 성공적으로 포착했음을 시사한다.
• 도메인 이동: 이미지 강도 분포에서 브라질과 외부 데이터셋 간의 유의미한 이동이 확인되었다(예: 평균 채널 값이 [-0.264, -0.141, 0.082]에서 [-0.037, 0.092, 0.314]로 이동). 이는 스캐너 하드웨어, 노출 파라미터 및 이미지 처리 알고리즘의 차이에 기인한다.

주요 기여

1. 엄격한 외부 검증: 본 연구는 서로 다른 영상 하드웨어를 사용하는 독립적인 루마니아 코호트를 대상으로 브라질 인구 기반 모델을 테스트함으로써 법의학 AI의 일반화 가능성에 대한 비판적 평가를 제공한다. 이는 높은 내부 성능이 외부 신뢰성을 보장하지 않음을 입증한다.
2. 이중 분석을 통한 해석 가능성: Grad-CAM과 잠재 특징 공간 분석을 결합함으로써 모델의 동작을 분리하여 규명하였다. 모델이 생물학적으로 유의미한 노화 궤적(잠재 공간)을 학습하는 동시에, 비해부학적 지름길(Grad-CAM)에 의존하여 견고성을 저해한다는 점을 확인하였다.
3. 아키텍처 벤치마킹: VGG-16, InceptionV4, ResNet-18을 비교하여 ResNet-18이 이 특정 과업에 가장 안정적이고 정확한 아키텍처임을 식별하였으며, 이는 향후 법의학 AI 개발을 위한 기준점을 제공한다.

의의 및 주장
본 논문은 외부 검증이 법의학 AI의 신뢰성, 투명성 및 사법적 허용성을 평가하기 위한 필수적인 품질 관리 지표라고 주장한다. 연구는 법의학적 연령 추정을 위한 AI 모델이 인구 변화 및 하드웨어 기반의 분포 변화에 매우 취약함을 강조한다. 모델이 생물학적 노화 패턴을 성공적으로 매핑할 수 있음에도 불구하고, 지름길 학습(비해부학적 특징에 대한 의존)의 존재는 다양한 환경에서의 법의학적 적용 가능성을 제한한다. 저자들은 독립적인 외부 검증과 해석 가능성 분석 없이는 법의학 AI 예측의 의료적 신뢰성과 일반화 가능성을 확신할 수 없다고 결론짓는다. 본 연구의 결과는 실제 법의학 또는 임상 현장에 이러한 시스템을 배치하기 전에 엄격한 검증 프로토콜이 반드시 필요함을 역설한다.