A Novel Evolutionary Method for Automated Skull-Face Overlay in Computer-Aided Craniofacial Superimposition

이 논문은 연조직 두께의 변이성을 3D 원뿔 모델로 표현하고 차분 진화 알고리즘을 활용하여 해부학적 및 사진적 타당성을 보장하는 'Lilium'이라는 자동화된 진화적 방법을 제안함으로써 두개골 - 안면 오버레이의 정확성과 견고성을 크게 향상시켰습니다.

핵심

이 논문은 **"죽은 사람의 두개골을 보고, 살아 있을 때의 얼굴 사진을 찾아내는 기술"**을 어떻게 더 똑똑하고 정확하게 만들 수 있는지에 대한 이야기입니다.

이 기술은 **'두개골-얼굴 중첩 (Skull-Face Overlay)'**이라고 불리는데, 쉽게 말해 **"투명한 두개골을 얼굴 사진 위에 딱 맞게 얹어서, 같은 사람인지 확인하는 작업"**입니다.

기존의 방법들은 마치 눈가리개를 하고 퍼즐을 맞추는 것처럼, 두개골과 얼굴 사이의 살 (연조직) 두께를 정확히 알 수 없어서 실수가 많았습니다. 이 논문은 그 문제를 해결하기 위해 **'릴리움 (Lilium)'**이라는 새로운 인공지능 방법을 소개합니다.

이 복잡한 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제 상황: "투명한 두개골과 살이 없는 얼굴"

마치 유리병 (두개골) 안에 과자 (얼굴) 가 들어있는 상황을 상상해 보세요. 우리는 유리병을 보지만, 그 안에 과자가 얼마나 두껍게 쌓여 있는지, 혹은 과자가 어디에 있는지 정확히 알 수 없습니다.

• 기존의 문제: 과거의 자동화 프로그램들은 "사람마다 살이 1cm 정도는 있을 거야"라고 평균값만 믿고 두개골을 얼굴 위에 얹었습니다. 하지만 사람마다 살이 두껍거나 얇을 수 있고, 코나 턱 모양도 다릅니다. 그래서 평균값을 믿고 맞추려니, 두개골이 얼굴 밖으로 튀어나오거나 (비현실적), 얼굴과 딱 맞지 않는 (틀린 사람) 결과가 나오기 일쑤였습니다.

2. 해결책: "릴리움 (Lilium)"이라는 새로운 탐정

이 논문이 제안한 **'릴리움'**은 단순히 평균값을 믿지 않습니다. 대신 **3 차원 원뿔 (Cone)**이라는 개념을 사용합니다.

• 원뿔 비유: 두개골의 뼈가 있는 곳에서 얼굴 피부까지의 거리를 **'원뿔 모양의 공간'**으로 생각합니다.
  • 뼈가 원뿔의 꼭짓점이고, 피부가 원뿔의 바닥에 있는 셈입니다.
  • 이 원뿔은 살이 얼마나 두꺼울 수 있는지, 어느 방향으로 뻗어 있을 수 있는지를 **범위 (영역)**로 잡습니다.
  • 릴리움은 이 원뿔 안에서 **가장 자연스러운 얼굴 모양을 찾아내는 '진화 알고리즘'**을 사용합니다. 마치 진화하는 생물처럼, 수많은 시도를 해보고 "이건 얼굴 모양 같지 않아 (탈락)", "이건 좀 더 비슷해 (생존)"를 반복하며 최적의 해답을 찾아냅니다.

3. 릴리움의 3 가지 '현실 감각' (규칙)

릴리움은 단순히 두개골과 얼굴을 겹치는 것만 보지 않습니다. 현실적인 법칙을 지키도록 3 가지 규칙을 세웠습니다.

1. 카메라와 거리 규칙 (Pcam):

   • "이 사진은 너무 멀리서 찍힌 건가? 아니면 너무 가까이서 찍힌 건가?"라고 묻습니다.
   • 비유: 만약 두개골을 얼굴 위에 얹으려는데, 두개골이 너무 커서 사진 밖으로 튀어나오거나, 카메라 초점이 이상하다면 "이건 가짜 사진이야"라고 판단하고 점수를 깎습니다.

2. 두개골이 얼굴 밖으로 나가지 않게 하기 (Pskof):

   • "두개골이 얼굴 피부 밖으로 튀어나가면 안 돼!"
   • 비유: 마치 머리 모양이 너무 커서 모자 (얼굴) 를 벗어날 때처럼, 두개골이 얼굴 윤곽을 벗어나면 "이건 anatomically(해부학적으로) 불가능해"라고 간주하고 벌점을 줍니다.

3. 턱과 이마의 곡선 맞추기 (Ppll):

   • "턱선과 이마의 곡선이 서로 평행하게 이어져야 자연스러워."
   • 비유: 벽돌 쌓기를 생각하세요. 위층 (두개골) 과 아래층 (얼굴) 의 곡선이 너무 어긋나면 무너집니다. 릴리움은 두개골의 턱선과 얼굴의 턱선이 자연스럽게 이어지는지, 이마가 매끄러운지 확인합니다.

4. 실험 결과: "완벽한 정답" vs "현실적인 추론"

연구진은 컴퓨터로 만든 가상의 두개골과 얼굴 사진을 1 만 7 천 개 이상 만들어 테스트했습니다.

• 기존 방법 (POSEST-SFO):
  • 장점: 매우 빠릅니다 (0.01 초).
  • 단점: 살의 두께를 미리 정확히 알려주지 않으면, 두개골이 얼굴 밖으로 튀어나가는 등 엉뚱한 결과를 낼 확률이 70% 이상이나 됩니다. 마치 정답을 미리 알고 있는 시험에서는 잘 맞지만, 실제 상황에서는 엉망이 되는 학생 같습니다.
• 릴리움 (Lilium):
  • 장점: 비록 계산하는 데 몇 분이 걸리지만 (수동으로 하려면 몇 시간이 걸리니 여전히 빠름), 두개골이 얼굴 안에 자연스럽게 들어가고, 곡선도 매끄러운 결과를 냅니다.
  • 핵심: 살의 두께를 정확히 모를 때, **해부학적 상식 (규칙)**을 이용해 가장 그럴듯한 답을 찾아냅니다.

5. 결론: 왜 이 기술이 중요한가?

이 기술은 수사관들이 "이 두개골이 A 씨의 것일까?"를 판단할 때 큰 도움을 줍니다.

• 과거에는 전문가가 몇 시간씩 눈으로 보고 손으로 맞추느라 지쳤고, 사람마다 기준이 달라서 오해가 생길 수 있었습니다.
• 이제 릴리움은 **"두개골이 얼굴 안에 자연스럽게 들어가고, 카메라 각도도 합리적이며, 턱선도 매끄러운가?"**를 자동으로 체크해 줍니다.

한 줄 요약:

"릴리움"은 두개골과 얼굴을 겹칠 때, 단순히 뼈만 맞추는 게 아니라 "살이 있을 법한 공간"을 상상하고, "자연스러운 얼굴 모양"을 지키는 현실적인 규칙을 적용하여, 가장 그럴듯한 정답을 찾아주는 똑똑한 디지털 수사관입니다.

이 기술은 아직 완벽하지는 않지만, 기존 방법보다 훨씬 신뢰할 수 있고 설명 가능한 결과를 제공하여 법의학 분야에서 큰 진전을 이뤘습니다.

기술 요약

논문 요약: 자동화된 두개골 - 얼굴 오버레이를 위한 새로운 진화적 방법 (Lilium)

1. 문제 정의 (Problem)

• 배경: 두개안면 중첩 (Craniofacial Superimposition, CFS) 은 사후 두개골과 생전 얼굴 사진을 비교하여 신원을 확인하는 법의학 기법입니다. 이 과정의 핵심 단계인 **두개골 - 얼굴 오버레이 (Skull-Face Overlay, SFO)**는 3D 두개골 모델을 2D 얼굴 사진에 정렬하는 작업입니다.
• 주요 난제:
  • 연조직 두께의 불확실성: 두개골 표지점 (Landmark) 과 얼굴 표지점 사이에는 연조직 (피부, 근육 등) 이 존재하며, 개인의 연조직 두께는 다양하고 예측하기 어렵습니다. 기존 방법들은 이 불확실성을 정확히 모델링하지 못하거나, 실제 사건에서는 구하기 어려운 3D 벡터 정보를 입력값으로 요구합니다.
  • 주관성과 불완전한 정보: 사진의 자세, 머리카락/안경에 의한 가림, 두개골 손상 등으로 인해 정확한 정렬이 어렵습니다.
  • 기존 기술의 한계: 최신 자동화 방법인 POSEST-SFO 는 높은 정확도를 보이지만, 연조직 불확실성을 직접 모델링하지 않고 고정된 평균 값을 사용하거나 입력 벡터에 의존하여 실제 법의학 사례에 적용하기 어렵고, 해부학적 타당성 (Anatomical Plausibility) 을 보장하지 못합니다.

2. 제안된 방법론: Lilium (Methodology)

이 논문은 Lilium이라는 새로운 자동화된 진화적 (Evolutionary) 방법을 제안합니다. 이 방법은 차분 진화 (Differential Evolution, DE) 알고리즘을 활용하여 연조직 불확실성을 명시적으로 모델링하고 해부학적, 형태학적, 사진적 타당성을 동시에 최적화합니다.

• 3D 원뿔 기반 연조직 모델링 (3D Cone-based Soft-Tissue Modeling):

  • 기존의 퍼지 집합 대신 **기하학적 3D 원뿔 (Cone)**을 사용하여 연조직 불확실성을 표현합니다.
  • 원뿔의 구성:
    • 꼭짓점: 3D 두개골 표지점.
    • 축: 해부학적/경험적 데이터에 기반한 연조직 성장 방향.
    • 높이: 인구 통계학적 연구 (CT 스캔 데이터 기반) 에서 도출된 최대 연조직 깊이.
    • 부피: 해당 3D 얼굴 표지점이 존재할 것으로 예상되는 공간 영역.
  • 파라미터 최적화: 각 표지점의 연조직 벡터를 결정하는 3 개의 파라미터 ($p_1$: 깊이, $p_2$: 원뿔 각도, $p_3$: 회전 각도) 를 DE 알고리즘을 통해 최적화합니다. 좌우 대칭 표지점의 경우 해부학적 상관관계를 반영하기 위해 혼합 전략 (90% 샘플링 + 10% 독립 샘플) 을 사용합니다.

• 복합 적합도 함수 (Composite Fitness Function):
  최적화 과정에서 다음 네 가지 요소를 결합하여 점수를 매깁니다 (점수가 낮을수록 좋음).

  1. MSEpix: 투영된 3D 얼굴 표지점과 사진의 2D 표지점 간의 평균 제곱 오차 (기하학적 정렬).
  2. $P_{cam}$ (카메라 파라미터): 초점 거리, 피사체 - 카메라 거리, 머리 자세가 실제 사진의 물리적 제약 (EXIF 또는 ML 기반 추정치) 내에 있는지 검증하는 패널티.
  3. $P_{skof}$ (두개골 - 얼굴 경계): 투영된 두개골 윤곽이 얼굴 영역을 벗어날 때 부과되는 패널티 (해부학적 타당성).
  4. $P_{pll}$ (평행성): 정면 자세에서는 턱/아래턱, 측면 자세에서는 이마 영역에서 두개골과 얼굴 윤곽의 평행성을 평가하는 패널티.

• 최적화 프로세스:

  • 무작위 초기화 $\rightarrow$ DE 알고리즘 (변이, 교차, 선택) 을 통한 반복적 개선 $\rightarrow$ 최적의 연조직 파라미터 및 카메라/자세 추정치 도출.

3. 주요 기여 (Key Contributions)

1. 명시적 불확실성 모델링: 실제 법의학 사례에서 구하기 어려운 고정된 벡터 대신, 3D 원뿔을 통해 연조직의 자연스러운 변이를 모델링하여 실제 적용 가능성을 높였습니다.
2. 해부학적 타당성 제약 조건 도입: 단순히 픽셀 오차를 최소화하는 것을 넘어, 카메라 물리, 두개골 - 얼굴 경계, 윤곽 평행성 등을 제약 조건으로 포함하여 해부학적으로 타당한 결과를 보장합니다.
3. 대칭성 유지 전략: 좌우 표지점 간의 해부학적 상관관계를 보존하면서도 개인차를 반영하는 하이브리드 최적화 전략을 도입했습니다.
4. 엄격한 검증: 실제 데이터의 부족을 극복하기 위해 17 명의 CT 스캔 기반 3D 얼굴 모델을 렌더링하여 생성된 17,340 개의 합성 데이터셋 (정답이 알려진 Ground Truth) 을 구축하고, 다양한 노이즈 조건에서 검증했습니다.

4. 실험 결과 (Results)

Lilium 은 최신 기법인 POSEST-SFO 와 비교하여 세 가지 실험 (이상적, 표지점 노이즈, 현실적 시나리오) 에서 평가되었습니다.

• 정확도 및 강건성 (Accuracy & Robustness):

  • 이상적 조건 (Exp A): POSEST-SFO 가 약간 더 낮은 순위 (Rank) 를 보였으나, Lilium 은 해부학적 제약 ($P_{skof}$) 만으로도 유사한 기하학적 정확도 (BPE) 를 달성했습니다.
  • 노이즈 및 현실적 조건 (Exp B, C): Lilium ($P_{skof} + P_{pll}$) 이 POSEST-SFO 를 압도적으로 능가했습니다. 특히 측면 자세에서 순위와 3D 오차 (BPE) 모두에서 통계적으로 유의미하게 우수한 성능을 보였습니다. (예: Exp C 측면 BPE: Lilium 2.748mm vs POSEST-SFO 4.103mm).
  • 원인: POSEST-SFO 는 정답에 가까운 연조직 방향 정보를 입력받기 때문에 이상적 조건에서는 유리하지만, 노이즈가 있거나 정보가 불완전한 실제 상황에서는 성능이 급격히 저하됩니다. 반면 Lilium 은 해부학적 사전 지식 (Priors) 을 통해 노이즈에 강건합니다.

• 해부학적 타당성 (Anatomical Plausibility):

  • 가장 큰 차이점: POSEST-SFO 는 실험 조건에 따라 **70~78%**의 경우에서 두개골이 얼굴 영역을 벗어나는 비현실적인 오버레이를 생성했습니다.
  • 반면, Lilium 은 이를 17~20% 수준으로 크게 줄였으며, 얼굴 영역 밖으로 튀어나온 두개골 픽셀 비율도 3% 미만으로 유지했습니다. 이는 Lilium 이 법의학적으로 신뢰할 수 있는 결과를 제공함을 의미합니다.

• 계산 비용:

  • POSEST-SFO 는 매우 빠르지만 (0.018 초), Lilium 은 최적화 과정으로 인해 수 분 (약 500 초) 이 소요됩니다. 그러나 수 시간 걸리는 수동 작업과 비교하면 합리적인 수준이며, 정확도와 타당성을 위해 필요한 비용으로 판단됩니다.

5. 의의 및 결론 (Significance)

• 법의학 실무의 혁신: Lilium 은 법의학 인류학자가 수행하는 수동적인 분석 과정을 자동화하면서도, 해부학적 타당성을 보장하는 '설명 가능한 (Explainable)' 결과를 제공합니다.
• 신원 확인의 신뢰성 향상: 기존 자동화 방법들이 가진 '정확하지만 비현실적인' 결과의 문제를 해결하여, 실제 사건 (War, Crime, Nature casualties) 에서의 신원 확인 신뢰도를 높입니다.
• 미래 전망: 향후 연조직 모델링의 정교화, 실제 법의학 데이터셋으로의 검증 확대, GPU 가속화를 통한 계산 효율성 개선 등을 통해 이 분야의 표준으로 자리 잡을 것으로 기대됩니다.

이 논문은 단순한 정렬 알고리즘을 넘어, 불확실성 모델링과 해부학적 제약을 통합한 새로운 패러다임을 제시함으로써 컴퓨터 지원 두개안면 중첩 기술의 새로운 기준을 제시했습니다.