AutoFFS: Adversarial Deformations for Facial Feminization Surgery Planning

이 논문은 성전환 안면 성형술 (FFS) 의 계획에 정량적이고 재현 가능한 해부학적 지침을 제공하기 위해, 학습된 성별 분류기를 대상으로 하는 적대적 자유형 변형을 통해 반사실적 두개골 형태를 생성하는 새로운 데이터 기반 프레임워크인 AutoFFS 를 제안합니다.

핵심

이 논문은 AutoFFS라는 새로운 기술을 소개합니다. 이 기술은 성전환 수술 (특히 여성화 성형 수술, FFS) 을 계획할 때 의사가 더 정확하고 객관적인 도움을 받을 수 있도록 도와줍니다.

기존의 수술 계획은 의사의 경험과 눈대중에 많이 의존했지만, 이 연구는 인공지능 (AI) 과 수학을 이용해 "이 두개골이 여성이라면 어떻게 생겼을까?"라는 질문에 대한 정답을 자동으로 만들어냅니다.

이 복잡한 내용을 이해하기 쉽게, 일상적인 비유로 설명해 드리겠습니다.

---

1. 문제: "눈대중"의 한계

지금까지 성전환 수술을 계획할 때, 의사는 환자의 두개골 CT 사진을 보고 "이 이마는 좀 낮추고, 턱은 뒤로 당겨야겠어"라고 결정했습니다. 마치 수제 의류 점장의 재단처럼, 의사의 경험과 감각에 크게 의존하는 방식이었습니다. 하지만 사람마다 얼굴 뼈의 모양이 다르고, 어떤 변화를 주면 얼마나 여성스러워질지 정량적으로 (숫자로) 예측하기는 매우 어려웠습니다.

2. 해결책: "AI 의 마법 거울" (AutoFFS)

저자들은 AutoFFS라는 시스템을 만들었습니다. 이 시스템은 마치 마법 거울처럼 작동합니다.

• 입력: 남성형 두개골 사진을 거울에 비춥니다.
• 출력: 거울 속에는 그 두개골이 완벽하게 여성형으로 변한 모습이 나타납니다.

이 거울은 단순히 그림을 그리는 게 아니라, **수학적 변형 (Deformation)**을 통해 실제 뼈가 어떻게 움직여야 여성스러운 특징을 가질 수 있는지 계산해냅니다.

3. 핵심 원리: "AI 를 속이는 게임" (적대적 공격)

이 기술이 어떻게 작동할까요? 여기에는 AI 를 속이는 게임 같은 원리가 숨어 있습니다.

1. AI 심판단 (분류기) 준비: 먼저, 수천 개의 두개골 사진을 보고 "남자"와 "여자"를 구분하는 AI 심판단 (여러 개의 신경망) 을 훈련시킵니다. 이 AI 들은 남자와 여자의 뼈 모양 차이를 아주 잘 기억하고 있습니다.
2. 변형 시작: 이제 남성 두개골 사진을 가져와서, AI 심판단이 "이건 여자야!"라고 착각하도록 뼈 모양을 조금씩 구부리고 늘립니다.
3. 조용한 조정 (자유 형 변형): 뼈를 무작위로 찌그러뜨리면 흉해지겠죠? 그래서 **3D 그물망 (B-spline)**을 두개골 위에 씌우고, 그 그물망의 마디 (조절점) 를 아주 부드럽게 움직여 뼈를 변형시킵니다. 마치 점토를 빚듯이 부드럽게 형태를 바꾸는 것입니다.
4. 목표 달성: AI 심판단이 "이건 100% 여자야!"라고 확신할 때까지 뼈 모양을 계속 조정합니다. 이때 중요한 건, 실제 수술이 가능할 정도로 자연스럽고 매끄럽게 변형되어야 한다는 점입니다.

4. 왜 이 기술이 중요한가?

• 객관적인 지도: 의사는 이제 "어디를 얼마나 잘라야 할지"에 대한 정확한 3D 지도를 얻을 수 있습니다. "이 턱뼈는 4mm 뒤로 당겨야 AI 가 여성으로 인식한다"는 식의 구체적인 데이터를 제공합니다.
• 개인 맞춤: 환자마다 얼굴이 다르기 때문에, 이 시스템은 각 환자마다 가장 적합한 변형 경로를 찾아줍니다.
• 안전장치: AI 가 뼈를 너무 심하게 변형시키지 않도록 **규칙 (정규화)**을 걸어두었습니다. 마치 안전벨트처럼, 뼈가 찢어지거나 비현실적으로 변하는 것을 막아줍니다.

5. 실험 결과: 사람들이 어떻게 느꼈을까?

연구진은 이 기술로 만든 변형된 두개골 사진을 사람들에게 보여주고 "이게 남자야, 여자야?"라고 물었습니다.

• 실제 사진: 사람들은 81% 확률로 성별을 맞췄습니다.
• 변형된 사진: 원래는 남성이었지만 변형된 사진은 63% 확률로 사람들이 "여자"라고 인식했습니다.
  이는 AI 가 뼈의 모양을 실제로 여성스러운 특징 (이마, 턱, 광대뼈 등) 으로 성공적으로 바꿨다는 뜻입니다.

요약

이 논문은 **"성전환 수술을 계획할 때, 의사의 눈대중 대신 AI 가 뼈를 점토처럼 부드럽게 변형시켜 여성스러운 모습을 시뮬레이션해준다"**는 내용입니다.

이는 마치 가상 현실 (VR) 게임에서 캐릭터의 얼굴을 수정하는 툴과 비슷하지만, 그 결과가 실제 수술 계획으로 이어져 환자의 삶의 질을 높이는 매우 실용적인 기술입니다. 앞으로 더 많은 데이터와 연구를 통해 이 기술이 실제 수술실에서 널리 쓰이기를 기대합니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 성전환 여성 (Transgender women) 및 성별 다양성 (Gender diverse) 환자를 위한 성별 확인 수술 (Gender affirmation surgery) 중 안면 여성화 수술 (Facial Feminization Surgery, FFS) 은 남성적인 두개골 구조를 여성적인 형태로 재구성하는 것을 목표로 합니다.
• 현재의 한계: 기존의 수술 계획은 주로 외과의사의 주관적인 임상 평가와 경험에 의존합니다. 이는 정량적이고 재현 가능한 해부학적 지침이 부족하며, 각 환자의 고유한 해부학적 구조에 맞는 최적의 수술 방법을 선택하기 어렵게 만듭니다.
• 목표: "이 두개골이 반대 성별이었다면 어떻게 보였을까?"라는 질문에 답할 수 있는 데이터 기반의 객관적인 수술 계획 프레임워크를 개발하여, FFS (및 남성화 수술 FMS) 의术前 계획을 지원하고자 합니다.

2. 방법론 (Methodology)

저자들은 AutoFFS라는 새로운 프레임워크를 제안하며, 이는 **적대적 변형 (Adversarial Deformations)**을 기반으로 한 반사실적 (Counterfactual) 두개골 형태 생성을 핵심으로 합니다.

A. 문제 공식화

• 입력된 두개골 스캔 $X$를 목표 성별 $y_{target}$ (예: 여성) 을 갖도록 변형된 두개골 $X'$으로 변환하는 조건부 변형장 (Conditional deformation field) $\Phi_{y_{target}}$을 찾습니다.
• $X' = X \circ \Phi_{y_{target}}$ 형태로, 원본 이미지의 좌표를 변형된 좌표로 재샘플링합니다.

B. 분류기 앙상블 학습 (Classifier Training)

• 데이터: 다발성 경화증 (MS) 환자의 MRI 스캔을 사용 (뇌와 척수 병변만 존재하므로 두개골 형태는 정상으로 간주). 총 444 개 (남성 152, 여성 292) 의 데이터를 학습, 검증, 테스트 세트로 분할.
• 모델: 8 개의 이진 분류기 (ResNet 및 SE-ResNet 시리즈) 를 앙상블 (Ensemble) 로 구성하여 학습.
• 목적: 다양한 아키텍처가 학습한 성별 이형성 (Sexual dimorphism) 특징을 포착하여, 단일 모델보다 더 강건한 표현을 확보하고 적대적 공격을 어렵게 만듦.

C. 자유 형상 변형 (Free-Form Deformation, FFD)

• 파라미터화: 3 차 B-스플라인 (Cubic B-spline) FFD 를 사용하여 변형장을 파라미터화합니다.
• 제어점: 격자 상의 제어점 (Control points) 의 오프셋 벡터를 최적화하여 변형장을 생성합니다.
• 미분 가능성: 체인 룰 (Chain rule) 을 통해 손실 함수의 기울기를 제어점 오프셋으로 전파하여 엔드 - 투 - 엔드 (End-to-End) 최적화가 가능합니다.

D. 변형 기반 표적 적대적 공격 (Deformation-Based Targeted Adversarial Attack)

• 최적화 목표: 사전 학습된 분류기 앙상블을 속여 목표 성별 클래스로 분류되도록 두개골 형태를 변형시킵니다.
• 손실 함수:
  • Smooth Worst-Case Margin Loss ($L_{swm}$): 앙상블 내 가장 저항이 큰 분류기를 타겟팅하면서도 모든 분류기에 기울기가 흐르도록 로그 - 합 - 지수 (log-sum-exp) 연산자를 사용하여 부드럽게 근사합니다.
  • 정규화 (Regularization): 비현실적인 변형을 방지하기 위해 두 가지 항을 추가합니다.
    1. Smoothness Regularizer: 변위장의 야코비안 (Jacobian) 을 패널티.
    2. Bending Energy Regularizer: 변위장의 헤시안 (Hessian) 을 패널티하여 물리적으로 타당한 매끄러운 변형을 유도.
• 대칭성 유지: 중면 (Midsagittal plane) 에 대해 반전된 스캔에도 분류기를 적용하여 대칭적인 변형을 강제합니다.

3. 주요 기여 (Key Contributions)

1. AutoFFS 프레임워크: 성별 이형성을 학습한 분류기 앙상블을 대상으로 한 변형 기반 적대적 공격을 통해, 특정 성별의 두개골 형태를 생성하는 최초의 데이터 기반 FFS 계획 도구 제안.
2. 정량적 가이드 제공: 주관적인 임상 평가 대신, 해부학적 데이터에 기반한 정량적이고 재현 가능한 수술 계획 지침 제공.
3. 반사실적 형태 편집 (Counterfactual Shape Editing): "만약 이 두개골이 반대 성별이었다면?"이라는 질문에 답하는 새로운 형태의 생성적 AI 접근법 제시.
4. 강건성 확보: 단일 모델이 아닌 다양한 아키텍처의 분류기 앙상블과 B-스플라인 정규화를 통해 생성된 형태가 실제 성별 특징을 반영하고 물리적으로 타당함을 입증.

4. 실험 결과 (Results)

A. 분류기 성능

• 학습된 분류기 앙상블은 테스트 세트에서 높은 성능을 보임 (정확도 0.85 이상, AUROC 0.93 이상).

B. 시스템 성능 (분류기 평가)

• 변형 후 분류: 테스트 세트를 변형시킨 후 홀드아웃 (Hold-out) 분류기로 평가한 결과, 변형된 두개골은 목표 성별 클래스로 높은 확률 (평균 0.758 등) 로 분류됨.
• 앙상블 효과: 단일 최우수 분류기만 사용할 때보다 앙상블을 사용할 때 일관성이 크게 향상됨.
• 정규화 효과: B-스플라인 및 정규화 항 없이 변형을 시도할 경우, 노이즈와 유사한 비현실적인 패턴이 생성되어 정규화의 필수성을 입증.

C. 인간 평가 (Perceptual Study)

• 실험: 11 명의 평가자가 실제 남성/여성 두개골과 변형된 두개골 (남→여, 여→남) 을 구분하는 작업을 수행.
• 결과:
  • 실제 두개골: 약 81% 의 정확도로 성별 식별 (전문인류학자 기준 88% 와 유사).
  • 변형된 두개골: 의도된 목표 성별을 약 63% 의 확률로 식별 (우연 수준 50% 보다 유의미하게 높음).
  • 의미: 변형된 형태가 성별 이형성 특징 (턱, 눈썹, 이마, 광대뼈 등) 을 성공적으로 변경하여 지각적 변화를 일으켰음을 입증.

5. 의의 및 결론 (Significance & Conclusion)

• 임상적 가치: FFS 수술 계획에 객관적이고 데이터 기반의 도구를 제공하여 수술의 정밀도와 예측 가능성을 높임.
• 연구 방향: 현재는 주로 FFS 에 초점을 맞추었으나, 동일한 방법론이 남성화 수술 (FMS) 에도 적용 가능함.
• 향후 과제: 다양한 인종, 연령, 두개골 형태를 포괄하는 대규모 데이터베이스 구축 및 생성된 형태를 실제 임상 워크플로우 (절삭 가이드 생성 등) 에 통합하는 연구가 필요함.
• 종합: 본 연구는 적대적 학습을 의료 영상 처리에 적용한 성공적인 사례로, 간과되어 왔던 성별 확인 수술 계획 분야에 기술적 기여와 함께 새로운 연구의 문을 열었다는 점에서 의미가 큽니다.

---

코드 및 데이터: 논문에 언급된 바와 같이 관련 코드는 GitHub (https://github.com/pfriedri/autoffs) 에서 공개되어 있습니다.