FlowID : Enhancing Forensic Identification with Latent Flow-Matching Models

1. 문제 정의 (Problem)

전 세계적으로 범죄, 전쟁, 이주, 기후 재해 등으로 인해 폭력적인 상황에서 사망하는 경우가 빈번합니다. 법의학 및 법 집행 기관은 신원 확인을 위해 사망자의 사진을 기록하지만, 심한 외상으로 인해 시신 식별이 불가능하거나, 가족에게 생생한 부패/외상 사진을 보여주는 것이 심리적 고통을 유발할 수 있습니다.

• 기존 방식의 한계: 전통적인 이미지 편집 도구를 사용하여 외상을 제거하는 과정은 수작업이 많이 필요하며, 심한 외상이나 구조적 손상에는 효과가 미미합니다.
• 핵심 과제: 생성형 AI 모델을 활용하여 외상을 제거하되, 식별에 필수적인 신원 정보 (얼굴 구조, 특징 등) 는 최대한 보존하면서 가족이 시신을 인식할 수 있도록 하는 자동화된 솔루션의 부재.
• 제약 조건: 민감한 사후 데이터 처리를 위해 클라우드가 아닌 로컬 환경 (일반적인 하드웨어) 에서 실행 가능해야 하며, 데이터 프라이버시를 유지해야 합니다.

2. 방법론 (Methodology)

저자들은 FlowID라는 새로운 얼굴 재구성 방법을 제안하며, 이는 두 가지 핵심 기술의 결합으로 구성됩니다.

가. 단일 이미지 미세 조정 (Single-Image Fine-Tuning)

• 배경: 기존 역전파 (Inversion) 기반 편집 방법은 수치적 오차 누적으로 인해 원본 이미지의 중요한 신원 정보가 손실될 수 있습니다. 특히 훈련 데이터 분포와 다른 (Out-of-Distribution) 심한 외상 얼굴에서는 역전파 품질이 떨어집니다.
• 접근: Stable Diffusion 3 와 같은 사전 훈련된 Flow-Matching 모델을 사용자가 제공한 단일 이미지와 프롬프트에 대해 미세 조정 (Fine-tuning) 합니다.
• 효과: 이를 통해 모델이 해당 특정 이미지를 더 잘 이해하도록 적응시켜, 역전파 (Inversion) 과정에서의 오차를 줄이고 재구성 시 신원 정보를 더 정확하게 복원합니다.

나. 주의 기반 국소적 편집 (Attention-Based Localized Editing)

• 배경: 생성 과정에서 외상뿐만 아니라 문신, 보석, 이목구비 등 식별에 중요한 세부 사항이 우연히 변형될 위험이 있습니다.
• 접근: 생성 모델 내부의 어텐션 맵 (Attention Maps) 을 활용하여 편집이 필요한 손상된 영역과 보존해야 할 영역을 자동으로 추정합니다.
  • Transformer 블록의 어텐션 헤드를 분석하여 편집 대상 개념 (예: "상처") 이 위치한 영역을 식별합니다.
  • K-means 클러스터링을 통해 이진 마스크 (Mask) 를 생성합니다.
• 편집 과정: 생성 과정에서 마스크가 적용된 영역은 목표 텍스트 (외상 제거) 에 따라 편집되지만, 마스크 바깥의 영역은 원본 역전파 경로를 따라 정확하게 재구성되도록 강제합니다.

3. 주요 기여 (Key Contributions)

1. FlowID 알고리즘:

   • 외상 제거와 신원 보존 사이의 균형을 최적화하는 새로운 얼굴 재구성 프레임워크입니다.
   • 단일 이미지 미세 조정과 어텐션 기반 마스크를 결합하여, 기존 오픈소스 방법들보다 뛰어난 성능을 보여주면서도 소비자용 하드웨어에서 실행 가능한 경량 모델을 제공합니다.

2. InjuredFaces 벤치마크:

   • 심한 얼굴 손상 하에서의 신원 보존 얼굴 재구성을 평가하기 위한 최초의 표준 벤치마크를 제안했습니다.
   • 755 개의 외상 얼굴 이미지와 449 명의 고유 신원, 그리고 5,213 개의 무손상 참조 이미지를 포함합니다.
   • 신원 보존 (Identity Preservation), 외상 제거 효과, 편집 충실도, 이미지 품질 등을 평가하는 표준 프로토콜을 제공합니다.

3. 실제 배포 및 영향:

   • 멕시코와 콜롬비아 등 남미 지역의 법의학 현장에서 실제 배포되어 여러 사망자의 신원 확인에 기여했습니다.

4. 실험 결과 (Results)

• 벤치마크 성능 (InjuredFaces):

  • FlowID 는 UltraEdit, SDEdit, ICEdit, Kontext, RF-Solver 등 최신 오픈소스 방법들보다 신원 보존 점수 (Identity Preservation) 에서 가장 높은 성능을 기록했습니다.
  • 외상 제거 (Injury Removal): VLM(Vision-Language Model) 기반 점수에서 가장 낮음 (제거 성공률 높음) 을 보였으며, CLIP 점수 (프롬프트 충실도) 도 우수했습니다.
  • 세부 사항 보존: 문신이나 주얼리와 같은 미세한 식별 특징을 다른 방법들이 변형시키는 반면, FlowID 는 이를 잘 보존했습니다.

• 일반화 능력 (FFHQ):

  • 외상 재구성을 넘어 일반적인 얼굴 속성 편집 (머리색, 안경, 수염 등) 에 대해서도 테스트되었으며, 여전히 가장 높은 신원 보존 성능을 유지했습니다.

• Ablation Study (구성 요소 분석):

  • 미세 조정 제거 시: 신원 보존 점수가 급격히 하락 (0.77 → 0.52) 하여 미세 조정의 중요성이 입증되었습니다.
  • 마스크 제거 시: 이미지 품질 (FID, LPIPS) 이 저하되고 불필요한 왜곡이 발생하여, 국소적 편집의 필요성이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 법의학 및 인도주의적 가치: FlowID 는 사망자의 신원 확인 과정을 가속화하고, 가족이 생생한 외상 사진을 보지 않아도 되도록 하여 심리적 고통을 줄이는 데 기여합니다.
• 프라이버시 보호: 모델이 로컬에서 실행되므로 민감한 사망자 사진이 외부 서버로 전송되지 않아 데이터 프라이버시를 보장합니다.
• 윤리적 고려: 저자들은 재구성된 이미지가 오해를 불러일으킬 수 있음을 인정하며, 이 시스템은 전문가의 최종 확인을 대체하는 것이 아니라 보조 도구로 설계되었음을 명시했습니다.
• 미래 전망: 이 연구는 생성형 AI 가 고위험 (High-stakes) 인 법의학 워크플로우에 통합될 수 있음을 보여주었으며, 향후 LoRA 와 같은 파라미터 효율적 적응 기법을 통해 계산 비용을 더 낮추는 방향으로 발전할 예정입니다.

이 논문은 기술적 혁신 (Flow-Matching 기반 미세 조정 및 마스크) 과 사회적 필요 (사망자 신원 확인) 를 결합하여, 실제 현장에서 즉시 활용 가능한 솔루션을 제시했다는 점에서 의의가 큽니다.