Enhancing Single-Image Facial Demorphing using Multimodal Large Language Models

기술 요약: 멀티모달 대형 언어 모델을 활용한 단일 이미지 얼굴 디모핑 향상

문제 제기
얼굴 인식 시스템은 복합 이미지를 만들어 여러 신원을 동시에 매칭하도록 조작하는 모핑 공격에 치명적인 취약점을 안고 있으며, 이는 신원 사기와 무단 접근을 용이하게 합니다. 기존 모핑 공격 탐지 (MAD) 방법은 이미지가 모핑되었는지 여부를 식별할 수는 있지만, 구성 요소인 원래 얼굴이나 신원을 복원하지는 못하여 법의학적 활용도가 제한적입니다. 본 논문은 신뢰할 수 있는 참조 이미지에 접근할 수 없는 상태에서 단일 모핑 이미지를 두 개의 원래 구성 얼굴로 분해하는 단일 이미지 참조 없는 얼굴 디모핑 과제를 다룹니다. 이는 이론적으로 동일한 모핑을 생성할 수 있는 얼굴 쌍이 무수히 많을 수 있는, 특히 StyleGAN, 확산 모델 (diffusion models) 과 같은 고급 생성 모델을 사용하여 모핑이 생성되어 잠재 공간에서 신원 특징이 얽혀 있을 때 더욱 그렇습니다.

방법론
저자들은 얼굴 디모핑을 의미론적 가이드 결합 조건부 생성 문제로 재정의하는 새로운 프레임워크를 제안합니다. 이 접근법의 핵심은 멀티모달 대형 언어 모델 (MLLM) 을 사용하여 의미론적 조건부 설정을 강화한, RGB 도메인에서 직접 작동하는 결합된 디노이징 확산 확률 모델 (DDPM) 입니다.

1. 결합 확산 과정: 기존 방법들이 얼굴을 독립적으로 재구성하거나 압축된 잠재 공간에서 작동하는 것과 달리, 이 방법은 두 구성 얼굴을 짝을 이룬 개체 $(i_1, i_2)$로 취급합니다. 순방향 확산 과정은 두 개의 3 채널 이미지로 구성된 결합 6 채널 공간에 노이즈를 동시에 추가합니다. 이는 출력 간 종속성을 강제하여 역방향 디노이징 과정이 두 얼굴을 결합하여 생성하도록 보장함으로써, 모핑 과정이 확립한 고유한 관계를 유지하고 퇴화한 해 (예: 모핑 이미지를 두 번 출력) 를 방지합니다.
2. MLLM 가이드 조건부 설정: 텍스트 생성이나 원시 시각 특징에만 의존하는 대신, 이 방법은 사전 훈련된 MLLM(특히 Qwen3-VL 및 LLaVA-1.6) 의 중간 트랜스포머 레이어에서 잠재 상태 표현을 추출합니다. 이러한 임베딩은 얼굴 속성, 신원 단서, 구조적 특징에 대한 고수준 의미론적 추론을 포착합니다.
   • MLLM 잠재 상태는 크로스 어텐션 메커니즘을 통해 확산 UNet 에 투사되고 주입됩니다.
   • 결정적으로, 이 방법은 텍스트를 생성하고 이를 다시 인코딩하는 손실적인 사이클을 우회하며, 디노이징 네트워크를 안내하기 위해 MLLM 의 내부 멀티모달 추론 능력을 직접 활용합니다.
3. RGB 도메인 작동: 확산 모델은 잠재 공간이 아닌 픽셀 데이터 (256x256 해상도) 에서 직접 작동합니다. 각 단계에서 디노이징 네트워크로 입력되는 것은 원래 모핑 이미지와 연결된 노이즈가 있는 대상 쌍 (총 9 채널) 으로, 네트워크가 잠재 표현에서 종종 손실되는 세밀한 지각적 세부 사항 (머리카락, 배경, 질감) 에 주의를 기울일 수 있게 합니다.

주요 기여

• 프롬프트 기반 참조 없는 프레임워크: 저자들은 MLLM 을 활용하여 고수준 의미론적 추론을 재구성 과정에 주입하는 참조 없는 디모핑 시스템을 도입했습니다.
• 결합 조건부 생성: 문제를 결합 생성 작업으로 공식화하여, 단일 모핑에서 두 개의 서로 다른 신원을 동시에 재구성하면서도 일관성을 유지하도록 했습니다.
• 새로운 조건부 설정 전략: 중간 MLLM 잠재 상태를 조건부 신호로 활용하고 의미론적 가이드와 직접적인 RGB 도메인 모핑 조건부 설정을 결합하는 새로운 전략을 제시했습니다.
• 종합적 제거 분석: 연구는 MLLM 임베딩 깊이 (초기, 중간, 마지막 레이어) 의 영향, 잠재 공간 디모핑 대비 RGB 도메인의 우월성, 그리고 원시 ViT 특징 대비 전체 MLLM 임베딩의 이점에 대한 광범위한 분석을 제공합니다.

결과
제안된 방법은 랜드마크 기반 (AMSL, OpenCV, FaceMorph, WebMorph) 과 학습 기반 (StyleGAN, MorDiff) 모핑 기술을 모두 포괄하는 여러 벤치마크에서 평가되었습니다.

• 신원 복원: 랜드마크 기반 모핑에서, 이 방법은 ArcFace 및 AdaFace 매처를 사용하여 엄격한 0.1% 오일치율 (FMR) 에서 96% 를 초과하는 복원 정확도 (RA) 를 달성했습니다.
• 생성형 모핑: 까다로운 StyleGAN 모핑에서 이 방법은 기존 베이스라인을 크게 능가합니다. 예를 들어, 0.1% FMR 에서 ArcFace 기준 9.13% RA를 달성하여 기존 GAN 기반 방법 (예: lc-GAN 의 2.12%) 보다 크게 개선되었습니다.
• 이미지 충실도: 이 방법은 다양한 데이터셋에서 기존 방법 대비 6~9dB의 PSNR 향상으로 우수한 지각적 품질을 입증했습니다.
• 검색 성능: 많은 수의 방해 요소가 포함된 대규모 갤러리에서의 검색 작업에서, 이 방법은 94.67% mAP@1을 달성하여 모든 경쟁 방법을 능가했으며, 특히 StyleGAN 모핑에서는 다음 최상위 방법 대비 mAP@1 을 8% 이상 개선했습니다.

의의 및 주장
본 논문은 디모핑의 패러다임을 순수 픽셀 기반 또는 잠재 공간 최적화에서 의미론적 가이드 생성으로 전환하는 데 그 주요 의의가 있다고 주장합니다. MLLM 의 추론 능력을 활용함으로써, 이 방법은 현대 생성형 모핑에서 강하게 얽혀 있는 신원들을 분리해낼 수 있습니다.

저자들은 다음과 같이 강조합니다:

1. 중간 MLLM 레이어는 구조적 세부 사항과 의미론적 추상화 사이의 균형을 이루며 가장 신원 판별력이 높은 표현을 인코딩합니다.
2. RGB 도메인 디모핑은 신원 복원에 필요한 세밀한 공간적 단서를 보존하므로 이 작업에 있어 잠재 공간 접근법보다 근본적으로 우월합니다.
3. 직접 잠재 상태 조건부 설정은 정보 병목 현상을 피하고 미묘한 시각적 단서를 유지하므로 텍스트 기반 조건부 설정보다 더 효과적입니다.

이 연구는 생성적 재구성과 기초 모델 의미론을 통합하는 것이 참조 이미지가 없는 법의학적 시나리오를 포함한 생체 인식 보안에 대한 강력한 해결책을 제공한다고 결론지었습니다. 저자들은 고도로 얽힌 생성형 모핑 처리 및 MLLM 조건부 설정의 계산 비용 감소와 같은 과제가 남아 있음을 인정하지만, 그 결과들은 참조 없는 얼굴 디모핑에 대한 새로운 최첨단 (state-of-the-art) 을 확립했다고 주장합니다.