💻 computer science

ReGenHuman: Re-Generating Human Appearances for Realistic Full-Body Video Anonymization

이 논문은 정체성이 없는 구조적 단서로부터 현실적이고 시간적으로 일관된 인간의 외형을 합성하는 "편집하지 말고 재생성하라"는 패러다임을 통해, 프라이버시, 시각적 품질, 그리고 다운스트림 작업 유용성 사이의 최적의 절충점을 달성하는 새로운 전신 비디오 익명화 파이프라인인 ReGenHuman을 소개한다.

원저자: Adam Sun, Eshaan Barkataki, Arnold Milstein, Gordon Wetzstein, Ehsan Adeli

게시일 2026-06-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Adam Sun, Eshaan Barkataki, Arnold Milstein, Gordon Wetzstein, Ehsan Adeli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 병원의 복잡한 복도나 붐비는 거리의 홈 비디오가 있다고 상상해 보세요. 당신은 자율주행 자동차나 의료 로봇 같은 AI 시스템을 훈련시키기 위해 이 영상을 공유하고 싶지만, 영상 속 사람들의 얼굴, 옷, 걷는 방식, 심지어 티셔트의 문구까지 그들을 식별할 수 있게 만들기 때문에 공유할 수 없습니다.

현재 사람들이 이 문제를 다루는 방식은 마치 영구 마커로 사람의 얼굴을 덧칠하거나 화면 전체를 흐리게 만드는 것과 같습니다. 이는 정체성을 보호해주지만, 영상을 망쳐버립니다. AI는 흐릿한 덩어리로부터 아무것도 배울 수 없으며, 영상 또한 엉망이 됩니다.

여기에 "ReGenHuman"이 있습니다.

ReGenHuman을 단순히 마커를 든 편집기가 아니라, 영상을 지켜본 뒤 장면 전체를 처음부터 다시 그려내는 마법 같고 매우 빠른 화가라고 생각해보세요. 실제 사람들을 완전히 새로운 가짜 사람들로 교체하는 것입니다.

작동 원리는 다음과 같이 간단한 단계로 나뉩니다.

1. "유령 청사진" (입력값)

시스템은 화가에게 실제 사람을 보여주는 대신, 먼저 영상을 '유령 청사진'으로 분해합니다. 이는 누가 누구인지에 대한 정보는 전혀 포함하지 않으면서, 사람들이 어디에 있고 무엇을 하고 있는지를 설명하는 세 가지 요소를 추출합니다.

스켈레톤 (Skeleton): 사람의 포즈(팔을 올리거나, 걷거나, 앉아 있는 모습)를 나타내는 졸라맨 형태의 그림입니다.
외곽선 (Outline): 방 안에서 사람의 몸이 정확히 어디에 위치하는지를 보여주는 실루엣입니다.
깊이 지도 (Depth Map): 질감이나 색상은 보여주지 않으면서 장면의 형태를 제공하는 3D 지도입니다.
설명 (Description): 장면을 설명하는 텍나 캡션 (예: "세 명의 사람이 무대 위에 서서 상을 주고 있다").

결정적으로, 화가는 원래의 얼굴, 옷, 피부를 절대 보지 못합니다. 오직 이 익명의 청사진만을 볼 뿐입니다.

2. "다시 그리기" (생성)

시스템은 강력한 AI(비디오 확산 모델, video diffusion model)를 사용하여 이 청사진들을 보고 완전히 새로운 영상을 생성합니다.

스켈레톤 형태에 완벽하게 들어맞는 새로운 사람들을 그려냅니다.
사실적인 새로운 옷과 머리카락을 그려냅니다.
배경과 움직임은 원래 영상과 똑같이 유지합니다.

화가가 원래의 사람을 본 적이 없기 때문에, 원래의 사람이 새로운 영상에 나타나는 것은 수학적으로 불가능합니다. 이는 예술가에게 나무 사진을 주고 와이어프레임 드로잉만을 바탕으로 새로운 나무를 그려달라고 요청하는 것과 같습니다. 예술가는 결코 사진 속의 그 나무와 똑같은 나무를 그려낼 수 없습니다.

3. 결과: "안전한" 영상

최종 영상은 믿기지 않을 정도로 사실적입니다. 새로운 사람들은 실제 사람처럼 보이고, 움직임은 매끄러우며(프레임 간의 떨림이 없음), 환경과 자연스럽게 상호작용합니다.

개인정보 보호: 원래의 사람들은 사라졌습니다. 얼굴, 걸음걸이, 옷차 멀로도 그들을 알아볼 수 없습니다.
품질: 영상은 흐릿하거나 픽셀이 깨지지 않고 고해상도의 자연스러운 모습을 보여줍니다.
유용성: 동작과 움직임이 보존되어 있기 때문에, AI 시스템은 여전히 이 영상을 "보고" 사람들이 어떻게 움직이는지, 의사가 환자와 어떻게 상호작용하는지, 혹은 군중이 어떻게 행동하는지를 학습할 수 있습니다.

이것이 왜 중요한가요?

이 논문은 기존의 방식들과 비교합니다.

기존 방식 (블러 처리/삭제): 얼굴 위에 검은 막대를 씌우는 것과 같습니다. 안전하지만, 학습용으로는 쓸모가 없습니다.
기존 생성 방식 (인페인팅, Inpainting): 사진 속의 얼굴 위에 덧칠하는 것과 같습니다. 종종 기괴해 보이거나, 사람이 프레임마다 다르게 보여서 깜빡거림(flickering)이 발생하며, 때로는 원래의 얼굴이 새어 나오기도 합니다.
ReGenHuman: 이 방식은 설계 단계부터 안전하며(원래의 모습을 보지 않기 때문), 고품질입니다(새로운 현실적인 영상을 생성하기 때문).

저자들은 수천 개의 영상, 여기에는 의료 영상도 포함하여 테스트를 진행했으며, 그들의 방식이 개인정보 보호(익명성 유지)와 유용성(영상의 활용도) 사이의 균형을 맞추는 데 가장 뛰어나다는 것을 발견했습니다. 심지어 AI 모델이 익명화되지 않은 원래의 영상만큼이나 잘 영상을 보고 질문에 답할 수 있다는 것(예: "의사가 무엇을 하고 있는가?")도 입증했습니다.

요약하자면: ReGenHuman은 실제 사람의 영상을 가져와 그들을 완전히 지워버린 뒤, 똑같이 행동하는 새로운 가짜 사람들을 그려 넣는 도구입니다. 이를 통해 우리는 개인정보를 위협하지 않고도 영상 데이터를 공유하고 연구할 수 있습니다.

기술 요약: ReGenHuman

문제 정의

인간 중심의 비디오 데이터를 익명화하는 것은 매우 중요하지만 아직 충분히 연구되지 않은 과제입니다. 기존의 개인정보 보호 규정(예: HIPAA, GDPR)과 학습된 모델이 개인정보 침해(예: 멤버십 추론)에 취약하다는 점은 강력한 익명화의 필요성을 강조합니다. 그러나 현재의 기술들은 근본적인 트레이드오프(trade-off)에 직면해 있습니다:

편집/블러링(Redaction/Blurring): 전통적인 방식(블러링, 픽셀화, 검은색 박스 처리)은 시간적 일관성은 유지하지만, 의미론적 유용성(semantic utility)을 파괴하여 행동 인식이나 비디오 질의응답(VQA)과 같은 다운스트림 작업에 데이터를 무용지물로 만듭니다.
생성적 편집(Generative Editing): 기존의 여러 생성적 접근 방식은 프레임 단위로 픽셀을 편집하거나 원본 이미지에 의존합니다. 이는 시간적 불일치(정체성 깜빡임), 해부학적 비현실성, 또는 원본의 정체성 단서(의상, 걸음걸이, 배경 등)가 남아 있거나 누출될 수 있는 불충분한 개인정보 보장 문제를 야기합니다.

핵심 문제는 개인정보 보호(식별 불가능성), 품질(시간적 일관성 및 사실성), 유용성(다운스트림 AI를 위한 의미적 콘텐츠 보존)을 동시에 달uma하는 파이프라인의 부재입니다.

방법론: ReGenHuman

저자들은 ReGenHuman, 즉 "편집하지 말고 재생성하라(regenerate, don't edit)"는 패러다임을 제안합니다. 이 시스템은 원본 픽셀을 수정하는 대신, 정체성이 배제된 구조적 단서를 사용하여 인간 영역을 처음부터 완전히 합성합니다. 파이프라인은 세 단계로 구성됩니다:

1. 조건부 신호 추출 (Conditioning Signal Extraction)

입력 비디오로부터 시스템은 네 가지 익명의 구성 요소를 추출합니다:

인간 인스턴스 마스크 ( $M$ ): SAM3를 통해 생성되며, 사람의 정확한 공간 영역을 정의합니다.
2D 포즈 스켈레톤 ( $P$ ): DWPose를 통해 생성되며, 피사체의 움직임과 자세를 포착합니다.
단안 깊이(Monocular Depth, $D$ ): Video Depth Anything을 통해 생성되며, 질감이나 텍스트를 드러내지 않으면서 3D 장면 기하 구조와 맥락을 제공합니다.
텍스트 캡션 ( $y$ ): 시각-언어 모델에 의해 생성된 상세한 장면 설명입니다.

2. 구조적 조건부 구축 (Structural Conditioning Construction)

추출된 신호들은 생성을 가이드하기 위해 두 가지 별도의 조건부 비디오로 합성됩니다:

StructHuman: 포즈 스켈레톤을 원본 배경 및 사물(비인간 픽셀)과 결합합니다. 이는 인간을 익명화하면서도 풍부한 장면 맥락을 보존합니다.
StructAll: 배경을 깊이 맵(depth map)으로 대체합니다. 이는 기하 구조와 포즈만을 보존하며, 원본 픽셀이 전혀 남지 않는 완전한 익명화 프레임을 생성합니다.
개인정보 보장: 두 경우 모두 포즈가 겹쳐지기 전에 인간 영역을 회색으로 처리합니다. 결정적으로, 조건부 $c_t$ 는 원본 비디오 픽셀 $x_t$ 가 아니라 오직 인간 마스크 내의 포즈 $P_t$ 에만 의존합니다. 이는 **구조적 개인정보 보장(architectural privacy guarantee)**을 제공합니다: 원본의 외형 정보가 출력물로 흘러 들어갈 수 없습니다.

3. 비디오 투 비디오 확산 미세 조정 (Video-to-Video Diffusion Fine-Tuning)

시스템은 Wan 비디오 확산 모델의 확장판인 VACE(Video Anytime Controllable Editing)를 활용합니다.

아키텍처: 모델은 텍스트 프롬프트와 함께 구조적 신호(깊이, 포즈, 마스크)를 주입하기 위해 비디오 조건부 유닛(VCU)을 사용합니다.
학습 전략: 사전 학습된 DiT 백본과 컨텍스트 블록은 동결(frozen)됩니다. 오직 LoRA(Low-Rank Adaptation) 어댑터만이 HOIGen-1M 데이터셋(100만 개 이상의 인간-사물 상호작용 비디오 코퍼스)에 대해 미세 조정됩니다.
추론: 모델은 구조적 오버레이와 텍스트 캡션에 조건화된 잠재 표현(latent representation)을 디노이징(denoising)함으로써, 원본 인간 픽셀을 전혀 "보지 않고도" 시간적 일관성과 해부학적 사실성을 보장하며 익명화된 비디오를 생성합니다.

주요 기여

최초의 사실적이고 시간적으로 일관된 파이프라인: ReGenHuman은 사실적이면서도 시간적으로 안정적인 전신 비디오 익명화를 생성하는 최초의 방법으로, 기존 생성 방식의 깜빡임이나 해부학적 오류를 방지합니다.
"재생성, 편집하지 마라" 패러다임: 본 논문은 인간 영역을 정체성이 배제된 구조적 입력으로부터 합성하는 새로운 접근 방식을 도입합니다. 이는 개인정보 보장의 기준을 통계적 모호화에서 구조적 설계로 전환하여, 원본 픽셀이 출력에 도달할 수 없음을 보장합니다.
통합된 3축 평가: 저자들은 개인정보(정체성/텍스트 유사도, 의상 변경 재식별), 품질(VBench 메트릭, 사실성, 해부학), 유용성(제로샷 비디오 질의응답)을 측정하는 종합적인 평가 프로토콜을 구축했습니다.

실험 결과

HOIGen-1M 데이터셋과 임상 영상(MedVideoCap-55K)에서 평가했을 때, ReGenHuman은 세 가지 축 모두에서 기존 베이스라인(DeepPrivacy2, FADM 및 고전적 레드액션 방식 포함)보다 우수한 성능을 보였습니다:

개인정보: ReGenHuman은 신체 재식별(CCVID의 CSCK-V 사용)을 거의 우연 수준(mAP ~2.5%)까지 낮추었으며, 이는 "블랙아웃(blackout)" 방식보다도 훨씬 뛰어난 성능입니다. 또한 텍스트와 배경 단서를 동시에 효과적으로 익명화하는 유일한 방법입니다.
품질: 이 방법은 피사체 일관성, 인간 해부학, 사실성 측면에서 최첨단(SOTA) 점수를 달성했습니다. 프레임 단위 생성기와 달리 시간적 매끄러움과 기하학적 일관성을 유지합니다.
유용성: 제로샷 비디오 질의응답(VQA) 작업에서 ReGenHuman은 높은 정확도를 유지하며(원본 비디오 대비 약 4~5%의 하락만 발생), 반면 고전적인 레드액션 방식은 큰 폭의 하락(>12%)을 겪습니다. 특히, 이 모델은 재학습 없이 임상 환경으로 일반화되어 고위험 도메인에서의 견고함을 입증했습니다.

의의 및 주장

본 논문은 ReGenHuman이 개인정보 보호와 유용성 사이의 오랜 트레이드오프를 해결함으로써 비디오 익명화의 새로운 표준을 세웠다고 주장합니다. 인간을 구조적 단서로부터 재생성함으로써, 이 방법은 개인정보 문제로 인해 이전에는 사용이 불가능했던 민감한 인간 중심 데이터(예: 병원, 교실, 감시 영상)의 대규모 공개를 가능하게 합니다.

저자들은 자신들의 구조적 개인정보 보장이 익명화 과정을 감사 가능하게 만든다는 점을 강조합니다. 즉, 개인정보 전문가들은 조건부 입력에 개인 정보가 포함되어 있지 않음을 검증할 수 있으며, 이를 통해 출력이 정체성 유출로부터 자유로움을 보장할 수 있습니다. 저자들은 생성 속도(실시간 아님)와 포즈 기반의 재식별 위험에 대한 잠재적 한계를 인정하면서도, 이 연구가 확산 기반 비디오 익명화 및 윤리적 데이터 공유를 위한 기초적인 토대를 제공한다고 주장합니다.