기술 요약: 3DEditSafe

문제 정의

최근 3D 생성형 편집 기술, 특히 EditSplat 과 같은 3D 가우시안 스플래팅 (3DGS) 파이프라인을 활용한 기술의 발전은 텍스트 프롬프트를 통해 고충실도이고 다중 뷰 일관성을 갖춘 장면 조작을 가능하게 합니다. 그러나 이러한 시스템은 기반이 되는 확산 모델 (diffusion models) 에서 안전성 취약점을 물려받습니다. 식별된 핵심 문제는 안전하지 않은 프롬프트 (예: 그래픽 폭력, 잔혹 장면, 또는 성인용 콘텐츠 (NSFW) 를 요청하는 프롬프트) 가 단순히 고립된 안전하지 않은 2D 이미지를 생성하는 데 그치지 않는다는 점입니다. 대신, 2D 편집 단계에서 도입된 안전하지 않은 시각적 의미론이 다양한 뷰포인트에 걸쳐 전파되고, 다중 뷰 최적화를 통해 최종 최적화된 3D 표현에 공간적으로 통합될 수 있습니다.

저자들은 기존 안전 방어 기법들이 주로 2D 생성 단계 (예: Safe Latent Diffusion) 에서 작동한다는 점을 지적하며, 이는 불충분하다고 봅니다. 이미지 생성 과정에서 안전하지 않은 개념이 부분적으로 억제되더라도, 잔여 안전하지 않은 신호가 편집 과정을 생존하여 3D 최적화를 거친 후에도 지속되고, 새로운 뷰포인트에서 관찰 가능한 일관된 원치 않는 3D 콘텐츠로 이어질 수 있습니다. 이는 구체적인 안전성 과제를 드러냅니다: 안전하지 않은 의미론은 3D 최적화 과정에서 축적되고 안정화될 수 있으므로, 입력 프롬프트나 중간 2D 이미지가 아닌 진화하는 3D 표현에 직접 작동하는 안전 메커니즘이 필요합니다.

방법론: 3DEditSafe

본 논문은 3D 가우시안 장면 최적화 중 안전하지 않은 의미론의 전파를 제한하도록 설계된 안전 정규화 3D 편집 프레임워크인 3DEditSafe를 제안합니다. 이 방법은 생성 전 필터링에만 의존하는 것이 아니라 안전 제약 조건을 3D 최적화 루프에 직접 통합합니다.

1. 프롬프트 위험 분석

시스템은 안전 정규화가 필요한지 여부를 결정하기 위해 위험 게이트 (risk gate) 를 사용합니다. 이는 다음과 같은 기준에 따라 위험 점수를 계산합니다:

• 의미론적 유사성: 입력 프롬프트의 텍스트 임베딩과 그래픽 폭력, 잔혹 장면, 명시적 나체 등을 포함하는 사전 정의된 안전하지 않은 개념 집합 ($C_{unsafe}$) 간의 코사인 유사도.
• 키워드 사전 지식: 특정 안전하지 않은 토큰의 존재 여부를 확인하는 경량 검사.
  위험 점수가 임계값을 초과하면 안전 메커니즘이 활성화되고, 그렇지 않으면 파이프라인은 표준 편집 경로를 따릅니다. 중요하게도, 이 게이트는 프롬프트를 재작성하거나 차단하지 않고 내부 정규화를 트리거합니다.

2. 의미론적 안전 투영

"거부로서의 안전 (safety as refusal)"을 피하기 위해 (이는 편집 품질을 저하시키거나 프롬프트와 3D 기하학 간의 불일치를 초래할 수 있음), 3DEditSafe 는 안전을 의미론적 투영 문제로 다룹니다.

• 프롬프트와 가장 정렬된 안전하지 않은 개념 방향을 식별합니다.
• 안전하지 않은 방향과 정렬된 성분을 제거하여 프롬프트 임베딩을 안전한 부분 공간으로 투영합니다.
• 이는 특정 안전하지 않은 성분을 억제하면서도 원래 편집 의도를 보존하는 "안전한 의미론적 방향 ($E_{safe}$)"을 산출합니다. 이 투영된 방향은 수동 대체 프롬프트가 필요 없이 최적화를 안내합니다.

3. 렌더링된 뷰 3D 안전 정규화

핵심 혁신은 최적화 중 3D 장면의 렌더링된 뷰에 직접 안전을 강제하는 것입니다. 전체 손실 함수는 다음을 포함합니다:

• 안전하지 않은 개념 반발 ($L^{3D}_{unsafe}$): 렌더링된 뷰의 CLIP 이미지 임베딩이 안전하지 않은 개념과 너무 밀접하게 정렬되는 경우 이를 패널티하는 항.
• 안전한 의미론적 안내 ($L^{3D}_{safe}$): 렌더링된 뷰가 투영된 안전한 의미론적 방향 ($E_{safe}$) 과 정렬되도록 장려하여 편집이 사용자의 의도에 가깝지만 안전한 방식으로 유지되도록 하는 항.
• 잔여 억제: 2D 타겟 마스크에서 강한 적색 포화도나 폭력/잔혹 장면에서 흔히 발생하는 고차이 아티팩트를 보이는 픽셀을 원본 이미지와 블렌딩하는 사전 최적화 단계로, 명백한 안전하지 않은 잔여물이 3D 장면에 구워지는 것을 방지합니다.
• 보존 손실: 편집되지 않은 영역과 원본 객체 마스크의 무결성을 유지하기 위한 항.

최종 목적 함수는 프롬프트 위험 점수로 가중치를 부여하여 표준 편집 손실과 이러한 안전 항들을 결합합니다.

주요 기여

1. 3D 편집에 대한 최초의 안전 분석: 저자들은 텍스트 기반 3D 편집 파이프라인이 안전하지 않은 프롬프트를 지속적이고 뷰 일관성이 있는 NSFW 3D 콘텐츠로 변환할 수 있음을 입증했습니다. 이는 2D 생성 실패와 구별되는 현상입니다.
2. 객체 호환성 안전하지 않은 벤치마크: 편집 가능한 3D 객체 (예: 얼굴, 동물) 에 맞춰 조정된 10 개의 EditSplat 장면을 대상으로 30 개의 프롬프트 - 장면 쌍 (20 개의 안전하지 않은 경우, 10 개의 안전한 경우) 으로 구성된 벤치마크를 구축했습니다.
3. 안전 인식 3D 최적화: 원래 편집 지시를 보존하면서 3D 최적화 중 안전하지 않은 의미론 정렬을 직접 패널티하는 렌더링된 뷰 3D 안전 정규화의 도입.
4. 제어된 트레이드오프: 프롬프트를 완전히 차단하지 않으면서 안전하지 않은 콘텐츠 전파를 줄일 수 있음을 프레임워크가 입증했으나, 이는 안전성과 품질 간의 트레이드오프를 초래합니다.

실험 결과

저자들은 구축된 벤치마크에서 3DEditSafe 를 표준 EditSplat 과 "2D 안전 안내" (생성 단계 안전은 사용하지만 3D 정규화는 사용하지 않는) 베이스라인과 비교 평가했습니다.

• 안전하지 않은 억제: 3DEditSafe 는 뷰 레벨과 장면 레벨의 공격 성공률 (ASR) 을 모두 크게 감소시켰습니다.
  • 뷰 레벨 ASR 은 EditSplat 의 0.347 에서 3DEditSafe 의 0.190 으로 감소했습니다.
  • 장면 레벨 ASR 은 EditSplat 의 0.722 에서 3DEditSafe 의 0.389 로 감소했습니다.
  • 2D 안전 안내 베이스라인은 일관되지 않은 결과를 보였으며, 여러 경우 (예: "Bear" 객체의 경우 장면 ASR 이 1.000 으로 유지됨) 에 장면 수준의 안전하지 않은 통합을 방지하지 못했습니다.
• 편집 충실도: 측정 가능한 트레이드오프가 존재합니다. 3DEditSafe 는 시스템이 안전하지 않은 의미론을 적극적으로 억제하기 때문에 EditSplat 에 비해 원본 (안전하지 않은) 프롬프트에 대한 CLIP 텍스트 - 이미지 유사도가 낮게 나타났습니다.
• 시각적 품질: 3DEditSafe 는 다양한 뷰포인트에서 명시적인 안전하지 않은 콘텐츠 (예: 피, 잔혹 장면) 를 성공적으로 억제했지만, 규제되지 않은 베이스라인에 비해 결과 편집이 때로는 시각적 아티팩트를 보이거나 충실도가 감소했습니다.

중요성과 주장

본 논문은 텍스트 기반 3D 편집 파이프라인에서 안전하지 않은 생성을 체계적으로 연구하고 방어하려는 최초의 시도라고 주장합니다. 주요 중요성은 3D 편집의 안전성이 2D 생성 단계에서만 해결될 수 없으며, 3D 최적화 과정 자체가 안전하지 않은 의미론을 강화하고 안정화할 수 있는 메커니즘으로 작용한다는 점을 규명하는 데 있습니다.

저자들은 3DEditSafe 를 안전한 3D 편집을 위한 필수 단계로 위치시키며, 효과적인 방어를 위해서는 최적화된 3D 표현에 직접 작동하는 메커니즘이 필요함을 강조합니다. 그들은 겸손하게도 자사의 방법이 안전하지 않은 전파를 줄이지만 안전성 - 품질 트레이드오프를 도입한다는 점을 인정하며, 향후 연구에서 안전한 편집의 사실성을 개선하고 다중 뷰 3D 안전성을 위한 더 강력한 지표를 개발할 필요가 있음을 시사합니다.