기술 요약: ClickRemoval

문제 제기

멀티미디어 콘텐츠 제작 및 개인정보 보호를 위한 기존 객체 제거 도구는 비전문가 사용자에게 상당한 장벽을 제시합니다. AttentiveEraser, PowerPaint, SD-Inpaint 시리즈와 같은 최신 방법론들은 일반적으로 정밀한 수동 마스크, 텍스트 프롬프트, 또는 특수한 학습 파이프라인에 의존합니다. 이러한 의존성으로 인해 상호작용 비용이 높아지고 복잡한 장면에서의 사용성이 제한되며, 종종 객체 제거가 불완전하거나 배경 완성도가 비자연스러워지는 결과를 초래합니다. 수동 마스크, 텍스트 설명, 추가 모델 학습 없이 정밀한 객체 제거를 가능하게 하는 솔루션이 필요합니다.

방법론

ClickRemoval은 사전 학습된 Stable Diffusion 모델 (SD1.5, SD2.1, SDXL1.0) 을 기반으로 구축된 오픈 소스 상호작용형 객체 제거 도구입니다. 이 도구는 손으로 그린 마스크나 텍스트 프롬프트 없이 오직 사용자의 클릭만으로 작동합니다. 시스템은 사용자의 클릭을 부드러운 의미적 맵 (soft semantic maps) 으로 변환한 후, 이러한 맵을 활용하여 노이즈 제거 (denoising) 과정 중 확산 모델 내의 자기 주의 (self-attention) 메커니즘을 재지시합니다.

프레임워크는 세 가지 주요 구성 요소로 이루어져 있습니다:

1. M2N2 의미적 거리 맵 추출:

   • 사용자의 클릭은 M2N2 방식을 사용하여 의미적 거리 맵으로 변환됩니다. 이는 고정된 (frozen) Stable Diffusion 모델에서 단일 노이즈 제거 순전파 (forward pass) 를 수행하여 멀티헤드 자기 주의 맵을 전이 행렬로 집계하는 과정을 포함합니다.
   • 클릭된 위치에서 시작하여 마르코프 전파 (Markov propagation) 를 수행하여 각 픽셀의 의미적 거리를 결정합니다.
   • 객체 맵 ($M_{ob}$): 의미적 맵에 Flood Fill 을 적용하여 국소 최소값을 억제하고 인스턴스 인식 능력을 향상시킴으로써 제거할 영역을 정의합니다.
   • 배경 맵 ($M_{bg}$): Flood Fill 을 적용하지 않은 정규화된 마르코프 맵으로, 클릭된 객체로부터의 의미적 거리를 측정합니다. 여기서 작은 값은 객체와의 높은 유사도를 나타냅니다. 이 맵은 배경 복원을 안내합니다.

2. 자기 유도 주의 재지시 및 스케줄링 (SGAR 및 SGAS):

   • SGAR (자기 유도 주의 재지시): 추론 중 자기 주의 로짓 ($S_{self}$) 을 조절합니다. 큰 음수 페널티 ($P_{ob}$) 를 사용하여 객체 관련 키 (key) 항목을 억제하고, $M_{bg}$ 에서 유도된 스케줄링 인자 ($G_{bg}(t)$) 를 사용하여 배경 키 항목을 재가중합니다.
   • SGAS (자기 유도 주의 스케줄링): 자연스러운 배경 완성을 보장하기 위해 SGAR 의 타이밍과 강도를 제어합니다. 노이즈 제거 과정은 다음과 같은 단계로 나뉩니다:
     • 초기 단계 (첫 ~20%): 수정 없음.
     • 초기 - 중기 단계: SGAR 가 활성화되며 배경 안내가 점차 감소합니다.
     • 중기 단계: 배경 안내는 비활성화되지만 객체 억제는 계속 유지됩니다.
     • 후기 단계: 모든 안내가 비활성화되어 모델이 나머지 세부 사항을 자율적으로 완성합니다.

3. 주의 재지시 안내 (ARG):

   • 제어 가능한 출력 수준 안내를 제공하기 위해, ARG 는 원래 노이즈 예측 ($\epsilon(x,t)$) 과 변조된 노이즈 예측 ($\epsilon'(x,t)$) 을 선형적으로 결합합니다.
   • 최종 예측은 $\epsilon_{ARG} = (1-r) \cdot \epsilon(x,t) + r \cdot \epsilon'(x,t)$로 계산되며, 여기서 $r$은 사용자가 지정하는 계수입니다. $r$이 작을수록 원래 모델의 동작을 더 많이 유지하고, $r$이 클수록 제거 안내에 더 엄격하게 따릅니다.

이 시스템은 제거할 객체를 나타내는 양의 클릭과 보존할 영역을 나타내는 음의 클릭을 모두 지원하여, 전경 요소를 보존하면서 가려진 객체를 제거하는 것과 같은 복잡한 상호작용을 가능하게 합니다.

주요 기여

1. 상호작용형 객체 제거 도구: 마스크, 텍스트 설명, 추가 학습이 필요 없는 ClickRemoval 도구의 도입입니다. 양의 클릭과 음의 클릭 상호작용을 지원하여 비전문가 사용자의 사용 장벽을 크게 낮춥니다.
2. 확장 가능한 주의 재지시 메커니즘: M2N2, SGAR, SGAS, ARG 로 구성된 클릭 기반 프레임워크입니다. 이 메커니즘은 특정 확산 백본과 긴밀하게 결합되지 않았으며, SD1.5, SD2.1, SDXL1.0 에서 성공적으로 구현되었습니다.
3. 완전한 오픈 소스 배포: 소스 코드, 설정 파일, Docker 환경, 문서, 데모 인터페이스, 평가 스크립트를 포함하는 포괄적인 소프트웨어 패키지를 Apache-2.0 라이선스로 공개했습니다.

실험 결과

저자들은 Pico-Banana-400K 에서 파생된 통합 테스트 세트를 사용하여 SD-Inpaint, LaMa, PixelHacker, Inpaint Anything, PowerPaint-v2, AttentiveEraser 와 같은 강력한 베이스라인 대비 ClickRemoval 을 평가했습니다.

• 정량적 지표: 추가 학습 없이 경쟁력 있는 결과를 달성했습니다.
  • **1024×1024 해상도 (SDXL1.0)**에서 FID 8.05 및 Local-FID 15.56 을 기록하여 AttentiveEraser (7.98 / 15.74) 와 비교 가능한 성능을 보였습니다.
  • **512×512 해상도 (SD1.5)**에서 FID 9.35, KID 0.899, Local-FID 17.27 을 기록하여 동일 해상도 방법론 중 최고의 전체 성능을 달성했습니다.
• 사용자 연구: 25 명의 비전문가 참가자가 참여한 연구에서 ClickRemoval 은 두 해상도 설정 모두에서 1 위를 차지했으며, 512 해상도에서는 30.48%, 1024 해상도에서는 41.89% 의 표를 받았습니다.
• LLM 지원 검증: GPT 기반의 멀티모달 평가자를 사용하여 512 해상도에서 1 위 (28.85%), 1024 해상도에서 2 위 (39.21%) 를 기록했으며, AttentiveEraser 보다 1.97 퍼센트 포인트 뒤처졌습니다.
• 효율성: 이 도구는 수용 가능한 추론 오버헤드를 보여주었으며, 1024 해상도 런타임은 강력한 베이스라인과 비교 가능하며, RTX 3090 과 같은 소비자 하드웨어에서 512 해상도 작업에 실용적인 효율성을 보였습니다.

의의

이 논문은 ClickRemoval 을 고품질 객체 제거의 민주화를 향한 중요한 걸음으로 위치시킵니다. 수동 마스크와 텍스트 프롬프트에 대한 의존성을 제거함으로써, 비전문가도 접근할 수 있으면서도 경쟁력 있는 복원 품질을 유지하는'클릭하여 제거'워크플로우를 제공합니다. 저자들은 추가 학습 없이 사전 학습된 확산 모델의 고유한 능력과 그들의 주의 재지시 프레임워크를 강화하여 이러한 결과를 달성했다고 강조합니다. 완전한 오픈 소스 패키지의 공개는 재현 가능한 연구와 실용적인 콘텐츠 편집 애플리케이션을 지원하기 위한 것입니다.