💻 computer science

ReVision : A Post-Hoc, Vision-Based Technique for Replacing Unacceptable Concepts in Image Generation Pipeline

ReVision은 생성된 이미지의 배경 무결성을 해치거나 기본 생성기의 재학습을 요구하지 않으면서도, 시각-언어 모델 보조 공간 게이팅 메커니즘을 활용하여 부적절한 개념을 정밀하게 식별하고 편집하는 학습 불필요(training-free) 방식의 사후(post-hoc) 안전 프레임워크이다.

원저자: Gurjot Singh, Prabhjot Singh, Aashima Sharma, Maninder Singh, Ryan Ko

게시일 2026-07-28

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Gurjot Singh, Prabhjot Singh, Aashima Sharma, Maninder Singh, Ryan Ko

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

컴퓨터에 문장을 입력하기만 하면, 펑! 하고 완전히 새로운 초현실적인 사진이 나타나는 세상을 상상해 보세요. 이것은 "생성형 AI"라는 마법의 기술이 만들어낸 현상입니다. 이 기술은 폭발적인 인기를 끌며 누구나 무에서 유를 창조하듯 예술, 사진, 장면을 만들 수 있게 해주었습니다. 하지만 강력한 새로운 도구가 집을 짓는 데 쓰일 수도 있고 무기를 만드는 데 쓰일 수도 있듯이, 이러한 이미지 생성기에도 어두운 면이 있습니다. 때때로 사람들은 폭력, 누드, 또는 허가 없이 실존 유명 인사를 포함한 이미지처럼 위험하거나 불법적이거나, 혹은 단순히 부적절한 것을 만들기 위해 AI를 속이려 시도합니다.

이를 막기 위해 기업들은 보통 AI에 "가드레일(안전장치)"을 구축하려고 노력합니다. 이미지를 만들기 전에 나쁜 단어를 차단하거나, AI가 특정 개념을 잊도록 가르치기도 합니다. 하지만 이러한 방법에는 결함이 있습니다. 악의적인 사용자들은 교묘한 말장난으로 가드레일을 속일 수 있으며, AI의 두뇌를 수정하는 과정은 이미지의 품질을 떨어뜨리거나 비용이 많이 들고 시간이 오래 걸리는 재학습을 요구하기도 합니다. 그래서 과학자들은 큰 질문을 던지고 있습니다. "이미지가 만들어진 '후'에, 나머지 이미지를 망가뜨리지 않고 나쁜 그림을 고칠 수 있는 방법은 없을까?" 이는 마치 아름다운 노을을 번지게 하지 않으면서 사진 속 특정 원치 않는 물체만을 지울 수 있는 마법의 지우개를 갖는 것과 같습니다.

여기, 구르조트 싱(Gurjot Singh)과 그의 팀이 제안한 새로운 기술인 **리비전(ReVision)**이 있습니다. 리비전을 초정밀 후보정 편집자이자 AI 생성 이미지의 "안전망"이라고 생각해보세요. 리비전은 AI가 처음부터 실수를 저지르지 않도록 막으려 하는 대신, 이미지가 완성될 때까지 기다렸다가 이미지를 살펴보고, "부적절한" 부분만을 정교하게 제거하면서 그 외의 모든 것은 완벽하게 유지합니다.

연구진은 기존의 "안전 편집기"들이 서투른 문제를 가지고 있다는 것을 발견했습니다. 그것들은 마치 너무 큰 붓과 같았습니다. 군중 속의 나쁜 사람을 칠하려고 하면, 붓이 옆에 서 있는 무고한 행인들까지 실수로 칠해버려 전체 장면을 망쳐버리는 식이었죠. 이는 컴퓨터가 정확히 어떤 물체를 수정해야 하는지 혼동했기 때문에 발생했습니다.

리비전은 영리한 2단계 트릭으로 이 문제를 해결합니다. 첫째, 리비전은 이미지와 단어를 모두 이해하는 AI인 "시각-언어 모델(Vision-Language Model)"을 탐정처럼 활용합니다. 이 탐정은 이미지를 보고 "아하! 여기에 유명 인사가 있고, 저기에 무기가 있군"이라고 판단합니다. 결정적으로, 탐정은 단순히 추측하는 것이 아니라, 보안 요원이 문제아를 정확히 가리키는 것처럼, 그 나쁜 대상 주위에 정교하고 보이지 않는 상자를 그립니다.

둘째, 리비전은 "공간 게이팅(spatial gating)" 메커니즘을 사용합니다. 편집 과정을 나쁜 개념을 씻어내려는 물의 범람이라고 상상해 보세요. 게이트가 없다면 물은 방 전체를 침수시킬 수 있습니다. 하지만 리비전은 탐정이 그린 보이지 않는 상자 주변에 댐을 건설합니다. 이제 "물"(편집의 마법)은 그 상자 안에서만 흐를 수 있습니다. 리비전은 나쁜 개념을 안전한 것으로 대체합니다. 예를 들어, 알몸의 사람을 옷을 입은 사람으로 바꾸거나, 유명 배우를 평범한 낯선 사람으로 바꾸되, 바로 옆에 서 있는 다른 사람에게는 전혀 영향을 주지 않습니다.

연구팀은 여러 명의 사람과 물체가 포함된 까다로운 장면을 포함하여 800개의 방대한 이미지 세트를 대상으로 테스트를 진행했습니다. 결과는 인상적이었습니다. "누드" 콘텐츠를 제거하려고 했을 때, 기존 방식들은 흔적을 남기거나 주변의 옷을 실수로 바꾸기도 했던 반면, 리비전은 누드 감지 횟수를 70.51회에서 0회로 성공적으로 제거했습니다. 또한 여러 개념이 섞인 테스트에서, 리비전은 배경의 "노이즈"나 원치 않는 변화를 0.166에서 0.058로 줄여 이미지를 자연스럽게 유지하는 데 있어 큰 개선을 보여주었습니다.

가장 결정적인 테스트는 인간 대상 연구였습니다. 사람들이 원래의 부적절한 이미지를 보았을 때, 96%의 확률로 나쁜 콘텐츠를 찾아낼 수 있었습니다. 하지만 리비전이 작업을 마친 후에는 인간이 부적절한 콘텐츠를 인식할 확률이 10%로 떨어졌습니다. 더 중요한 점은, 이미지의 "안전한" 부분에 있는 사람들은 실수로 변경되지 않았다는 것입니다.

연구진은 이 방법이 "학습이 필요 없는(training-free)" 방식임을 강조합니다. 즉, 그리는 법을 새로 배우거나 원래의 AI 회사가 코드를 변경할 필요가 없다는 뜻입니다. 이는 누구나 AI 이미지를 안전하게 만들기 위해 바로 끼워 넣을 수 있는 범용적인 추가 기능(add-on)으로 작동합니다. 이 연구가 큰 진전임을 시사하지만, 저자들은 자신들의 테스트 이미지가 실험을 위해 특별히 제작된 것이며, 향-후 작업에서는 이것이 모든 실제 상황에서 얼마나 잘 작동하는지 검증이 필요하다고 언급했습니다. 하지만 현재로서는, 리비전은 우리가 나쁜 것을 편집할 때 좋은 것까지 실수로 지워버리지 않도록 보장하며, AI 예술의 마법이 악몽으로 변하지 않도록 하는 정교하고 정확한 방법을 제시하고 있습니다.

기술 요약: ReVision

문제 정의

생성형 이미지 모델(예: Stable Diffusion, FLUX)은 누드, 폭력, 저작권 캐릭터, 공인 등 부적절한 콘텐츠를 생성하는 데 점점 더 악용되고 있습니다. 기존의 완화 전략은 세 가지 범주로 나뉘며, 각각 실질적인 배포 시 중대한 한계를 가집니다:

전처리(Pre-processing): 프롬프트 필터링은 적대적 우회 공격에 취약하며, 입력 이미지에 부적절한 의미론적 요소가 존재하는 이미지-투-이미지(I2I) 설정에서는 제한적인 보호만을 제공합니다.
중간 처리(Mid-processing): 안전을 고려한 학습(예: 개념 삭제)은 높은 재학습 비용을 발생시키고, 유해한 개념과 무해한 개념이 공존할 때 일반화 성능이 떨어지며, 특정 아키텍처(예: U-Net)에 종속되는 경우가 많습니다.
후처리(Post-processing, 기존 방식): 현재의 사후 개념 교체 기술(CRTs)은 다음 두 가지 핵심 속성을 동시에 만족시키는 데 실패하는 경우가 많습니다: (P1) 진화하는 정책 범주에 대한 범용적 탐지, 그리고 (P2) 타겟 편집 영역 외의 무해한 콘텐츠 보존.
- AntiMirror와 같은 방법은 정밀한 국소화(localization)를 달성하지만, 좁은 개념 클래스(연예인 얼굴)에 국한됩니다.
- USD와 같은 방법은 의미론적 국소화를 개선하지만, 여전히 무해한 콘텐츠의 비가시적인 변형을 보고합니다.
- 생성기의 내부 표현(representation)에 접근해야 하는 최근의 디노이징 프로세스 기반 접근 방식들은 블랙박스 또는 폐쇄형 소스 생성기에는 적합하지 않습니다.

식별된 구체적인 취약점은 **마스크 스필링(mask-spilling)**입니다. 다중 개념 장면에서 어텐션 기반 국소화는 편집 범위를 의미론적으로 연관되어 있으나 무해한 객체까지 확장시켜(예: 누드 상태의 인물을 편집하다가 근처의 옷을 입은 사람까지 의도치 않게 수정함), 프로덕션 배포에 필요한 무결성 속성(P2)을 위반합니다.

방법론: ReVision

ReVision은 기본 생성기를 변경하지 않고 부적절한 개념을 교체하도록 설계된 학습이 필요 없는(training-free), 생성기 불가지론적(generator-agnostic)인 사후 안전 프레임워크입니다. 이 시스템은 이미지 생성 후 제공자의 신뢰 컴퓨팅 기반(TCB) 내에서 2단계 파이프라인으로 작동합니다.

1단계: 프롬프트 기반 의미론적 탐지

시스템은 Gemini-3.5-Flash(GPT-4o 및 오픈 웨이트 모델 지원)로 인스턴스화된 단일 오픈 보캐블러리 시각-언어 모델(VLM)을 사용하여 생성된 이미지를 분석합니다.

입력: 생성된 이미지와 상위 수준의 정책 프롬프트.
출력: 각 인스턴스가 다음을 포함하는 탐지된 인스턴스 집합 $T$ $T$ :
- $y_t$ : 개념 레이블 (예: "누드", "저작권 캐릭터").
- $s_t$ : 부적절한 개념을 설명하는 소스 프롬프트.
- $r_t$ : 안전한 대체물을 설명하는 타겟 프롬프트.
- $w_t$ : 편집을 위한 의미적 개념을 고정하는 "블렌드 워드(blend words)".
- $B_t$ : 개념을 국소화하는 인스턴스 수준의 바운딩 박스.
메커니즘: VLM은 이미지와 정책에 대한 공동 추론을 수행하여 재학습 없이 오픈 보캐블러리 탐지를 가능하게 합니다. 결정적으로, 다음 단계를 위해 필요한 바운딩 박스( $B_t$ )를 단일 추론 패스에서 추출합니다.

2단계: 인스턴스 일관적 공간 게이팅(Spatial Gating)

이 단계는 기존 프롬프트 기반 편집기(특히 LOCATEdit)의 "마스크 스필링" 문제를 해결합니다.

베이스라인의 한계: LOCATEdit는 크로스 어텐션 맵을 사용하여 편집 마스크를 생성합니다. 다중 객체 장면에서 셀프 어텐션 친화도(self-attention affinities)는 편집이 무해하고 시각적으로 유사한 객체로 "스필(spill)"되도록 유발할 수 있습니다.
게이팅 메커니즘: ReVision은 편집을 탐지된 인스턴스 내로 엄격히 제한하기 위해 공간 게이트를 도입합니다.
1. VLM은 거친(coarse) 바운딩 박스 $B_t$ 를 제공합니다.
2. LOCATEdit는 정밀한 어텐션 기반 마스크 $M_t$ 를 생성합니다.
3. 바운딩 박스는 레이턴트 이진 게이트 $G_t$ 로 변환됩니다.
4. 최종 편집 마스크는 교집합으로 계산됩니다: $M'_t = M_t \land G_t$ .
효과: 이 연산은 바운딩 박스 내부에서 어텐션 마스크의 미세한 객체 구조를 보존하면서, 동시에 객체 간 전파 경로를 명시적으로 차단합니다. 이를 통해 편집이 특정 부적절한 인스턴스에 국한되도록 보장하며, 인접한 무해한 엔티티는 건드리지 않고 그대로 유지합니다.

주요 기여

공간 게이팅 메커니즘: 어텐션 유도 편집 마스크를 거친 인스턴스 수준 영역(바운딩 박스)으로 제한하여, 인스턴스 일관적 국소화를 가능하게 하고 다중 개념 장면에서 의도치 않은 무해한 콘텐츠의 수정을 방지하는 새로운 기술을 제시합니다.
포괄적 벤치마크: 단일 및 다중 부적절 개념 장면을 아우르는 800개 이미지 벤치마크를 도입했습니다. 여기에는 두 가지 서로 다른 확산 모델(Stable Diffusion 3.5 및 FLUX.1-dev)에 대해 비타겟 콘텐츠의 보존(속성 P2)을 엄격히 테스트하기 위해 공존하는 무해한 개념들이 포함되어 있습니다.
학습이 필요 없는, 생성기 불가지론적 프레임워크: 모델 재학습이 필요 없는 사후 솔루션으로, 다양한 아키텍처(U-Net 및 트랜스포머 기반)에서 작동하며 텍스트 프롬프트 편집만으로 새로운 정책에 적응할 수 있습니다.

실험 결과

ReVision은 탐지 정확도, 의미론적 정렬, 충실도(fidelity), 인간 모더레이션을 포함한 6개 차원에서 평가되었습니다.

의미론적 정렬: 대비 학습 기반의 CLIP을 사용하여, ReVision은 안전한 프롬프트에 대한 정렬을 평균 +0.121 개선했습니다. 다중 개념 장면의 경우, 배경 LPIPS(의도치 않은 왜곡 측정 지표)를 LOCATEdit 베이스라인의 0.166에서 0.058로 감소시켰습니다.
개념 억제:
- 누드: NudeNet 탐지 횟수를 70.51에서 0으로 줄였습니다.
- 저작권 콘텐츠: 특정 정체성 탐지 점수를 98% 감소시켰습니다(평균 1.00에서 0.02로).
- 셀러브리티 정체성: 테스트된 모든 공인(예: 트럼프, 바이든, 머스크)에 대해 Giphy Celebrity Detector(GCD) 점수를 0.00으로 낮추었으며, 보지 못한 정체성에 대한 일반화 측면에서 AntiMirror보다 우수한 성능을 보였습니다.
인간 모더레이션: 35명의 어노테이터를 대상으로 한 연구에서, 부적절한 콘텐츠의 인지 가능성은 원본 이미지의 **96%**에서 ReVision 편집 이미지의 **10%**로 떨어졌습니다. 일반적인 설명(예: "배트맨" 대신 "슈퍼히어로")을 제외했을 때 인지 가능성은 **10.16%**로 떨어졌으며, 이는 약 90%의 억제율을 나타냅니다.

의의 및 주장

본 논문은 생성 시스템에서의 실질적인 안전 강제 조치가 단순히 부적절한 콘텐츠를 탐지하는 것 이상을 요구하며, 무해한 콘텐츠의 보존이 출력의 무결성을 유지하는 데 필수적이라고 주장합니다. ReVision은 안전 개입이 이미지의 관련 없는 부분을 의도치 않게 손상시키는 사후 편집의 핵심적인 실패 모드를 해결합니다. 이는 공격자가 안전 시스템의 신뢰도를 떨어뜨리기 위해 악용할 수 있는 취약점입니다.

VLM 기반의 오픈 보캐블러리 탐지와 인스턴스 일관적 공간 게이팅을 결합함으로써, ReVision은 다음과 같은 특징을 가진 **모듈형 최후 방어선(last-line defense)**을 제공합니다:

모델 재학습이나 내부 가중치에 대한 접근 없이 작동합니다.
정책 프롬프트를 통해 다양한 안전 카테고리로 확장 가능합니다.
복잡한 다중 객체 장면에서 국소화-억제 트레이드오프 문제를 해결합니다.

저자들은 본 접근 방식이 억제 정확도와 남겨진 이미지 콘텐츠의 무결성을 모두 우선시하는 사후 시각 기반 기술을 통해 신뢰할 수 있는 안전 강제가 가능하다는 것을 입증한다고 결 결론짓습니다.