💻 computer science

RedEdit: Agentic Red-Teaming of Image Safety Classifiers via MCTS-Guided Photo-Editing

이 논문은 시각-언어 모델 제안자와 몬테카를로 트리 탐색을 결합하여 최소한의 의미론적 보존을 유지하는 사진 편집을 통해 이미지 안전 분류기를 효과적으로 우회하고, 이를 통해 현재의 콘텐츠 중재 시스템에 존재하는 치명적인 취약점을 드러내는 블랙박스 에이전트 프레임워크인 RedEdit을 소개한다.

원저자: Weilin Lin, Ziqi Lin, Zhenxing Zhou, Jianze Li, Tong Zhang, Hui Xiong, Li Liu

게시일 2026-06-05

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Weilin Lin, Ziqi Lin, Zhenxing Zhou, Jianze Li, Tong Zhang, Hui Xiong, Li Liu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인터넷을 거대하고 북적이는 도시 광장이라고 상상해 보세요. 이 공간을 안전하게 유지하기 위해, 도시는 모든 사람이 게시하려는 사진을 스캔하는 보안 요원(이름하여 "이미지 안전 분류기")을 고용합니다. 이들의 임포는 폭력, 자해, 혐오 표현과 같이 위험하거나 불쾌한 이미지를 포착하여 아무도 보기 전에 차단하는 것입니다.

오랫동안 우리는 이 요원들이 매우 강력하다고 믿어 왔습니다. 하지만 이 논문인 RedEdit은 아주 단순한 질문을 던집니다. 만약 누군가가 사람이 사진 앱을 사용하는 것처럼 사진을 아주 조금만 수정해서 보안 요원을 속이려 한다면 어떻게 될까?

다음은 그 답을 찾아낸 과정을 이해하기 쉽게 설명한 이야기입니다.

문제점: "교묘한 편집" (The "Sneaky Edit")

현실 세계에서 사람들은 종종 사진을 바꾸기 위해 간단한 도구들을 사용합니다. 이미지를 회전시키거나, 흑백으로 만들거나, 워터마크를 넣거나, 색상을 변경하기도 합니다. 이것들은 평범한 편집들입니다.

연구진은 이러한 일상적인 변화들이 마법의 망토 역할을 할 수 있다는 사실을 발견했습니다. 인간에게는 명백히 "유해한" 사진이 약간의 변형을 거치면, 컴퓨터 요원은 "오, 이제 안전해 보이네!"라고 생각하며 통과시켜 버릴 수 있습니다. 나쁜 콘텐츠는 여전히 존재하지만(사람은 여전히 그것이 위험하다는 것을 볼 수 있음에도 불구하고), 컴퓨터는 속아 넘어가는 것입니다.

해결책: "디지털 탐정" (RedEdit)

이 보안 요원들이 얼마나 취약한지 테스트하기 위해, 저자들은 RedEdit이라는 새로운 AI 에이전트를 만들었습니다. RedEdit을 해커가 아니라, "금지된" 물건을 보안 요원 몰래 통과시킬 방법을 찾는 매우 똑똑한 디지털 탐정이라고 생각하세요.

RedEdit은 이를 수행하기 위해 두 가지 특별한 기술을 사용합니다.

"직관" (VLM 제안자 - The VLM Proposer):
어떤 사진 필터가 보안 카메라를 혼란스럽게 만드는지 정확히 알고 있는 인간 전문가를 상상해 보세요. RedEdit에는 사진을 보고 *"음, 이 이미지를 '세피아(갈색조)'로 바꾸거나 90도 회전시키면 요원이 헷격할지도 몰라"*라고 말하는 "두뇌"(시각-언어 모델, VLM)가 있습니다. 이 두뇌는 무작위로 추측하는 대신 몇 가지 스마트하고 표적화된 변경 사항을 제안합니다.
"전략 보드" (MCTS 플래너 - The MCTS Planner):
이것이 가장 중요한 부분입니다. 체스 게임을 상상해 보세요. 만약 어떤 수를 두었는데 실패했다면, 좋은 플레이어는 단순히 그 패배하는 경로를 계속 따라가지 않고, 되돌아가서(backtrack) 다른 수를 시도합니다.
RedEdit은 "몬테카를로 트리 탐색(MCTS)"을 사용하여 가능성의 지도를 만듭니다.
- 변화를 시도합니다 (예: "그레이스케일로 만들기").
- 요원의 반응을 확인합니다.
- 만약 요원이 여전히 잡아낸다면, RedEdit은 즉시 되돌아가서 다른 경로를 시도합니다 (예: "테두리를 넣어볼까?").
- RedEdit은 가장 유망한 경로를 탐색하고 좋지 않은 경로는 포기하면서, 완벽한 편집의 조합을 찾을 때까지 이 과정을 반복합니다.

커다란 발견

연구진은 알려진 유해 이미지 컬렉션(777개)을 대상으로 RedEdit을 테스트했습니다. 결과는 충격적이었습니다:

노력이 거의 들지 않습니다: RedEdit은 요원을 속이기 위해 평균적으로 두 번 미만의 편집만 필요했습니다.
놀라울 정도로 효과적입니다: RedEdit은 **76.2%**의 확률로 탐지기를 속이는 데 성공했습니다.
위험은 그대로 남아 있습니다: 편집 후에도 이미지의 **93%**는 여전히 인간에게 위험해 보였습니다. "마법의 망토"가 컴퓨터는 속였지만, 콘텐츠 자체는 여전히 해로웠습니다.

"보편적인 약점" (The "Universal Weakness")

논문은 이 기술이 다른 종류의 보안 요원(서로 다른 AI 모델)들에게도 통하는지 테스트했습니다.

결과: 그렇습니다. 한 요원을 속인 편집은 다른 요원들도 속리는 경우가 많았습니다. 그 요원들이 서로 다른 회사에서 만들어졌더라도 마찬가지였습니다.
비유: 이는 여러 개의 서로 다른 자물쇠를 여는 마스터 키를 찾아낸 것과 같습니다. 이는 문제가 특정 요원이 약하다는 것이 아니라, 현재의 모든 요원이 단순한 사진 편집에 대해 유사한 사각지대를 공유하고 있다는 시스템적인 문제임을 시사합니다.

이것이 왜 중요한가

저자들은 사람들에게 법을 어기는 법을 가르치려는 것이 아닙니다. 대신, 그들은 경종을 울리고 있습니다. 그들은 현재의 안전 시스템이 단순한 저기술(low-tech) 트릭에 놀라울 정도로 취약하다는 것을 발견했습니다.

요약하자면:

위협: 악의적인 행위자들이 안전 필터를 우회하기 위해 슈퍼컴퓨터를 가질 필요는 없습니다. 그저 표준 사진 편집기를 사용하여 아주 작은 수정만 하면 됩니다.
도구: RedEdit은 이 과정을 자동화하여 시스템을 깨뜨리는 것이 얼마나 쉬운지를 보여주는 도구입니다.
행동 촉구: 저자들은 기술 커뮤니티가 이 "저기술" 위협을 무시하는 것을 멈추고, 이러한 단순한 일상적 사진 편집을 처리할 수 있는 안전 시스템을 구축할 것을 요구하고 있습니다.

논문은 우리가 이 간과된 위험에 더 많은 주의를 기울여야 한다고 결론짓습니다. 왜냐하면 현재로서는 단순한 "세피아 필터" 하나만으로도 위험한 콘텐츠가 틈새를 통해 빠져나가는 것을 막기에 충분하기 때문입니다.

기술 요약: RedEdit

1. 문제 정의

본 논문은 인터넷 플랫폼의 자동 콘텐츠 중재의 핵심인 이미지 안전 분류기(image safety classifiers) 평가에 있어 결정적인 공백을 다룹니다. 기존 연구는 인지할 수 없는 적대적 섭동(adversarial perturbations)이나 텍스트-이미지 생성 탈옥(text-to-image generation jailbreaks)에 집중되어 있는 반면, 이러한 분류기들이 사용자 스타일의 악의적인 이미지 편집에 대해 갖는 회복력(resilience)은 아직 충분히 탐구되지 않았습니다.

실제 시나리오에서 사용자는 일반적이고 저비용인 사진 편집 도구(예: 크기 조절, 색상 조정, 압축, 워터마크 등)를 사용하여 유해한 의미론(semantics)은 유지하면서도 이미지의 안전 점수를 변경함으로써 안전 필터를 쉽게 우회할 수 있습니다. 저자들은 이를 **블랙박스 조합 탐색 문제(black-box combinatorial search problem)**로 공식화합니다. 즉, 공격자는 유해한 콘텐츠가 인간에게는 지각적으로 인식 가능한 상태를 유지하면서도, 이미지를 "안전한" 것으로 변환하여 탐지기를 회피하는 일련의 편집 연산 시퀀스를 찾는 것을 목표로 합니다.

기존의 평가 방법들은 이러한 위협을 효과적으로 포착하지 못합니다:

**인간 레드팀 구성(Human red-teaming)**은 비용이 많이 들고 확장성이 떨어집니다.
**그래디언트 기반 공격(Gradient-based attacks)**은 가시적인 도구 기반 편집이 아닌, 인지할 수 없는 섭동에 의존합니다.
**텍스트-이미지 탈옥(Text-to-image jailbreaks)**은 기존 이미지를 스크리닝하는 분류기가 아닌 생성 필터를 타겟으로 합니다.

2. 방법론: RedEdit

저자들은 탈출 전략의 발견을 자동화하는 새로운 블랙박스 레드팀 에이전트인 RedEdit를 제안합니다. 이 프레임워크는 이미지를 노드로, 편집 연산을 엣지로 하는 편집 트리(Edit Tree) 상의 탐색으로 공격을 모델링합니다.

RedEdit은 인간 공격자의 능력을 모사하기 위해 두 가지 핵심 구성 요소를 통합합니다: 도메인 지식(타겟팅된 제안)과 반복적 백트래킹(탐색 계획).

A. VLM 기반 후보 제안자 (VLM-Based Candidate Proposer)

연속적인 편집 파라미터의 방대한 탐색 공간을 관리하기 위해, RedEdit은 시각-언어 모델(VLM)을 **제안자(proposer)**로 채택합니다.

입력: 원본 이미지, 현재 편집된 이미지, 탐지기의 안전 점수, 그리고 이전 편집 이력.
기능: VLM은 시각적 콘텐츠와 편집 이력을 분석하여 의미론적으로 타겟팅된 소수의 후보 편집을 생성합니다. VLM은 유해한 콘텐츠를 파괴하지 않으면서 탐지기 점수를 낮출 수 있는 변환이 무엇인지 추론하며, 이전에 실패했거나 콘텐츠를 제거했던 연산은 피하도록 합니다.
출력: $k$ 개의 후보 액션 세트 (도구 이름 + 파라미터).

B. MCTS 가이드 플래너 (MCTS-Guided Planner)

몬테카를로 트리 탐색(MCTS) 플래너는 이러한 후보들을 탐색 트리로 조직하여 조합 공간을 효율적으로 탐색합니다. 과정은 네 단계로 진행됩니다:

선택(Selection): 플래너는 루트에서 트리를 따라 이동하며, 착취(유망한 경로)와 탐색(덜 방문된 노드)의 균형을 맞추는 트리용 상한 신뢰 구간(UCT) 점수를 최대화하는 노드를 선택합니다.
확장(Expansion): 선택된 노드에서 VLM 제안자가 새로운 후보 편집을 생성합니다. 시도되지 않은 하나의 액션을 실행하여 자식 노드를 생성합니다.
평가(Evaluation): 새로운 이미지는 타겟 탐지기에 의해 점수가 매겨집니다. 점수가 임계값 아래로 떨어지면, 유해한 의미론이 유지되는지 확인하기 위해 콘텐츠 보존율(CPR) 지표를 계산합니다. 점수 감소와 콘텐츠 보존을 기반으로 보상 신호가 계산됩니다.
역전파(Backpropagation): 보상은 트리 상단으로 역전파되어 방문 횟수와 누적 보상을 업데이트하며, 이를 통해 시스템은 효과적이지 않은 경로로부터 백트래킹하고 유망한 편집 궤적을 우선시할 수 있습니다.

C. 도구 라이브러리 (Tool Library)

탐색은 16개의 비생성적, 결정론적 도구(예: 회전, 뒤집기, 밝기, 세피아, JPEG 압축, 워터마크) 라이브러리로 제한됩니다. 결정적으로, 콘텐츠를 직접 제거하는 도구(예: 크롭, 모자이크, 강한 블러)는 공격이 단순한 콘텐츠 파괴가 아닌 **회피(evasion)**임을 보장하기 위해 제외되었습니다.

3. 주요 기여

공식화: 편집 트리 상의 사용자 스타일 사진 편집 회피를 블랙박스 조합 탐색 문제로 최초로 공식화하였으며, 이중 게이트 평가 프로토콜(회피 + 의미론적 보존)을 동반하였습니다.
프레임워크: 도메인 인지적 액션 제안과 MCTS 계획을 결려하여 현실적인 악의적 편집 동작을 재현하는 VLM 가이드 에이전트인 RedEdit을 도입하였습니다.
실증적 증거: 현재의 이미지 안전 분류기들이 현실적인 편집 연산에 대해 심각한 체계적 취약성을 가지고 있음을 입증하는 광범위한 실험을 수행하였습니다.

4. 실험 결과

저자들은 UnsafeBench 데이터셋의 777개 유해 이미지를 대상으로 주요 VLM 탐지기(Qwen3.6-35B) 및 다양한 기타 분류기에 대해 RedEdit을 평가했습니다.

공격 성공률 (ASR): RedEdit은 **76.2%**의 ASR을 달성했습니다. 이는 공격 가능한 이미지 중 76.2%에서 유해한 의미론을 보존하면서 탐지기를 성공적으로 회피했음을 의미합니다.
효율성: 평균 편집 단계 수는 1.26이었으며, 이는 베이스라인 방법들보다 현저히 낮습니다.
의미론적 보존: 편집된 이미지들은 유해한 의미론의 93.0%(CPR)를 유지하였으며, 이는 편집이 단순히 파괴적인 것이 아니었음을 확인시켜 줍니다.
비교: RedEdit은 베이스라인들을 크게 상회했습니다:
- Single-Best (철저한 1단계 탐색): 59.5% ASR.
- ReAct Agent (순차적, 백트래킹 없음): 30.1% ASR.
- Random Search: 32.5% ASR.
절제 연구 (Ablation Studies): 실험 결과 VLM 제안자(도메인 지식)와 MCTS(백트래킹)가 모두 필수적임이 확인되었습니다. MCTS를 제거(순차적 방식만 사용)하면 ASR이 46.1 퍼센트 포인트 하락했습니다. VLM을 제거(랜덤 제안)하면 ASR이 7.3 퍼센트 포인트 하락했습니다.
일반화 (Generalization):
- 교차 탐지기 (Cross-Detector): Qwen3.6-35B에 최적화된 편집은 재최적화 없이도 다른 탐지기들(GPT-5.5, Claude 및 NudeNet과 같은 전통적 분류기 포함)을 성공적으로 회피하였으며, 이는 공유된 체계적 약점을 나타냅니다.
- 전이성 (Transferability): 안전 튜닝된 모델들도 취약성을 보였으나, 일반 목적의 VLM보다는 더 견고한 모습을 보였습니다.

5. 의의 및 주장

본 논문은 RedEdit이 콘텐츠 중재 생태계에 실질적이고 간과되었던 위협을 드러낸다고 주장합니다. 저자들의 주장은 다음과 같습니다:

체계적 취약성: 현재의 탐지기들은 단순한 사용자 수행 편집에 매우 취약합니다. 두 번 미만의 편집만으로 유해한 의미를 유지한 채 탐지기를 우회할 수 있다는 사실은, "안전한" 이미지가 필터를 통과하는 "유해한" 이미지로 쉽게 조작될 수 있음을 시사합니다.
현재 방어 체계의 한계: 다양한 아키텍처(VLM, 안전 튜닝 모델, CNN 기반 분류기) 전반에서 나타난 이러한 공격의 성공은, 취약성이 특정 모델의 아티팩트가 아닌 근본적인 표현 수준(representation-level)의 약점에 기인함을 시사합니다.
행동 촉구: 저자들은 기존의 평가 패러다임이 사용자 주도의 이미지 조작이라는 현실을 포착하지 못하고 있음을 지적하며, 연구 커뮤니티가 이 위협 벡터를 우선적으로 고려할 것을 촉구합니다.

이 연구는 RedEdit을 단순한 공격 도구가 아니라, 중재 시스템이 현실적인 조건 하에서 어떻게 실패하는지를 매핑하는 진단 프레임워크로 포지셔닝하며, 더욱 강력한 안전 분류기 개발을 촉구하고 있습니다.