Old Tricks, New Models: How Simple Image Transformations Break Modern AI-based Content Moderation

기술 요약: "오래된 수법, 새로운 모델: 단순한 이미지 변환이 현대적인 AI 기반 콘텐츠 모더레이션을 무너뜨리는 방법"

문제 제기
자동화된 콘텐츠 모더레이션은 현대 소셜 미디어 플랫폼에서 사용자 생성 콘텐츠의 규모를 관리하는 데 필수적입니다. 전통적인 특정 작업용 분류기들은 한계가 있지만, 업계는 더 넓은 정책 범위와 맥락적 이해를 달성하기 위해 거대 파운데이션 모델(예: OpenAI의 omni-moderation, Amazon Rekognition, Google Cloud SafeSearch)을 기반으로 구축된 상용 멀티모달 모더레이션 API로 전환하고 있습니다. 그러나 이러한 고급 시스템이 적대적 회피(adversarial evasion)에 대해 얼마나 견고한지는 아직 충분히 탐구되지 않았습니다. 특히, 그래디언트 접근, 대리 모델(surrogate models), 또는 대상 시스템의 아키텍처에 대한 지식이 필요하지 않은 단순하고 모델 불가지론적인(model-agnostic) 이미지 변환에 대해, 파운데이션 모델로의 전환이 더 신뢰할 수 있는 보안 경계를 제공하는지는 불분명합니다.

연구 방법론
저자들은 약 600,000건의 모더레이션 API 쿼리를 포함하는 대규모 블랙박스 강건성 평가를 수행했습니다. 이 연구는 널리 배포된 세 가지 상용 서비스를 대상으로 했습니다:

1. OpenAI omni-moderation (GPT-4o 기반).
2. Amazon Rekognition (DetectModerationLabels 연산 사용).
3. Google Cloud SafeSearch (Cloud Vision API).

평가는 다음 두 가지 범주로 분류되는 7가지 모델 불가지론적 이미지 변환을 활용했습니다:

• 원샷 변환(One-shot transformations): Grayscale Filter, Invert Color, Split-Merge RGB를 포함한 고정된 수정 사항.
• 강도 의존적 변환(Intensity-dependent transformations): Box Blur, Gaussian Blur, Gaussian Noise, Salt and Pepper noise를 포함한 조절 가능한 섭동(perturbations).

실험은 서로 다른 형태의 유해 콘텐츠를 나타내는 세 가지 데이터셋을 대상으로 진행되었습니다:

• LSPD: 포르노그래피 콘텐츠 탐지를 위한 대규모 데이터셋.
• UnsafeBench: 성적 콘텐츠, 폭력, 자해 등의 카테고리를 다루는 정책 지향적 벤치마크.
• Hateful Memes: 임베디드된 텍스트와 시각적 콘텐츠 사이의 상호작용에서 해로움이 발생하는 멀티모달 벤치마크.

주요 지표는 **공격 성공률(ASR)**로, 이는 변환 전 "유해(unsafe)"로 분류되었던 이미지가 변환 후 "안전(safe)"으로 재분류된 비율로 정의되었습니다. 강도 의전적 공격의 경우, 저자들은 변환된 이미지가 인간에게 여전히 인지 가능한 상태를 유지하도록 다중 스케일 구조적 유사성 지표(MS-SSIM)를 사용하는 지각적 유사성 제약 조건을 적용했습니다.

주요 결과
본 연구는 세 가지 연구 질문(RQ)에 걸쳐 세 가지 주요 결과를 도출했습니다:

• RQ1 (API 간의 취약성): 세 가지 상용 서비스 모두 저렴하고 그래디언트 기반이 아닌 변환에 취약합니다.
  • 원샷 공격: 색상 반전(Color inversion)은 Amazon Rekognition에 대해 43.97%, Google SafeSearch에 대해 6.29%, OpenAI에 대해 8.11%의 ASR을 달성했습니다. Grayscale 및 Split-Merge RGB 또한 0이 아닌 우회율을 기록했습니다.
  • 강도 의존적 공격: 엄격한 지각적 유사성 제약 조건(예: MS-SSIM $\ge$ 0.6) 하에서도 성공적인 우회가 발생했습니다. 예를 들어, Salt and Pepper 노이즈는 이 임계값에서 Amazon에 대해 약 45%, Google 및 OpenAI에 대해 30% 이상의 ASR을 달성했습니다.
• RQ2 (콘텐츠 유형에 따른 변동성): 강건성은 데이터셋과 해로움의 카테고리에 따라 크게 달라집니다.
  • 데이터셋 차이: UnsafeBench(특히 성적 콘텐츠)가 원샷 공격에 대해 가장 높은 취약성(색상 반전에 대해 34.66% ASR)을 보였으며, Hateful Memes(21.47%), LSPD(8.11%)가 그 뒤를 이었습니다.
  • 카테릭터 차이: UnsafeBench 내에서 자해(self-harm) 콘텐츠가 가장 취약한 카테고리였으며, 성적 콘텐츠가 그 다음이었고, 폭력은 가장 낮은 ASR을 보였습니다.
  • 멀티모달 취약성: 텍스트-이미지 결합 해석이 필요한 콘텐츠(Hateful Memes)조차도 단순한 시각적 변환에 취약했습니다.
• RQ3 (최소 강도): 시스템은 종종 테스트된 최대 변환 강도에 도달하기 훨씬 전에 불안정해질 수 있습니다. 많은 이미지에서, 레이블이 유해에서 안전으로 변경되는 현상이 낮은 또는 중간 정도의 정규화된 강도(예: Salt and Pepper 및 Gaussian Noise의 중앙값 강도 약 0.4)에서 발생했습니다. 이는 필터를 우회하기 위해 심각한 이미지 저하가 반드시 필요하지 않음을 나타냅니다.

주요 기여

1. 대규모 블랙박스 평가: 저자들은 7가지 모델 불가지론적 변환을 사용하여 세 가지 주요 상용 이미지 모더레이션 API에 대한 종합적인 강건성 감사를 수행했습니다.
2. 저비용 회피 입증: 본 연구는 저렴한 원샷 및 강도 의존적 변환이 그래디언트, 대리 모델, 또는 대상 시스템에 대한 지식 없이도 세 서비스 모두를 우회할 수 있음을 증명합니다. 심지어 비사소한(non-trivial) 이미지 유사성 제약 조건 하에서도 그러합니다.
3. 강건성 특성화: 논문은 제공자, 콘텐츠 유형(시각적 vs 멀티모달), 해로움 카테고리, 그리고 변환 강도에 따라 강건성이 어떻게 변하는지 특성화하며, 재현성을 지원하기 위해 실험적 산출물을 공개합니다.

의의 및 주장
본 논문은 기존의 모더레이션 분류기를 파운데이션 모델 기반 API로 교체하는 것만으로는 그 자체로 신뢰할 수 있는 보안 경계를 제공하지 못한다고 결론짓습니다. 연구 결과는 공격자의 노력(단순한 자동화된 변환)과 방어자의 부담(반복적인 점검, 전처리 또는 인간 검토 필요) 사이에 뚜렷한 비대칭성이 존재함을 보여줍니다.

저자들은 이러한 취약성이 단일 제공업체에 국한된 것이 아니라, 상용 모더레이션 API 클래스 전체에 영향을 미친다고 주장합니다. 따라서 이러한 시스템은 단독적인 안전 필터로 배치되어서는 안 됩니다. 대신, 현실적인 변환 조건 하에서 평가되어야 하며, 여러 신호를 결합하고 불확실한 사례를 에스컬레이션하는 계층적 모더레이션 파이프라인의 한 구성 요소로 통합되어야 합니다. 이 연구는 고급 파운데이션 모델의 도입이 적대적 회피 문제를 본질적으로 해결하지 못한다는 경고의 역할을 합니다.