Now You See the Hate: Adaptive View Retrieval for Hidden Hateful Illusions

기술 요약: 숨겨진 혐오 착시 현상을 위한 적응형 뷰 검색 (Adaptive View Retrieval for Hidden Hateful Illusions)

문제 정의
현재의 멀티모달 안전 시스템은 혐오 착시(hateful optical illusions)를 마주했을 때 심각한 "지각적 접근 실패(perceptual access failure)" 문제에 직면해 있습니다. 이러한 이미지들은 지각 조직화 원리(예: 폐쇄성, 형상-배경 분리)를 사용하여, 겉보기에는 무해해 보이는 시각적 구조 내에 혐오 표현(예: 혐오 비속어, 극단주의 상징, 은어)을 삽입합니다. 인간은 지각 조직화를 통해 이러한 숨겨진 메시지를 복구할 수 있는 경우가 많지만, 최첨단 시각-언어 모델(VLM)과 모더레이션 분류기들은 원래의 이미지 뷰를 분석할 때 이를 감지하지 못합니다. HatefulIllusion 벤치마크에 대한 이전 평가에 따르면, 6개의 모더레이션 분류기는 최대 20.9~24.5%의 정확도를 기록했으며, 일루전 인식 프롬프팅(illusion-aware prompting)을 사용하더라도 GPT-4o 및 Gemini-2를 포함한 9개의 최첨단 VLM은 10.2% 이하의 정확도에 머물렀습니다. 핵심 문제는 안전 모델이 일반적으로 표면적인 장면만을 판단하며, 혐오가 숨겨진 내부의 숨겨진 구조적 층(hidden structural layer)에 접근하지 못한다는 점입니다. 단순하고 고정된 이미지 변환은 모든 유형의 착시, 은어 또는 가시성 수준에 대해 최적의 필터가 될 수 없으므로 불충분합니다.

방법론: 적응형 뷰 검색 (Adaptive View Retrieval)
저자들은 숨겨진 혐오 착식 탐지를 표준 이미지 분류 작업이 아닌 **지각적 검색 문제(perceptual retrieval problem)**로 재정의하는 적응형 뷰 검색(Adaptive View Retrieval) 프레임을 제안합니다. 이 시스템은 "검색 및 보정(retrieve-and-calibrate)" 아키텍처를 기반으로 작동합니다:

1. 상보적 뷰 뱅크 (Complementary View Bank): 단일 이미지 뷰나 고정된 전처리 필터에 의존하는 대신, 이 방법은 입력 이미지와 숨겨진 메시지 템플릿 모두에 대해 7가지의 결정론적이고 해석 가능한 지각적 뷰(perceptual views)로 구성된 뱅크를 구축합니다. 이 뷰들은 다음을 포함합니다:

   • 원본 뷰 (Original View): 수정되지 않은 RGB 이미지.
   • 대조도 강화 뷰 (Contrast-Enhanced View): 가우시안 블러를 적용한 후 휘도 히스토그램 평활화(luminance histogram equalization)를 수행하여 약한 전역 강도 패턴을 증폭합니다.
   • 폐쇄-에지 뷰 (Closure-Edge View): 에지 검출, 형태학적 폐쇄(morphological closing) 및 블러링을 사용하여 선 형태의 경계와 닫힌 윤곽선을 강조합니다.
   • 형상-배경 뷰 (Figure-Ground Views): 오츠 임계값 처리(Otsu thresholding) 및 형태학적 정제를 통해 도출된 세 가지 변형으로, 마스크 뷰, 역마스크 뷰, 그리고 중립 배경에 대해 패턴을 격리하는 전경(foreground) 뷰를 포함합니다.
   • 저역 통과 뷰 (Low-Pass View): 국소적 질감을 억제하면서 거칠고 큰 규모의 숨겨진 구조를 보존하기 위해 다단계 스무딩(가우시안, 박스, 미디언)을 적용합니다.

2. 적응형 게이팅 및 검색 (Adaptive Gating and Retrieval): 동결된 CLIP 인코더(ViT-B/32)가 각 뷰를 임베딩합니다. 적응형 게이팅 메커니즘은 쿼리 이미지의 결합된 특징을 읽고 각 뷰 브랜치에 소프트맥스 가중치($\alpha_k$)를 할당합니다. 이를 통해 모델은 특정 이미지 인스턴스에 대해 어떤 뷰를 신뢰할지 동적으로 결정할 수 있습니다. 시스템은 가중치가 적용된 쿼리 특징과 템플릿 특징 사이의 코사인 유사도의 온도 조절된 합(temperature-scaled, gated sum)을 계산하여, 라이브러리에서 가장 잘 매칭되는 숨겨진 메시지 템플릿을 검색합니다.

3. 보정 (Calibration): 검색과 병행하여, 보정 헤드는 특징의 게이트 융합(gated fusion)을 처리하여 이진 "유해함/무해함" 로짓(logit)을 출력합니다. 이는 숨겨진 정체성을 복구하는 작업과 그 정체성이 유해한지 결정하는 작업을 분리합니다.

4. 학습 (Training): 모델은 템플릿 검색을 위한 교차 엔트로피 손실(cross-entropy loss), 모더레이션 보정을 위한 이진 교차 엔트로피 손실, 그리고 뷰 붕괴(모델이 하나의 뷰에만 의존하는 현상)를 방지하기 위한 게이트 엔트로피 정규화(gate-entropy regularizer)를 사용하여 학습됩니다. CLIP 인코더는 동결된 상태를 유지하며, 브랜치 프로젝션, 게이트, 보정 헤드 및 온도가 업데이트됩니다.

주요 기여

• 아키텍처: 적응형 다중 뷰 템플릿 검색을 통해 숨겨진 메시지 복구와 모더레이션 보정을 분리하는 새로운 아키텍처인 적응형 뷰 검색을 제안합니다.
• 메커니즘: 단일 클래식 변환보다 적응형 뷰 선택이 다양한 타겟과 가시성 수준에 걸쳐 신뢰할 수 있는 숨겨진 혐오 복구의 동력임을 입증합니다.
• 일반화: IllusionMNIST, IllusionFashionMNIST, IllusionAnimals에서 파인튜닝된 CLIP 베이스라인을 능가하고 인간의 성능을 뛰어넘거나 대등한 수준의 성능을 보임으로써, 이 접근 방식이 혐오 모더레이션을 넘어 일반화될 수 있음을 보여줍니다.
• 벤치마크 개선: HC-Bench의 공식 SemVink 프로토콜 하에서, 상보적 적응형 다중 뷰 뱅크는 동일한 백본을 사용하는 줌아웃(zoom-out) 전처리보다 VLM의 숨겨진 콘텐츠 인식을 유의미하게 향상시킵니다.

결과

• HatefulIllusion: 홀드아웃 테스트 분할에서, 적응형 뷰 검색은 93.2%의 균형 정확도(± 3.1%)를 달성하여, 원본 뷰 베이스라인 및 고정된 단일 변환 필터를 크게 앞질렀습니다. 이 성능은 혐오 은어, 혐오 상징 및 다양한 가시성 수준 전반에서 유지되었습니다.
• IllusoryVQA: 이 방법은 공식 파인튜닝된 CLIP 베이스라인을 능가하며 IllusionMNIST, IllusionFashionMNIST, IllusionAnimals에서 인간의 성능을 능가하거나 대등한 수준을 보여줍니다.
• HC-Bench: 이 접근 방식은 원본 이미지 입력 및 숨겨진 콘텐츠 QA를 위한 SemVink 스타일의 줌아웃 전처리를 모두 능가합니다.

의의 및 주장
본 논문은 강력한 멀티모달 모더레이션을 위해서는 그것이 유해한지 결정하기 전에 숨겨진 의미를 먼저 복구해야 한다고 주장합니다. 저자들은 현재 시스템의 실패가 모델이 숨겨진 구조적 층을 볼 수 없는 지각적 접근 실패에서 기인한다고 주장합니다. 탐지를 검색 문제로 취급하고 적응형 뷰 뱅크를 사용함으로써, 시스템은 표준 분류기가 놓치는 숨겨진 혐오를 "볼" 수 있습니다. 이 연구는 단일 뷰나 고정된 전처리에 의존하는 것은 지각적 트릭이 포함된 안전 필수 애플리케이션에 불충분하며, 신뢰할 수 있는 모더레이션을 위해서는 동적이고 인스턴스에 의존적인 뷰 선택이 필요함을 시사합니다.

콘텐츠 경고: 본 논문은 과학적 연구 목적으로만 사용된 혐오적 내용과 공격적인 언어를 포함하고 있음을 밝힙니다.