기술 요약: FBHM: 혐오 밈 탐지를 위한 VLM의 기능적 벤치마킹 및 스티어링(Steering)

1. 문제 정의

혐오 밈 탐지는 시각-언어 모델(VLM)에게 여전히 까다로운 과제로 남아 있다. Facebook Hateful Memes (FHM) 및 MAMI와 같은 기존 벤치마크들은 구조적으로 관찰적이다. 이들은 수사적 혐오 메커니즘을 특정 타겟 커뮤니티의 특징과 혼동하며, 이는 모델의 취약성에 대한 인과적 평가를 방해한다. 결과적으로, 이러한 데이터셋에 미세 조정된 모델들은 견고한 멀티모달 추론을 학습하기보다는 데이터셋 특유의 휴리스틱(예: 인구통계학적 편향)을 악용하게 된다. 기능이나 타겟 커뮤니티가 통제된 변형을 겪을 때, 이 모델들은 심각한 일반화 격차를 겪으며 거의 무작위 성능 수준으로 급락한다. 또한, 매개변수 효율적 미세 조정(PEFT) 및 퓨샷 인컨텍스트 러닝(ICL)과 같은 표준 적응 전략은 극단적인 저데이터 제약 조건(예: 500개 샘플) 하에서 이러한 격차를 해소하는 데 실패하며, 종종 소스 도메인 성능의 파괴적 망각(catastrophic forgetting)을 초래한다.

2. 방법론

A. FBHM 벤치마크

인과적 평가의 부재를 해결하기 위해, 저자들은 **FBHM (Functionality Based Hateful Memes)**을 도입한다. 이는 5,000개의 밈으로 구성된 체계적으로 큐레이션된 데이터셋이다. 이 데이터셋은 두 개의 직교하는 축을 따라 구축되었다:

1. 25개의 뚜렷한 수사적 기능성: 소프트웨어 엔지니어링의 기능 테스트 원칙과 이전의 NLP 혐오 표현 연구(예: HateCheck)에서 영감을 얻었으며, 이 기능들은 다섯 가지 차원(시각적 형식, 텍스트 난독화, 구조적 구성, 화용적 추론, 비혐오 대조)을 포괄한다.
2. 10개의 타겟 커뮤니티: 무슬림, 유대인, 흑인, 백인, 여성, 남성, 트랜스젠더, 게이, 이민자, 장애인을 포함한다.

큐레이션 과정은 특정 기능성을 가진 기본 이미지-텍스트 쌍을 생성한 후, 타겟 커뮤니티만을 교체하여 10개의 통제된 변형을 생성하는 과정을 거친다. 이러한 구조는 고립된 역사실적(counterfactual) 평가를 가능하게 하여, 연구자가 모델의 실패 원인이 특정 수사적 메커니즘 때문인지 아니면 특정 타겟 그룹 때문인지를 판별할 수 있게 한다.

B. LSV (Learnable Steering Vectors)

최소한의 데이터로 일반화 격차를 효율적으로 좁히기 위해, 저자들은 초저데이터 환경 전략인 LSV를 제안한다. 가중치를 업데이트하는 PEFT와 달리, LSV는 고정된 VLM에 인과적 개입을 적용하여 레이어별 연속 스티어링 벡터를 최적화한다.

• 메커니즘: $L$개의 레이어를 가진 고정된 모델 $M$에 대해, LSV는 레이어별 스티어링 벡터 집합 $V = \{v_1, \dots, v_L\}$와 스칼라 계수 $\alpha = \{\alpha_1, \dots, \alpha_L\}$를 학습한다. 레이어 $l$에서의 은닉 상태는 다음과 같이 수정된다:
  $$h'_l(x_q) = h_l(x_q) + c \cdot \alpha_l \cdot v_l$$
  여기서 $c$는 추론 시의 스케일링 하이퍼파라미터이다.
• 학습 목표: 벡터들은 50개의 고유한 기본 밈에서 파생된 최소 스티어링 세트($D_{steer}$, 500개 샘플)를 사용하여 이중 목적 손실 함수를 통해 최적화된다:
  1. 분포 정렬 ($L_d$): 쿼리에 대한 스티어링된 모델의 어휘 분포와 ICL 데몬스트레이션 프롬프트(32개의 예시)로부터 구축된 참조 분포 사이의 쿨백-라이블러(KL) 발산을 최소화한다. 이는 ICL 프롬프트의 인지적 추론을 벡터로 전이시킨다.
  2. 그라운드 트루스 앵커 ($L_{gt}$): 올바른 분류 레이블과 정렬되도록 첫 번째 생성 토큰에 대한 크로스 엔트로피 손실을 적용한다.
• 추론: 추론 시에는 베이스 모델이 고정된 상태를 유지하며, ICL 데몬스트레이션은 제공되지 않는다. 학습된 벡터는 제로샷 순전파(forward pass)에 직접 주입된다.

3. 주요 기여

1. 새로운 진단 벤치마크: 25가지 기능과 10가지 타겟 커뮤니티에 걸쳐 VLM을 고립 평가할 수 있는 인과적 구조의 데이터셋인 FBHM을 도입하였다.
2. 일반화 실패의 실증적 증거: Qwen-3, Pixtral, InternVL-3.5 및 GPT-4.1/5-mini와 같은 최첨단 VLM들이 FHM/MAMI에서는 높은 인도메인 점수를 달성하지만, FBHM에서는 처참하게 실패함을 입증하여 이들이 거짓 휴리스틱에 의존하고 있음을 증명하였다.
3. 표준 적응 방식의 한계: 최소 스티어링 세트에 제한될 때, PEFT 및 퓨샷 ICL가 복잡한 멀티모달 추론을 정렬하는 데 불충분하며, 종종 소스 도메인의 성능을 저하시킨다는 것을 입증하였다.
4. LSV 프레임워크: ICL의 추론 능력을 활성화 벡터로 증류하는 방법인 LSV를 도입하여, 가중치 업데이트 없이 성공적으로 일반화 능력을 회복하였다.

4. 결과 및 분석

성능 향상

벤치마킹 결과 거대한 성능 격차가 드러났다. FHM/MAMI에 미세 조정된 모델들은 FBHM에서 거의 무작위 성능(예: ~45 Macro-F1)으로 떨어진다.

• LSV의 효능: LSV는 FBHM 성능을 약 30 Macro-F1 포인트 높인다. 예를 들어, 베이스 Qwen-3 모델은 FBHM 테스트 세트에서 45.99에서 72.78 Macro-F1으로 향상된다.
• 비교: LSV는 PEFT(미미한 이득을 보이며 소스 성능을 저하시킴)와 32-shot ICL(컨텍스트 윈도우 제한으로 인해 전체 기능 공간을 커버하지 못해 완만한 이득만을 제공함)을 유의미하게 압도한다.

강건성 및 공정성

• 소스 도메인 보존: 결정적으로, LSV는 가중치를 업데이트하지 않으므로 원래의 FHM 및 MAMI 벤치마크 성능을 유지하거나 오히려 향상시켜, 파괴적 망각을 방지한다.
• 균등한 정렬: 타겟 커뮤니티별 성능 분석 결과, LSV는 10개 타겟 그룹 모두에 대해 분류 경계를 70~80% 범위로 균등하게 확장하여, ICL 베이스라인에서 관찰되는 커뮤니티별 병목 현상을 제거한다.
• 기능성 커버리지: 레이더 차트 분석은 LSV가 구조적 추론 능력을 매끄럽게 만들어 거의 모든 25개 기능에 걸쳐 이득을 전달하는 반면, ICL 변형들은 특정 국소적 기능 영역에서 실패함을 보여준다.

오류 분석

개선에도 불구하고 잔여 실패 모드가 존재한다:

• 거짓 음성 (False Negatives): 복잡한 난독화(비속어의 대수적/16진수 인코딩), 수사적 역전("역데이" 프레칭), 그리고 유사 긍정적 사카즘(sarcasm)은 여전히 도전 과제이다.
• 거짓 양성 (False Positives): 폰트 섭동(손상된 OCR) 및 혐오와 유사한 어휘를 포함한 대응 발언(counterspeech)이 빈번하게 오분류된다. 이러한 패턴은 Qwen, GPT-4/5 등 아키텍처 전반에 걸쳐 반복되며, 이는 활성화 수준의 스티어링을 넘어 더 깊은 담론 이해가 필요함을 시사한다.

추론 스케일링

최적의 스케일링 상수 $c$는 아키텍처 및 미세 조정 방식에 따라 달라지는 것으로 나타났다. 홀드아웃 분할(held-out splits)에 대한 검증을 통해 테스트 세트에 대한 최적의 $c$를 정확히 예측할 수 있음을 확인하였으며, 이는 테스트 세트에 대한 접근 없이도 실제 배포 시 적용 가능한 실용성을 입증한다.

5. 의의 및 주장

본 논문은 FBHM이 현재 VLM 정렬의 핵심적인 결함, 즉 높은 인도메인 점수가 다양한 기능적 구조에 대한 일반화 실패를 은폐하고 있다는 점을 폭로한다고 주장한다. 이 연구의 의의는 다음과 같다:

1. 진단적 엄밀성: 표준 벤치마크가 놓치는 기능별, 타겟별 격차를 밝혀낼 수 있는 도구를 제공한다.
2. 효율적 정렬: 학습 가능한 스티어링 벡터를 통한 인과적 개입이 단 500개의 샘플만으로도 복잡한 멀티모달 추론을 정렬할 수 있으며, 이것이 가중치 기반 적응 및 컨텍스트 집약적 방법보다 우수함을 입증한다.
3. 안전 및 공정성: 벤득한 데이터에 대한 성능을 희생하거나 대규모 재학습을 요구하지 않고도 다양한 인구통계학적 그룹에 걸쳐 혐오 탐지의 강건성을 개선하는 방법을 제시한다.

저자들은 LSV가 제로샷 탐지 능력을 크게 향상시키기는 하지만, 특히 아이러니나 수학적 난독화와 같은 복잡한 화용적 편향이 지속된다는 점을 고려할 때, 완전한 자율적 판별자가 아닌 인간 중재자를 돕는 진단 도구로서 기능한다고 결론짓는다.