기술 요약: Going PLACES

문제 제기

전 세계적으로 텍스트-이미지 (T2I) 모델이 배포되고 있음에도 불구하고, 해당 모델들의 안전성 프레임워크는 여전히 서구 중심의 기본값에 크게 맞춰져 있습니다. 이러한 '단일 서사' 접근법은 글로벌 사우스 (Global South) 에 심각한 취약점을 초래하며, 해당 지역의 사회, 문화, 언어적 다양성에서 비롯된 지역별 고유한 해악을 포착하지 못합니다. 개발자가 수행하거나 공개 크라우드소싱을 통해 이루어지는 기존 레드팀링 (red-teaming) 방법들은 종종 지리적 편향을 반영하거나, 안전에 대한 인기 있는 서구적 관점에 종속된 데이터를 생산합니다. 그 결과, 기존 안전성 프레임워크는 코드-믹싱 (code-mixing) 과 같은 지역의 문화적·언어적 뉘앙스에 의해 가능해지는 고유한 적대적 패턴을 놓치고, 종교적 규범 위반이나 지역 관습 무시와 같은 새로운 형태의 해악 (규범적 불일치, normative dissonance) 을 식별하지 못합니다.

방법론

저자들은 글로벌 사우스의 텍스트-이미지 안전성을 위한 참여형 지역화 레드팀링 (Participatory Localized Red Teaming for Text-to-Image Safety in the Global South) 인 PLACES를 제시합니다. 이는 대규모 크라우드소싱과 심층적인 문화적 맥락화 사이의 간극을 메우도록 설계된 데이터셋 및 방법론입니다. 이 접근법은 **지역화 (Localization)**와 **참여 (Participation)**라는 두 가지 핵심 기둥으로 정의됩니다.

1. 참여형 커뮤니티 참여:

   • 파트너십: 이 연구는 글로벌 사우스의 주요 도시가 아닌 2 차 도시 (secondary urban centers) 에 위치한 네 개 대학과 계약적 파트너십을 체결했습니다: 인도의 세인트 조지 엔지니어링 칼리지 (카르나타카주 망갈로르), 러블리 프로페셔널 유니버시티 (펀자브주 파그와라), 나이지리아의 바이에로 대학교 카노 (카노), 가나의 케이프 코스트 대학교 (케이프 코스트).
   • 프로토콜: 팀은 대학 교수를 '챌린지 감독관'으로, 학생들을 레드팀링 참여자로 모집했습니다. 일반적인 크라우드소싱과 달리, 이는 AI 안전성, 적대적 테스트, 지역 규범에 관한 교육 워크숍을 포함했습니다. 감독관들은 참여적 중재자 역할을 수행하여 참여자들이 지역 은유, 문화적 상징, 실제 경험을 바탕으로 프롬프트를 생성하도록 안내했습니다.
   • 구조화된 모니터링: 일일 가이드와 주간 피드백 루프 시스템을 통해 참여자들이 지역 환경과 선호하는 대화 언어 (코드-믹싱 포함) 를 활용하여 맥락화된 해악을 표면화할 수 있도록 보장했습니다.

2. 데이터 수집 및 분석:

   • 데이터셋: 12 주 이상에 걸쳐 참여자들은 StableDiffusion, Imagen, MUSE 등 다양한 T2I 모델을 대상으로 적대적 프롬프트를 생성했습니다. 결과적으로 생성된 PLACES 데이터셋에는 해악으로 분류된 26,139 개의 프롬프트 - 이미지 쌍이 포함되어 있으며, 인간이 해악, 공격 모드, 대상이 된 정체성을 설명하는 주석을 덧붙였습니다.
   • 비교 분석: 이 연구는 PLACES 를 지리 무관한 Adversarial Nibbler (AdvNib) 데이터셋과 비교하여 커버리지와 다양성에서의 차이를 강조합니다.
   • 분석 기법:
     • UMAP 시각화: 프롬프트 임베딩을 투영하고 군집 패턴을 식별하여 고유한 지역별 주제를 드러내는 데 사용되었습니다.
     • 문화적 유물 분류체계: *민족지학 사전 (Ethnographic Thesaurus)*을 활용하여 프롬프트 내의 문화적 고유 참조 (예: 식생활, 의례, 물질 문화) 를 범주화하고 일반 용어와 구분했습니다.
     • 언어학적 분석: ShieldGemma 및 Perspective API 와 같은 모델을 사용하여 코드-믹싱 패턴과 안전성 필터 우회 영향에 대해 조사했습니다.
     • 정성적 발견: 참여자들의 자유 텍스트 피드백을 클러스터링하기 위해 LLM-in-the-loop 접근법을 사용한 후, 인간이 주제 코딩을 수행하여 기존 분류 체계에 포함되지 않은 새로운 해악 카테고리를 발굴했습니다.

주요 기여

1. PLACES 데이터셋

인간 주석이 포함된 약 26,000 개의 적대적 프롬프트 - 이미지 쌍으로 구성된 새로운 레드팀링 데이터셋입니다. 이 데이터셋의 특징은 다음과 같습니다:

• 높은 다양성: 코드-믹싱 (지역 언어와 영어의 혼합) 을 포함한 광범위한 사회문화적 및 언어적 속성을 포착합니다.
• 신규성: 원래 Adversarial Nibbler 컬렉션과 중복되는 프롬프트는 83 개에 불과하여, 참여형 접근 방식이 고유한 실패 모드를 대부분 산출함을 보여줍니다.
• 세분화: 공격 모드, 해악 유형, 대상이 된 정체성에 대한 구체적인 주석을 포함하여 지역별 변이 (예: 나이지리아에서는 '증오 및 괴롭힘'이, 인도에서는 '종교'가 더 높은 prevalence 를 보임) 를 드러냅니다.

2. 참여형 및 지역화 방법론

이 논문은 다음과 같은 커뮤니티 중심 레드팀링을 위한 성공적인 프로토콜을 확립합니다:

• 소외된 사용자 현실을 포착하기 위해 2 차 도시를 우선시합니다.
• 워크숍, 감독관 중재와 같은 맥락화 관행을 도입하여 지역별 통찰력을 표면화합니다.
• 서로 다른 문화적 맥락의 커뮤니티 구성원을 참여시키는 것이 단순히 더 많은 프롬프트를 수집하는 것 이상으로 다양성을 증가시켜, 규모를 훼손하지 않으면서 새로운 통찰력을 산출함을 입증합니다.

3. 새로운 안전성 통찰

이 분석은 글로벌 사우스의 T2I 안전성과 관련하여 세 가지 중요한 발견을 드러냅니다:

• 고유한 적대적 패턴: 지역화된 문화적 및 언어적 뉘앙스 (특히 코드-믹싱) 는 비지역화 접근 방식이 놓치는 적대적 벡터를 생성합니다. 예를 들어, 코드-믹싱된 프롬프트는 영어만 포함된 번역을 안전하지 않다고 표시한 안전성 필터 (ShieldGemma) 를 우회하는 것으로 발견되었습니다.
• 규범적 불일치 (Normative Dissonance): 이 연구는 모델 출력이 서구 안전 가이드라인과 일치하지 않는 지역적 도덕적 경계를 위반하는 '규범적 불일치'를 식별합니다. 예시는 다음과 같습니다:
  • 종교적 규범 위반 (예: 힌두교 남성이 소고기를 먹는 모습 묘사, 메카에서 무슬림이 도박하는 모습).
  • 지역 법률 및 관습 무시 (예: 인도에서 공작을 애완동물로 묘사, 싱가포르에서 껌을 씹는 모습).
  • 문화적 금기 표현 (예: 길 건너는 검은 고양이, 특정 날의 낚시).
• 표현적 해악 (Representational Harms): 이 논문은 다음과 같은 표현 실패를 상세히 기술합니다:
  • 존재론적 평탄화 (Ontological Flattening): 복잡하고 지역적인 개념을 서구적 대응물로 축소 (예: 지역 요리를 버거로 대체, '야크샤가나 (Yakshagana)' 예술가를 일반적인 고전 무용 의상으로 묘사).
  • 문화적 말살 (Cultural Erasure): 정체성의 고유한 시각적 표지를 일반적이거나 잘못된 고정관념으로 대체 (예: 아프리카 외과 의사에 대한 프롬프트에 흰색 남성이 수술을 수행하는 이미지 생성).
  • 멸시적 묘사: 프롬프트가 높은 사회경제적 지위를 암시함에도 불구하고 지역 인구를 빈곤이나 폭력과 체계적으로 연관시킴.

결과 및 의의

이 논문은 T2I 안전성을 확장하려면 단순한 규모를 넘어 심층적으로 지역화된 참여형 방법론을 도입해야 한다고 주장합니다. 결과는 다음을 뒷받침합니다:

• 안전성은 맥락에 의존함: 모델 실패는 문화적 및 언어적 단서의 서로 다른 범주에 따른 함수로 발생합니다. 무엇이 '안전'하거나 '해롭다'고 간주되는지는 지역 규범에 깊이 뿌리내려 있습니다.
• 현재 프레임워크의 한계: 기존 안전성 프레임워크 및 분류 모델 (ShieldGemma 등) 은 글로벌 사우스에서 인간이 주석을 다는 해악, 특히 '고정관념 및 편향' 및 '기타' 해악 카테고리에 대해 낮은 일치도를 보입니다.
• 참여의 가치: 커뮤니티 구성원들이 자신의 실제 경험을 바탕으로 해악을 정의하도록 권한을 부여함으로써, 이 연구는 상향식 또는 지리 무관한 접근 방식이 탐지하지 못한 안전성 프레임워크의 구조적 격차를 발견했습니다.

이 작업의 의의는 진정한 글로벌 AI 시스템이 대규모 크라우드소싱과 지역화된 커뮤니티 참여 사이의 간극을 메워야 함을 입증하는 데 있습니다. PLACES 데이터셋과 방법론은 특히 소외된 글로벌 사우스에 초점을 맞춘 AI 안전성 평가를 심화시키기 위한 풍부한 기반을 제공하며, 향후 모델 정렬에서 규범적 불일치를 해결할 필요성을 강조합니다.