Cultural Counterfactuals: Evaluating Cultural Biases in Large Vision-Language Models with Counterfactual Examples

이 논문은 인종이나 성별과 같은 외형적 특성이 아닌 종교, 국적, 사회경제적 지위와 같은 문화적 맥락에 따른 편향을 측정하기 위해, 동일한 인물을 다양한 실제 문화적 배경에 배치한 약 6 만 개의 합성 반사실 (counterfactual) 이미지 데이터셋인 'Cultural Counterfactuals'를 제안하고 이를 통해 대규모 시각 - 언어 모델 (LVLM) 의 문화적 편향을 정량화하는 방법을 제시합니다.

핵심

🎬 핵심 아이디어: "배경이 바뀌면 성격도 바뀐다?"

상상해 보세요. 같은 사람이 사진을 찍는데, 배경이 성당이면 "성실하고 착한 사람"이라고 하고, 모스크로 바뀌면 "위험한 사람"이라고 한다면 어떨까요?

최근의 거대한 AI(대형 시각 - 언어 모델) 들은 이런 문화적 편견을 가지고 있을 수 있습니다. 하지만 기존의 연구들은 주로 "인종"이나 "성별"처럼 얼굴만 보고 판단하는 편견만 다뤘습니다. 종교, 국적, 부유함처럼 얼굴만으로는 알 수 없는 '배경'에 따른 편견은 잘 연구되지 않았죠.

이 논문은 바로 그 숨겨진 편견을 찾아내기 위해 **'문화적 반증 (Cultural Counterfactuals)'**이라는 새로운 도구를 만들었습니다.

---

🛠️ 연구 방법: "배경만 바꾸는 마법 사진"

연구진은 AI 의 편향을 측정하기 위해 아주 똑똑한 방법을 썼습니다.

1. 동일한 주인공: 먼저 AI 가 인식할 수 있는 다양한 인종, 성별, 나이의 가상의 사람 7,200 명을 만들었습니다.
2. 배경만 교체: 이 사람들을 실제 사진 속 다양한 배경 (성당, 모스크, 빈민가, 고급 주택가, 미국, 한국 등) 에 합성했습니다.
   • 비유: 마치 게임 캐릭터를 만들어서, 같은 캐릭터를 **서로 다른 맵 (배경)**에 데려다 놓은 것과 같습니다.
3. 질문하기: AI 에게 "이 사람은 어떤 사람인가요?", "이 사람에게 월급을 얼마 주시겠어요?", "이 사람이 체포되었다면 무슨 죄일까요?"라고 물었습니다.

핵심은? 사람 (주인공) 은 똑같은데 배경만 달라졌을 때, AI 의 대답이 달라지는지 확인하는 것입니다.

---

🔍 발견된 사실: AI 의 "선입견"이 드러나다

이 실험을 통해 5 개의 주요 AI 모델에서 900 만 번 이상의 질문을 던졌고, 놀라운 편향들이 발견되었습니다.

1. 돈 문제 (월급과 집값)

• 상황: 같은 사람이 미국이나 독일 배경에 있으면 더 높은 월급을 제안받았지만, 브라질이나 인도, 모로코 배경에 있으면 월급이 낮게 책정되었습니다.
• 재미있는 점: 집값을 물어볼 때도 비슷했습니다. 부유한 배경에 있는 사람에게는 비싼 집을 추천하고, 가난한 배경에 있는 사람에게는 싼 집을 추천했습니다. AI 는 사람의 능력보다 배경의 이미지에 따라 돈을 다르게 매기는 경향이 있었습니다.

2. 위험한 편견 (체포와 나쁜 영향)

• 상황: "이 사람이 체포되었다면 무슨 죄일까요?"라고 물었을 때, 모스크 배경이 나오면 "테러 용의자" 같은 답변이, 성당 배경이 나오면 "아동 성범죄" 같은 답변이 더 자주 나왔습니다.
• 나쁜 영향: 가난한 배경의 사람은 "사회 규범을 어기는 나쁜 사람"이라고, 부유한 배경의 사람은 "과도한 소비를 부추기는 나쁜 사람"이라고 묘사되기도 했습니다.
• 비유: AI 는 마치 영화의 장르를 배경만 보고 결정하는 것 같습니다. 모스크 배경이면 '스릴러/범죄물', 성당 배경이면 '드라마/비극물'로 인식하는 식입니다.

3. AI 의 거부 (거부 반응)

• 어떤 모델들은 모스크 배경이 나올 때만 질문을 거부하거나, "이건 알 수 없다"고 답하는 경우가 유독 많았습니다. 이는 AI 가 특정 문화적 배경을 '위험'하거나 '처리하기 어렵다'고 인식하고 있다는 신호일 수 있습니다.

---

💡 왜 이 연구가 중요한가요?

이 연구는 AI 가 단순히 "얼굴"만 보고 편견을 갖는 게 아니라, **주변 환경 (문화적 맥락)**에 따라 사람을 어떻게 평가하는지도 매우 중요하다는 것을 보여줍니다.

• 기존의 문제: "이 사람은 인종이 다르니까 차별한다"는 건 알 수 있었지만, "이 사람은 종교적 배경이 다르니까 차별한다"는 건 알기 어려웠습니다.
• 이 연구의 기여: 같은 사람이라도 어디에 서 있느냐에 따라 AI 가 다르게 대우할 수 있다는 것을 숫자로 증명했습니다.

🚀 결론: AI 를 더 공정하게 만들기 위해

이 논문은 AI 개발자들에게 중요한 메시지를 줍니다.

"AI 를 훈련시킬 때, 단순히 얼굴만 똑똑하게 만드는 게 아니라, 배경과 문화에 대한 편견까지 없애야 진짜 공정한 AI 가 됩니다."

마치 선생님이 학생을 볼 때, 교실의 위치나 학생이 입고 있는 옷에 따라 성적을 다르게 매기지 않도록, AI 도 배경에 상관없이 모든 사람을 공정하게 평가하도록 도와야 한다는 뜻입니다.

이 연구는 바로 그 공정한 AI를 만들기 위한 첫걸음인 정밀한 진단 도구를 제공한 것입니다.

기술 요약

1. 문제 정의 (Problem Statement)

최근 대규모 시각 - 언어 모델 (LVLMs) 의 성능이 비약적으로 향상되었으나, 여전히 해로운 사회적 편향을 내포하고 있습니다. 기존 편향 연구들은 주로 인종, 성별 등 시각적 특징 (physical appearance) 으로 직접적으로 식별 가능한 인구통계학적 특성에 집중해 왔습니다.

그러나 문화적 편향 (religion, nationality, socioeconomic status 등) 은 개인의 외모만으로는 판단하기 어렵고, 이미지에 포함된 문화적 맥락 (context) 에 의존합니다. 예를 들어, 종교는 외모로 알 수 없으나 예배 장소에 의해 드러납니다. 기존 연구의 한계는 다음과 같습니다:

• 맥락 데이터 부재: 문화적 맥락이 명시적으로 주석된 데이터셋이 부족합니다.
• 변수 분리 어려움: LVLM 의 편향이 '개인의 외모' 때문인지 '배경 문화' 때문인지 구분하기 어렵습니다.
• 합성 이미지의 한계: 완전한 합성 이미지 (AI 생성) 는 특정 문화적 맥락의 미세한 차이를 정확히 표현하지 못해 신뢰할 수 있는 편향 측정이 어렵습니다.

2. 방법론 (Methodology)

저자들은 이러한 격차를 해소하기 위해 Cultural Counterfactuals라는 새로운 데이터셋과 평가 프레임워크를 제안했습니다.

A. Cultural Counterfactuals 데이터셋 구축

• 개념: 동일한 인물이 서로 다른 문화적 맥락 (종교, 국적, 소득 수준) 에 배치된 반사실적 (counterfactual) 이미지 집합을 구성합니다.
• 생성 파이프라인:
  1. 소스 이미지 확보: 기존 데이터셋 (Google Landmarks, VIPPGeo, Dollar Street 등) 에서 실제 촬영된 문화적 배경 이미지와 다양한 인구통계학적 속성 (인종, 성별, 나이) 을 가진 합성 인물 이미지를 확보합니다.
  2. 이미지 편집: FLUX.1-Kontext 와 같은 최신 이미지 편집 모델을 사용하여 합성 인물을 실제 배경 이미지에 배치합니다.
  3. 다단계 필터링 및 재생성:
     • CLIP 필터링: 생성된 이미지가 원본 배경 및 인물과 유사도가 낮으면 (배경이 사라지거나 인물이 사라지는 경우) 제거합니다.
     • 맥락 감지 필터링: 배경에서 인물을 제거한 후 Qwen2.5-VL 모델로 문화적 맥락을 재식별하여, 맥락이 명확히 인식되지 않는 경우를 제거합니다.
     • 재생성 루프: 실패한 경우 시드 (seed) 와 가이드 스케일 (guidance scale) 을 변경하거나 새로운 배경 이미지를 샘플링하여 5 단계를 거쳐 재생성합니다.
• 데이터 규모: 총 약 59,800 개의 이미지가 10,300 개의 반사실적 세트 (Set) 로 구성되었으며, 종교 (6 개), 국적 (8 개), 소득 수준 (3 개) 의 맥락을 다룹니다.

B. 편향 평가 프레임워크

총 907 만 개의 텍스트 시퀀스를 생성하여 5 가지 오픈소스 LVLM(Qwen2.5-VL, Gemma-3, InternVL3, LLaVA-v1.6, Molmo) 을 평가했습니다.

• 출력 유형별 분석:
  1. 숫자 출력 (Numerical): 고용 (급여) 및 주거 (임대료) 결정 시 문화적 맥락에 따른 편차 측정.
  2. 단어 출력 (Single Word): 5 개의 키워드를 통해 맥락에 따른 특성 묘사 변화 (Jaccard 유사도 기반 민감도 분석) 측정.
  3. 서술형 텍스트 (Narrative): "이 사람은 ~해야 한다/하지 말아야 한다", "구속되었다/상패를 받았다" 등의 문장 완성 작업을 통해 고정관념과 독성 (Toxicity) 분석.
• 평가 지표:
  • 맥락 인식 정확도: 모델이 배경의 문화적 맥락을 올바르게 분류하는지 확인.
  • 거부율 (Refusal Rate): 특정 맥락 (예: 모스크) 에서 답변을 거부하는 비율 분석.
  • MaxToxicity: 반사실적 세트 내에서 맥락 간 독성 생성의 편차 측정.
  • 토픽 모델링: 고독성 응답에서 발견된 고정관념 키워드 (예: '테러', '무기 제조' 등) 와 맥락의 연관성 분석.

3. 주요 기여 (Key Contributions)

1. Cultural Counterfactuals 데이터셋 공개: 종교, 국적, 사회경제적 지위와 관련된 문화적 편향을 진단하기 위한 최초의 반사실적 이미지 데이터셋을 공개했습니다.
2. 강건한 편향 평가 프레임워크: 수치, 단어, 서술형 텍스트 등 3 가지 출력 유형을 포괄하는 체계적인 평가 방법을 제시했습니다.
3. 대규모 편향 분석: 907 만 개의 응답을 분석하여 LVLM 이 문화적 맥락에 따라 어떻게 편향된 결정을 내리는지 실증적으로 입증했습니다.

4. 주요 결과 (Key Results)

• 맥락 인식 능력: 모델에 따라 문화적 맥락 인식 능력이 크게 달랐습니다 (Qwen2.5-VL 은 종교/국적 인식률이 80% 이상, LLaVA-v1.6 은 국적 인식률이 23% 로 무작위 수준).
• 경제적 편향 (급여/임대료):
  • 동일한 인물이더라도 배경의 국적 (미국, 독일 등 vs 브라질, 인도 등) 이나 소득 수준 (고소득 vs 저소득) 에 따라 제안된 급여와 임대료에 통계적으로 유의미한 편차가 발생했습니다.
  • 특히 저소득 맥락이나 특정 국가 배경에서는 급여가 낮게 책정되거나 임대료가 높게 책정되는 등 차별적 패턴이 관찰되었습니다.
• 독성 및 고정관념 (Toxicity & Stereotypes):
  • 종교적 맥락: 모스크 (Mosque) 배경이 포함된 경우 '테러', '무기 제조' 등 부정적이고 폭력적인 고정관념이 높은 독성 점수와 함께 빈번하게 생성되었습니다. 반면 기독교 교회 배경에서는 '성추행' 등의 다른 고정관념이 나타났습니다.
  • 소득 수준: 저소득 맥락에서는 '사회에 나쁜 영향 (bad influence)'으로 인한 범죄나 비윤리적 행동이, 고소득 맥락에서는 '물질주의'와 관련된 비판이 생성되었습니다.
  • 거부 현상: 특정 모델 (LLaVA, Gemma) 이 모스크 배경의 이미지에 대해 'Arrest(구속)'나 'Bad Influence' 질문을 할 때 답변을 거부하는 비율이 급증했습니다. 이는 안전 장치가 특정 문화적 맥락에 과도하게 민감하게 작동함을 시사합니다.
• 교차성 (Intersectionality): 인종과 문화적 맥락이 교차할 때 편향이 더욱 강화되었습니다. 예를 들어, 모스크 배경에서 중동계 인종이 묘사된 경우 '대량살상무기 제조'와 같은 편향된 응답이 가장 빈번하게 발생했습니다.

5. 의의 및 시사점 (Significance)

• 맥락 기반 편향의 중요성 강조: LVLM 의 편향이 단순히 인물의 외모뿐만 아니라, 이미지가 제시하는 문화적 맥락에 의해 크게 영향을 받음을 입증했습니다.
• 정밀한 진단 도구 제공: 기존 데이터셋으로는 불가능했던 '동일 인물 + 다양한 맥락' 실험을 통해, 모델이 맥락에 따라 어떻게 편향된 판단을 내리는지 정량적으로 측정할 수 있는 표준을 마련했습니다.
• 안전 장치의 문제점 지적: 특정 문화적 맥락 (예: 모스크) 에 대해 모델이 과도하게 답변을 거부하거나 편향된 고정관념을 생성하는 현상은 AI 의 공정성과 포용성 측면에서 해결해야 할 중요한 과제로 제시됩니다.
• 향후 연구 방향: 문화적 편향을 완화하기 위해서는 모델이 문화적 맥락을 정확히 인식하면서도, 그 맥락에 기반한 편향된 추론을 하지 않도록 하는 새로운 학습 전략과 평가 기준이 필요함을 강조합니다.

이 연구는 다중 모달 AI 의 편향 문제를 인종/성별을 넘어 종교, 국적, 계층 등 더 넓은 문화적 차원으로 확장하여 분석한 선구적인 작업입니다.