[기술 요약] 이미지는 어디에서 오는가? 캡션을 이용한 데이터셋의 지리적 프로파일링 분석

1. 문제 정의 (Problem Statement)

최근 텍스트-이미지 생성 모델(Text-to-Image Models)이 특정 지역(예: 미국, 인도)에 편향된 이미지를 생성한다는 연구가 지속적으로 보고되고 있습니다. 이러한 지리적 편향의 근본 원인은 모델이 학습하는 대규모 멀티모달 데이터셋의 지리적 불균형에 있을 가능성이 높습니다. 그러나 기존 연구들은 모델의 출력물에 집중했을 뿐, 학습 데이터셋 자체가 전 세계를 어떻게 반영하고 있는지에 대한 대규모 데이터 중심(Data-centric) 분석은 부족한 실정이었습니다.

본 논문은 다음과 같은 핵심 질문을 던집니다:

• 대규모 시각-언어 데이터셋(Vision-Language Datasets) 내의 지리적 분포는 어떠한가?
• 데이터셋의 지리적 편향은 실제 세계의 분포와 얼마나 일치하는가?
• 데이터의 양(빈도)이 해당 국가의 시각적/의미적 다양성(Diversity)을 보장하는가?

2. 연구 방법론 (Methodology)

연구진은 이미지 자체의 메타데이터나 URL이 부정확할 수 있다는 점에 착안하여, 이미지의 내용을 설명하는 **'캡션(Caption)'**을 주요 지리적 신호로 활용하는 새로운 프레임워크를 제안했습니다.

A. 지리적 프로파일링 (Geo-profiling) 파이프라인

1. 캡션 기반 국가 추론 (Extract-Retrieve-Predict):
   • Extract: LLM(Gemini-2.5-Flash)을 사용하여 캡션에서 지명(Location)을 추출합니다.
   • Retrieve: 추출된 지명을 GeoNames 데이터베이스와 대조하여 상위 $k$개의 후보지를 검색합니다.
   • Predict: 검색된 후보지와 국가 정보를 LLM의 컨텍스트로 제공하여 최종 국가를 예측합니다. (In-context learning보다 효율적인 방식)
2. 엔티티 존재 확인 필터링 (Entity Presence Filtering): 캡션에 특정 엔티티(예: '집', '자동차')가 언급되더라도 실제 이미지에 해당 객체가 없을 수 있으므로, 학습된 SVM 분류기를 통해 이미지 내 엔티티 존재 여부를 검증합니다.

B. 분석 대상 및 지표

• 데이터셋: Re-LAION2B-en, DataComp1B, Conceptual Captions (CC12M).
• 엔티티: 집, 자동차, 산, 해변, 국기 등 20개의 보편적 시각 객체.
• 다양성 측정: Vendi Score를 사용하여 이미지와 캡션의 의미적 다양성을 정량화합니다.
• 모델 생성물 분석: Stable Diffusion v1.3이 생성한 국가별 이미지의 정밀도(Precision, 실사성)와 재현율(Recall, 커버리지)을 측정합니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

A. 심각한 지리적 불균형 발견

• 서구권 편향: 영어 캡션 데이터셋에서 미국, 영국, 캐나다가 전체 샘플의 **48.0%**를 차지합니다. 반면, 남미(1.8%)와 아프리카(3.8%)는 극도로 과소 대표(Under-represented)되어 있습니다.
• 경제력과의 상관관계: 국가의 명목 GDP와 데이터셋 내 등장 빈도 사이에 매우 강한 상관관계($\rho = 0.82$)가 관찰되었습니다. 즉, 부유한 국가의 데이터가 압도적으로 많습니다.
• 언어적 특성: 다국어 데이터셋의 경우, 해당 언어가 주로 사용되는 지역의 데이터가 집중되는 경향을 보였습니다 (예: 스페인어 캡션은 남미 비중이 높음).

B. 실제 세계 분포와의 괴리 (Misalignment)

• 연구 결과, 조사된 엔티티의 평균 33.8% 국가가 실제 세계의 분포보다 과소 대표되고 있었습니다. 예를 들어, '해변'이나 '산' 같은 엔티티도 실제 지리적 특성을 반영하지 못하고 특정 국가에 편중되어 나타났습니다.

C. 빈도와 다양성의 불일치

• 빈도가 높다고 다양성이 높은 것은 아님: 국가의 데이터 등장 빈도와 이미지 다양성 사이의 상관관계는 중간 정도($\rho \approx 0.54$)에 불과했습니다.
• 스테레오타입 형성: 특정 국가(예: 노르웨이)는 데이터는 많지만 풍경 위주의 단조로운 이미지만 있는 반면, 다른 국가(예: 멕시코)는 데이터 양은 적어도 훨씬 다양한 맥락을 포함하고 있었습니다.

D. 생성 모델의 한계 (Stable Diffusion 분석)

• 모델이 생성한 이미지는 시각적으로는 실사 같아 보이지만(High Precision), 실제 세계의 다양한 모습을 담아내는 능력(Low Recall)은 매우 낮았습니다.
• 특히 인도 자동차(Indian cars) 생성 시, 실제의 다양한 차량 대신 낡고 허름한 차량만을 반복적으로 생성하는 시각적 스테레오타입(Stereotyping) 현상이 확인되었습니다.

4. 연구의 의의 (Significance)

본 연구는 멀티모달 AI 모델의 편향성을 해결하기 위해 모델 자체의 구조 개선뿐만 아니라, **데이터셋 구축 단계에서의 지리적 포용성(Geographical Inclusivity)**이 필수적임을 입증했습니다.

1. 데이터 큐레이션 가이드라인 제공: 데이터 수집 시 GDP나 언어 중심의 편향을 경계하고, 실제 세계의 지리적 분포를 반영할 수 있는 체계적인 방법론을 제시했습니다.
2. 새로운 평가 프레임워크: LLM을 활용하여 대규모 웹 데이터의 지리적 분포를 효율적으로 프로파일링할 수 있는 기술적 토대를 마련했습니다.
3. AI 윤리 및 공정성: 생성형 AI가 특정 지역에 대해 왜곡된 시각(스테레오타입)을 강화할 수 있음을 데이터 수준에서 증명하여, 보다 공정한 AI 개발의 필요성을 강조했습니다.