Assessing the Geographic Diversity of AI's Platial Representations in Image Generation

기술 요약: AI의 이미지 생성에 나타나는 지리적 표상의 지리적 다양성 평가

문제 정의
생성형 AI(GenAI)의 다양성 결여는 흔히 윤리적 문제로 다뤄지지만, 본 논문은 이를 불확실성과 인지 편향에 뿌리를 둔 근본적인 지리 정보 과학(GIScience) 문제라고 주장한다. 기존 연구들은 정보 이론적 척도인 힐 수(Hill number)를 사용하여 텍-기반 AI 출력물(예: 국가 이름을 언급하는 챗봇)의 지리적 다양성을 정량화해 왔다. 그러나 이미지 생성에서는 심각한 격차가 존재한다. 텍스트와 달리 이미지는 풍부하고 고차원적인 정보를 포함하고 있어, 구성 객체를 식별하기 위한 의미론적 분할(semantic segmentation)이 필요하다. 현재의 지리적 다양성 운영 방식은 텍-투-이미지(T2I) 생성의 다중 모드(multimodal) 특성에 적용되지 않았으며, 생성된 출력물 내 지리적 엔티티 간의 유사성(예: 서로 다른 유형의 랜드마크) 또한 고려하지 못하고 있다.

연구 방법론
저자들은 오스트리아 빈(Vienna)을 사례 연구로 사용하여 AI 이미지 생성의 지리적 다양성을 측정하기 위한 프레임워크를 제안한다. 방법론은 다음과 같은 세 가지 주요 단계로 구성된다:

1. 실험 설정 및 데이터 생성:

   • 본 연구는 OpenAI의 다중 모드 생태계를 활용한다. 구체적으로, 사용자 프롬프트를 수정하여 T2I 모델(GPT Image 1, GPT Image 1 Mini, GPT Image 1.5)을 호출하는 에이전트 역할을 하는 GPT-4o 대규모 언어 모델(LLM)을 사용한다. 또한 독립형 T2I 모델(DALL·E 2, DALL·E 3)도 활용한다.
   • "빈의 이미지를 생성해줘(Generate an image of Vienna)"라는 프롬프트를 각 모델 구성별로 30회의 독립적인 세션 동안 제출하였다.
   • 워크플로우는 (LLM에 의해 처리된) 수정된 프롬프트와 생성된 이미지를 모두 포착한다.

2. 의미론적 주석 및 유사성 계산:

   • 랜드마크 식별: 연구자들은 각 수정된 프롬프트에서 주요 랜드마크를(첫 번째로 언급된 랜드마크로 정의), 그리고 각 생성된 이미지에서(전경 랜드마크로 정의) 수동으로 식별하였다.
   • 지식 베이스 매핑: 식별된 랜드마크들은 위키데이터(Wikidata) 엔티티로 매핑되었다.
   • 유사성 가중치 부여: 모든 서로 다른 엔티티를 동일하게 차이가 있는 것으로 취급하는 표준 다양성 척도의 한계를 해결하기 위해, 저자들은 "장소 유형 유사성(place-type similarity)"을 계산하였다. 위키데이터 내의 라다 거리(Rada distance, 의미론적 네트워크에서의 최단 경로 길이)를 사용하여 랜드마크 쌍 간의 유사성을 계산하였다. 예를 들어, 두 개의 교회가 성당과 오페라 하우스보다 더 유사하다고 간주하는 방식이다.

3. 다양성 측정:

   • 힐 수 ($^qD$): 랜드마크를 서로 다른 종(species)으로 취급하여 표준 다양성(풍부도와 균등도)을 측정하였다.
   • 레인스터-코볼드 수 ($^qD_Z$): 힐 수의 유사성 민감형 확장 버전인 레인스터-코볼드 수를 적용하였다. 이 지표는 라다 거리로부터 도출된 유사성 행렬($Z$)을 통합한다. 이는 매우 유사한 종(또는 랜드마크)의 군집은 구성 요소가 동일하더라도 서로 매우 다른 종의 군집보다 다양성이 낮다는 가설을 바탕으로 한다.
   • 다양성 프로필: 결과는 다양한 $q$ 차원(여기서 $q=0$은 풍부도, $q=1$은 섀넌 엔트로피, $q=2$는 균등도를 강조함)에 걸쳐 시각화되었다.

주요 기여

• 다중 모드 평가 프레임워크: 본 논문은 AI의 지리적 다양성을 평가하기 위해서는 프롬프트 수정(LLM 처리)과 이미지 생성(T2I 처리)을 모두 고려하는 다단계 접근 방식이 필요함을 입증하며, 멀티 에이전트 시스템의 역할을 강조한다.
• 유사성 민감형 지표: 저자들은 지리적 다양성에 레인스터-코볼드 수를 적용하는 것을 소개한다. 보조 지식 베이스(위키데이터)를 통합하여 의미론적 유사성을 계산함으로써, 표준 척도보다 의미론적으로 유사한 특징(예: 여러 종류의 교회)의 과잉 표상을 더 엄격하게 처벌하는 보다 총체적인 측정 방식을 제공한다.
• 실증적 사례 연구: 본 연구는 텍스트 기반 벤치마크를 넘어 특정 장소의 시각적 표현을 다룸으로써, AI 생성 이미지의 지리적 다양성을 분석한 첫 번째 실증적 분석을 제공한다.

결과
분석 결과 몇 가지 반직관적인 발견이 도출되었다:

• 모델 성능 vs 다양성: 최신 모델이라고 해서 반드시 지리적 다양성이 높은 것은 아니다. 예를 들어, GPT Image 1(및 그 Mini 버전)은 이미지 생성에서 일관되게 가장 낮은 다양성을 보였다. 반면, 구형 모델인 DALL·E 2는 유사성을 무시했을 때 최신 모델들보다 높은 다양성(특히 균등도 측면에서)을 보였다.
• 프롬프트 vs 이미지 다양성: LLM에 의해 수정된 프롬프트는 T2I 모델이 생성한 최종 이미지보다 일관되게 더 높은 지리적 다양성을 나타냈다. 이는 이미지 생성 단계에서 병목 현상 또는 균질화 효과가 발생함을 시사한다.
• 원형성 및 균질성: 모든 모델은 성 슈테판 대성당(St. Stephen's Cathedral)을 압도적으로 선호하는 강력한 "원형성 효과(prototypicality effect)"를 보였다. 특정 랜드마크의 분포는 모델 간에 약간씩 달랐으나, 다양성의 결여는 명백하고 공통적이었다.
• 유사성의 영향: 레인스터-코볼드 수는 힐 수보다 일관되게 낮게 나타났다. 이는 모델들이 다양한 명칭의 랜드마크를 생성할 수는 있지만, 이 랜드마크들이 종종 의미론적으로 유사(예: 서로 다른 유형의 교회나 궁전)하여, 의미론적 유사성을 고려할 경우 "다양성 붕괴(diversity collapse)"가 일어남을 나타낸다.
• 타당도 비율: 최신 모델들(GPT Image 1.5, GPT Image 1, GPT Image 1 Mini)은 식별 가능한 랜드마크를 생성하는 데 있어 100%의 타당도를 달달성한 반면, DALL·E 2는 67%로 가장 낮은 타당도를 보였다. 그러나 수정된 프롬프트의 타당도가 이미지보다 낮았는데, 이는 T2I 모델이 프롬프트 내의 명시적인 언어적 단서 없이도 랜드마크의 시각적 묘사를 생성할 수 있음을 시사한다.

의의 및 주장
본 논문은 생성형 AI의 지리적 다양성이 단순히 언급되는 장소의 수가 아니라, 어떻게 특정 장소가 묘사되는지, 즉 '지리적 표상(platial representations)'—그 묘사의 의미론적 다양성—에 관한 문제라고 주장한다.

• 윤리를 넘어: 저자들은 다양성을 불확실성의 함수이자 인지 편향(특히 고정된 원형적 지리 범주에 대한 의존)의 발현으로 규정한다.
• 스테레오타이핑의 위험: 관찰된 균질성은 복잡한 도시가 좁은 범위의 상징적 랜드마크로 축소되는 스테레오타입적 표상을 초래할 위험이 있다.
• 방법론적 발전: 레인스터-코볼드 수가 힐 수보다 더 깊은 수준의 다양성 결여를 드러낸다는 점을 보여줌으로써, 본 논문은 생성형 AI의 표상 편향을 정확하게 평가하기 위해 미래의 평가에는 반드시 의미론적 유사성을 포함해야 한다고 주장한다.
• 행동 촉구: 저자들은 생성형 (지리)AI 시스템의 편향을 이해하고 정량화하기 위해, 불확실성 정량화 및 환경 지각 문헌을 바탕으로 다양한 지리적 규모와 양상을 아우르는 체계적인 장소 중심 사례 연구를 수행할 것을 촉구한다.