💬 NLP

SoS: Analysis of Surface over Semantics in Multilingual Text-To-Image Generation

이 논문은 다국어 텍스트-이미지 모델에서 발생하는 "표면-대-의미"(Surface-over-Semantics, SoS) 현상에 대한 최초의 포괄적인 분석을 소개하며, 대부분의 모델이 의미론적 의미보다 표면적인 언어적 단서를 우선시하여 다양한 언어와 문화 전반에 걸쳐 문화적으로 정형화된 묘사를 초래한다는 점을 밝혀낸다.

원저자: Carolin Holtermann, Florian Schneider, Anne Lauscher

게시일 2026-01-26

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Carolin Holtermann, Florian Schneider, Anne Lauscher

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 입력한 대로 그림을 그리는 마법의 예술 기계가 있다고 상상해 보세요. 만약 당신이 "독일 사람을 그려줘"라고 말한다면, 기계는 독일 사람을 그려야 합니다. 하지만 똑같은 요청을 다른 언어, 예를 들어 "Zeichne eine Person aus Deutschland"(독일어)나 "Dibuja una persona de Alemania"(스페인어)로 입력하면 어떻게 될까요?

이 논문은 이 기계들에서 발견되는 **표면-의미 중첩(Surface-over-Semantics, SoS)**이라는 이상한 결함을 조사합니다.

핵심 문제: "억양"인가, 아니면 "의미"인가?

텍text-to-image 프롬프트를 예술가에게 보내는 편지라고 생각해 보세요.

의미 (Semantics): 편지의 실제 내용입니다. "독일 사람의 사진을 원합니다."
표면 (Surface): 편지가 쓰인 언어와 스크립트(문자)입니다. 영어로 쓰였나요, 힌디어로 쓰였나요, 아니면 중국어로 쓰였나요?

연구진은 이러한 많은 AI 예술 기계들이 이야기보다는 억양에 집중하는 서툰 번역가와 같다는 것을 발견했습니다. 당신이 영어로 "독일 사람"을 요청하면 기계는 독일 사람을 그립니다. 하지만 동일한 "독일 사람"을 다른 언어(예: 힌디어나 핀란드어)를 사용하여 요청하면, 기계는 종종 "독일"이라는 부분을 무시하고 대신 당신이 사용한 언어의 스테레오타입(고정관념)처럼 보이는 것을 그려냅니다.

마치 요리사에게 이탈리아어로 "스파게티"를 주문했는데, 요리사가 "스파게티"라는 단어 대신 "이탈리아"라는 말을 듣고 그것을 원한다고 가정하여 파스타 대신 피자를 내놓는 것과 같습니다.

실험: 글로벌 맛 테스트

이를 증명하기 위해 연구진은 거대한 "맛 테스트"를 설계했습니다:

메뉴: 17부터 171개의 다양한 문화적 정체성(예: "일본인", "나이지리아인", "브라질인")을 선정했습니다.
언어: "A photo of a [Culture] person"이라는 요청을 14개의 다양한 언어(영어, 아랍어, 중국어, 핀란드어 등을 포함)로 번역했습니다.
예술가: 7개의 서로 다른 AI 예술 기계에게 이 그림들을 그리도록 요청했습니다.
채점표: 결과값을 측정하기 위해 SoS 점수라고 불리는 새로운 측정 방식을 고안했습니다.

SoS 점수는 "편향 측정기"와 같습니다:

점수가 **양수(+)**라면, 기계가 의미에 집중했다는 뜻입니다 (예: 어떤 언어를 사용하든 독일 사람을 요청했을 때 독일 사람을 그린 경우).
점수가 **음수(-)**라면, 기계가 표면에 집중했다는 뜻입니다 (예: 핀란드어로 요청했을 때, 독일 사람을 요청했음에도 불구하고 핀란드어와 관련된 스테레오타입의 장면을 그린 경우).

연구 결과

대부분의 기계는 "표면에 치우쳐 있음": 테스트된 7개의 기계 중 6개가 사용된 언어에 강한 영향을 받았습니다. 만약 당신이 기계가 잘 다루지 못하는 언어로 입력한다면, 기계는 실제 요청한 문화가 아니라 그 언어의 스크립트나 문화와 관련된 스테레오타입을 기본값으로 그려내는 경우가 많았습니다.
"딥 다이브(Deep Dive)" 효과: 연구진은 기계의 내부(특히 텍스트가 처리되는 레이어)를 들여다보았습니다. 그 결과, 메시지가 기계 내부 깊숙이 전달될수록 편향이 더 강력해진다는 것을 발견했습니다. 이는 마치 메시지가 멀리 전달될수록 왜곡되는 "전화기 게임(말 전달하기 게임)"과 같습니다. 그림을 그리기 시작할 때쯤이면 언어의 "억양"이 원래의 의미를 완전히 집어삼킨 상태가 됩니다.
시각적 스테레오타입: 기계가 혼란에 빠졌을 때, 단순히 무작위적인 것을 그리는 것이 아니라 문화적 스테레오타입을 그렸습니다.
- 핀란드어 프로프트는 종종 눈 덮인 숲으로 나타났습니다.
- 암하라어(에티오피아 언어) 프롬프트는 종종 건조하고 모래가 날리는 사막으로 나타났습니다.
- 중국어나 일본어 프롬프트는 실제 요청과는 전혀 상관없는 피나 흉터 같은 무서운 요소들을 포함하기도 했습니다.

단 하나의 예외

AltDiffusion이라는 이름의 한 기계는 "모범생"이었습니다. 이 기계는 언어의 억양을 대부분 무시하고 의미에 집중하여, 어떤 언어를 사용하든 요청된 문화를 그려냈습니다. 하지만 이 기계조차 학습 과정에서 많이 접하지 못한 언어에 대해서는 약간 어려움을 겪었습니다.

이것이 중요한 이유

이 논문은 이러한 AI 도구들이 발전하고 있지만, 여전히 사각지대가 있다고 결론짓습니다. 이들은 단어의 의미보다는 단어의 모습(언어)에 너무 쉽게 휘둘립니다. 이는 당신이 모국어로 이 도구들을 사용할 때, 당신이 요청한 구체적인 사람이나 사물이 아니라 그 언어의 스테레오타입을 반영한 그림을 얻게 될 수도 있음을 의미합니다.

연구진은 이를 해결하기 위해, 특히 영어가 아닌 언어들에 대해 기계가 "억양"(표면)보다는 "이야기"(의미)에 더 집중하도록 훈련시켜야 한다고 제안합니다. 또한, 개발자들이 자신들의 기계가 공정한지 확인할 수 있는 도구로서 그들의 "편향 측정기"(SoS 점수)를 제안합니다.

기술 요약: 다국어 텍스트-이미지 생성에서의 표면-의미 우선 현상(Surface-over-Semantics) 분석

문제 정의

텍스트-투-이미지(T2I) 모델은 전 세계적으로 점점 더 많이 활용되고 있으나, 입력 언어에 대해 높은 민감도를 보인다. 의미론적으로 동일한 프롬프트(예: 프롬프트와 그 번역본)는 이론적으로 유사한 출력을 생성해야 하지만, 선행 연구에 따르면 T2I 모델이 비영어권 언어를 접할 때 문화적 고정관념이 반영된 묘사를 생성하는 경향이 있다. 이러한 현상은 입력의 표면 형태(특정 언어나 스크립트)와 의미적 내용(대상에 대한 실제 설명) 사이의 긴장을 시사한다. 기존 연구들은 이 문제를 식별했으나, 소수의 언어와 문화만을 다룬 소규모 분석에 국한되었으며, 결정적으로 모델이 의미(semantics)보다 표면 단서(surface cues)를 얼마나 우선시하는지를 정량화할 수 있는 포괄적인 방법을 결리하지 못했다. 이러한 격차는 전 세계적으로 포용적이고 문화적으로 공정한 T2I 모델의 발전을 저해한다.

방법론

데이터셋 구축

저자들은 이러한 동작을 체계적으로 분석하기 위해 새로운 다국어 데이터셋을 구축하였다:

문화적 범위: SeeGULL 데이터셋에서 171개의 고유한 문화적 정체성 그룹을 선택하였으며, 중복을 제거하고 이름을 표준화하여 정제하였다.
언어적 범위: 유형학적 다양성(인도-유럽, 아프로-아시아, 시노-티베트, 투르크, 한국어족, 일본어족, 우랄어족 포함)과 모델 커버리지를 보장하기 위해 선정된 14개 언어(영어 및 13개 기타 언어)로 프롬프트를 번역하였다.
프롬프트 템플릿: 세 가지 기본 템플릿(예: "A photo of a {ci} {pj}")을 정의하였고, 이를 문화적 정체성과 인물 용어("person", "woman", "man")와 결합하여 1,539개의 고유한 영어 프롬프트를 생성하였다.
번역: 영어와 대상 언어 모두에 능통한 원어민이 프롬프트를 번역하여, 성별 유무 및 성별 중립적 용어의 구분이 유지되도록 하였다.
이미지 생성: 7개의 최첨단 T2I 모델을 평가하였다: AltDiffusion-m9 (AD), Kandinsky-2-1 (K21), Kandinsky-3 (K3), Stable Diffusion v2.1 (SD21), Stable Diffusion XL (SDXL), Stable Diffusion 3 (SD3), 그리고 FLUX.1-dev (FX). 이미지는 고정된 랜덤 시드(42)를 사용하여 생성되었다.

정량화: 표면-의미(Surface-over-Semantics, SoS) 점수

적절한 지표의 부재를 해결하기 위해, 저자들은 언어 표현의 품질에 의한 편향을 피하면서 표면과 의미 사이의 긴장을 정량화하기 위해 설계된 임베딩 기반 측정법인 SoS 점수를 도입하였다.

참조 벡터: 모든 모델에 걸쳐 이미지를 풀링(pooling)하여 두 개의 참조 벡터를 계산한다:
- $\vec{surl}$ : 특정 언어 $l$ 의 모든 프롬프트로부터 생성된 이미지들의 평균 임베딩 (표면 형태를 나타냄).
- $\vec{semc}$ : 특정 문화적 정체성 $c$ 에 대해 생성된 모든 이미지의 평균 임베딩 (의미적 내용을 나타냄).
계산: 출력 이미지 $o_{c,l}$ 에 대하여, 점수는 해당 이미지가 의미 벡터와 갖는 코사인 유사도와 표면 벡터와 갖는 코사인 유사도의 차이다:
$SoS_{c,l}(o_{c,l}) = \cos(\vec{semc}, \vec{e_o}) - \cos(\vec{surl}, \vec{e_o})$
해석: 점수는 $[-1, 1]$ 범위를 가진다. 음수 값은 표면 형태(언어)에 더 강하게 정렬됨을 나타내며, 양수 값은 의미적 내용에 정렬됨을 나타낸다.

검증 및 분석

인간 검증: 이미지의 문화적 정체성(의미) 일치 여부 또는 언어 관련 문화(표면) 일치 여부를 확인하기 위해 인간이 이미지의 일부를 주석 처리하였다. SoS 점수는 인간의 판단에 대해 74.0%의 정확도를 달랐으며, CLIPScore에 비해 표면 수준의 경향을 탐지하는 데 있어 더 높은 정밀도(94.8%)를 보였다.
계층별 분석: DiffusionLens를 사용하여 SD21과 K3의 텍스트 인코더 계층 전반에서 SoS 경향이 어떻게 진화하는지 분석하였다.
시각적 발현: 저자들은 Qwen2-VL-7B-Instruct를 이용한 시각적 질의응답(VQA)을 통해 상세한 이미지 설명을 생성하였다. 이 설명들은 "Fighting Words" 기법을 통해 특정 언어-모델 쌍에 특징적인 토큰을 식별하는 데 사용되었으며, 이후 이 용어들을 알려진 문화적 고정관념(SeeGULL 데이터셋)과 비교하였다.

주요 결과

모델 및 언어 변이

표면 편향의 보편성: AD를 제외한 모든 모델이 최소 두 개 이상의 언어에서 강한 표면 수준의 경향을 보였다. AD는 일반적으로 의미적 경향을 보였으나, 힌디어, 암하라어, 핀란드어에 대해서는 여전히 표면 단서 쪽으로 기울었다.
모델 간 차이: FLUX (FX)는 한국어, 핀란드어, 일본어, 중국어에 대해 강한 음의 SoS 점수(표면 편형)를 나타냈다. Kandinsky-3 (K3)는 가장 작은 음의 평균 점수(중립에 가장 가까움)를 보였으며, SD3는 점수의 범위가 넓어 양방향으로 고정관념이 증폭될 수 있음을 시사했다.
계층 진화: 텍스트 인코더의 후기 계층으로 갈수록 프롬프트의 표면 형태에 대한 편향이 더 뚜렷해졌다. K3의 경우, 유럽 언어들은 후기 계층에서 중립성을 향해 이동한 반면, 아시아 언어들은 더 낮은(표면 편향적인) 점수로 이동했다.

상관관계 및 일반화 가능성

스크립트 유사성: SoS 점수의 피어슨 상관관계 분석 결과, 라틴 문자를 사용하는 인도-유럽 언어들 사이에서 강한 유사성이 발견되었다 (예: 이탈리아어와 스페인어는 0.7의 상관관계를 보임). 그러나 스크립트 유사성이 반드시 경향성을 결정짓는 것은 아니었다. 예를 들어, 중국어와 일본어는 스크립트 중첩에도 불구하고 낮은 상관관계를 보였으나, 중국어와 한국어는 높은 상관관계를 보였다.
개념 견고성: "person" 프롬프트에서 관찰된 SoS 경향은 "house" 프롬프트에서 관찰된 경향과 높은 상관관계( $r = 0.876$ )를 보였으며, 이는 이 지표가 인간 대상 외의 개념으로도 일반화될 수 있음을 나타낸다.

편향의 시각적 발현

고정관념 커버리지: 강한 표면 경향을 보이는 언어들은 종종 문화적으로 고정된 시각적 묘사를 유발했다. 예를 들어, 중국어 프롬프트에 대한 FLUX 생성물은 중국의 시각적 고정관념의 61.9%를 포함한 반면, 핀란드어 프롬프트는 (참조 세트 내 핀란드어 고정관념 데이터 부족으로 인해) 하나도 포함하지 않았다.
특정 연관성: VQA 분석은 체계적인 패턴을 드러냈다:
- 핀란드어: 눈 덮인 숲 장면이 빈번하게 생성됨.
- 암하라어: "건조한(arid)", "모래가 많은(sandy)", "덤불(bush)" 등의 용어가 높은 빈도로 등장함.
- 중국어/한국어/일본어/아랍어: 놀랍게도, 상당 부분의 이미지에 "피(blood)", "흉터(scars)", "튀긴 자국(splatter)" 등의 용어가 포함되어 안전 문제를 제기했다.
- 힌디어/암하라어/아시아 언어: "나비(butterflies)", "환상적인(fantastical)", "꿈결 같은(dreamlike)" 미학과 자주 연관되어, 생소한 언어가 초현실적인 이미지와 연결됨을 시사했다.
- 힌디어: AD의 전반적인 의미적 경향성에도 불구하고, 힌디어로 프롬프트를 입력했을 때 "사리(saree)"와 "인도(Indian)"가 빈번하게 포함되어 지속적인 문화적 연관성을 나타냈다.

의의 및 주장

본 논문은 광범위한 문화와 언어에 걸쳐 T2I 모델의 "표면-의미 우선(SoS)" 경향을 분석한 최초의 체계적인 분석이라고 주장한다. 주요 기여는 다음과 같다:

새로운 지표: 생성된 이미지 임베딩만을 사용하여 입력 언어와 의미적 내용 사이의 긴장을 정량화함으로써, CLIP과 같이 잠재적으로 편향될 수 있는 텍스트 참조 모델에 대한 의존도를 줄이는 SoS 점수를 도입하였다.
경험적 증거: 테스트된 대부분의 모델이 여러 언어에서 의미보다 표면 형태를 우선시하며, 이러한 경향이 텍스트 인코더의 깊은 계층에서 심화된다는 것을 입증하였다.
시각적 상관관계: 높은 표면 수준 경향과 문화적 고정관념 또는 잠재적으로 해로운 시각적 콘텐츠(예: 폭력, 특정 미적 트로프) 생성 사이의 직접적인 연결 고리를 확립하였다.
맥락적 뉘 Nuance: 저자들은 "바람직한" SoS 점수가 맥락에 따라 달라질 수 있다고 주장한다. 일반적인 개념에 대해서는 의미적 정렬이 중요하지만, 문화적으로 특수한 프롬프트에 대해서는 언어 특유의 근거 설정이 적절할 수 있다. 이들은 향가 시스템이 프롬프트 유형에 따라 동적으로 적응할 것을 권고한다.

저자들은 SoS 점수가 모델 학습을 더 공정한 출력으로 유도하기 위한 지표로 사용될 수 있지만, 포괄적인 공정성 척도는 아니며 생성 품질 및 사실적 정확성에 대한 다른 평가와 병행되어야 한다고 결론지었다.