기술 요약: 공포스러운 이미지 생성

문제 정의

본 논문은 생성형 AI(GenAI) 모델과 온라인 시각 미디어가 상호작용하며 부정적인 감정적 콘텐츠를 증폭시키는 현대 정보 환경 내의 잠재적인 "악순환(unvirtuous cycle)"을 조사한다. 저자들은 생성형 AI 시스템이 소셜 미디어의 방대한 디지털 흔적 데이터로 학습됨에 따라, 사용자의 텍스트 프롬프트가 가진 감정적 어조와 관계없이 공포와 같은 부정적인 감정을 유발하는 이미지를 생성하는 체계적인 편향을 보일 수 있다는 가설을 세운다. 이러한 편향은 다음과 같은 피드백 루프를 영속시킬 수 있다: 콘텐츠 제작자들이 참여도를 높이기 위해 감정이 격앙된 미디어를 생산하고, AI 모델은 생성된 콘텐츠에서 이러한 부정적 감정을 과잉 대표하며, 이 콘텐츠가 다시 미래의 학습 데이터셋에 흡수되어 모델을 더욱 왜곡시키는 것이다.

방법론

데이터셋

본 연구는 두 가지 주요 데이터셋을 활용한다:

1. EmoSet: Mikels 모델을 사용하여 8가지 불연속적 감정(즐거움, 경외, 만족, 흥분, 분노, 혐오, 공포, 슬픔) 중 하나로 주석이 달린 118,102개의 이미지로 구성된 다중 클래스 데이터셋이다. 이는 이미지 감정 인식 모델을 미세 조정(fine-tuning)하고 검증하는 데 사용되었다.
2. DiffusionDB: Stable Diffusion으로 생성된 1,400만 개의 이미지를 포함하는 대규모 텍스트-투-이미지 프롬프트 데이터셋이다. 저자들은 소스 프롬프트와 생성된 이미지를 비교하기 위해 10,000개의 프롬프트-이미지 쌍( "2m-first-10k" 서브셋)을 분석하였다.

감정 인식 파이프라인

감정적 편향을 평가하기 위해, 저자들은 두 양식(modality) 모두에 대해 자동화된 감정 인식 방법을 개발하고 검증하였다:

• 이미지 감정 인식: 저자들은 세 가지 접근 방식(제로샷 비전-언어 모델(BLIP, CLIP, ALBEF), 오토 캡셔닝 파이프라인, 미세 조정된 이미지 분류기)을 평가하였다. EmoSet 데이터셋을 사용하여 세 가지 아키텍처(Google의 Vision Transformer, Microsoft의 Swin Transformer, ConvNeXT)를 미세 조정하였다. **미세 조정된 Google Vision Transformer (ViT)**가 가장 높은 매크로 평균 F1 점수(0.7343)를 기록하여 이미지 분석을 위한 주요 도구로 선택되었다.
• 텍스트 감정 인식: 텍스트 프로프트를 위해 저자들은 다중 레이블 감정 인식을 위해 설계된 최첨단 모델인 Demux-MEmo를 채택하였다. 저자들은 SemEval-2018, Paletz, GoEmotions 벤치마크에서 사전 학습된 구성을 테스트하였다. Demux-MEmo는 복잡한 다중 레이블 감정 상태를 처리하고 모순된 예측(예: 공포와 슬픔처럼 공존하는 감정 구분)을 해결하는 능력을 바탕으로 선택되었다.
• 교차 양식 정렬(Cross-Modality Alignment): 텍스트와 이미지 레이블을 비교하기 위해, 저자들은 텍스트 모델의 다양한 감정 집합(예: GoEmotions의 27개 클래스)을 Ekman 그룹 및 EmoSet 카테고리에 매핑하였다. 일관성을 확보하기 위해 이 매핑 과정에서 긍정적 감정들을 단일 "기쁨(Joy)" 레이블로 통합하였다.

편향 측정

핵적인 목적은 각 감정에 대한 참 양성률(TPR)과 거짓 양성률(FPR)을 계산하여 "의도하지 않은 감정적 편향"을 측정하는 것이었다:

• TPR (재현율): 프롬프트에 감정 E가 포함되었을 때 이미지가 감정 E를 유발하는 빈도.
• FPR: 프롬프트에 감정 E가 포함되지 않았음에도 불구하고 이미지가 감정 E를 유발하는 빈도.
• 편향의 정의: 모델이 높은 TPR(프롬프트의 감정을 강력하게 재현)과 높은 FPR(프롬프트가 없어도 해당 감정을 생성)을 모두 보이는 경우 해당 감정은 편향된 것으로 간주된다. 저자들은 평균 TPR/FPR 값과 95% 신뢰 구간을 계산하기 위해 1,000회의 재표본 추출을 포함한 부트스트래핑을 사용하였다.

주요 결과

1. 모델 검증

미세 조정된 ViT 모델은 EmoSet 데이터셋에서 견고한 성능을 입증하였으며, 제로샷 및 오토 캡셔닝 베이스라인을 크게 상회하였다. 외부 데이터셋인 Emotion6에 대한 검증에서도 인간의 주석과 높은 일치도를 보였으나, "분노"의 경우 성능이 눈에 띄게 낮았다. 결정적으로, 무작위 가우시안 노이즈 이미지에 대한 테스트 결과 모델이 특정 감정으로 치우친 기본 편향을 보이지 않았는데, 이는 생성 과정에서 관찰된 편향이 인식 모델 자체의 오류가 아님을 시사한다.

2. 교차 양식 상관관계

전체 텍스트 프롬프트와 생성된 이미지 사이의 감정을 비교했을 때, 상관관계는 일반적으로 약했다. Ekman의 6가지 감정으로 집계한 후에도 상관관계는 여전히 낮았으며(평균 교차 양식 상관관계 0.0327), "공포"가 0.0609로 최대 상관관계를 보였다. 이는 생성된 이미지의 감정 분포가 소스 프롬프트의 분포를 자연스럽게 반영하지 못함을 나타낸다.

3. 체계적 공포 편향의 증거

DiffusionDB 서브셋 분석 결과, 공포에 대한 뚜렷한 편향이 발견되었다:

• Stable Diffusion: 공포는 가장 높은 TPR(약 60%)과 가장 높은 FPR(40%에 근접)을 기록하였다. 이는 프롬프트가 공포를 유발하면 이미지도 공포를 유발할 가능성이 높으며, 반대로 프롬프트에 공포가 없더라도 생성된 이미지가 공포를 띨 확률이 상당함을 의미한다.
• 기타 감정: 슬픔, 혐오, 놀람, 분노에 대한 TPR은 낮았으며(<50%), 이들 감정에 대한 FPR 또한 낮았다(<10%), 즉 명시적으로 요청되지 않으면 거의 생성되지 않음을 나타낸다. "기쁨"은 두 양식 모두에서 1/3 이상의 빈도로 보존된 유일한 감정이었다.

4. 모델 간 일반화 가능성

이 편향이 Stable Diffusion에 국한된 것인지 확인하기 위해 저자들은 다음을 테스트하였다:

• OpenAI의 GPT-Image-1.5: DiffusionDB의 1,642개 프롬프트를 사용한 결과, GPT 모델은 공포가 가장 높은 TPR과 FPR을 보이는 거의 동일한 편향 프로필을 보였다.
• Stable Diffusion XL (SDXL): 동일한 프롬프트를 사용했을 때, SDXL 역시 공포가 가장 높은 비율을 보였으며 기쁨이 그 뒤를 이었다. SDXL은 다른 모델들에 비해 다른 감정들에 대한 FPR의 분리도가 약간 더 높았으나, 공포의 지배적인 특성은 일관되게 나타났다.

의의 및 주장

본 논문은 생성형 AI 모델이 입력 프롬프트와 관계없이 공포를 과잉 대표하려는 구조적 성향을 가지고 있다는 가설을 뒷받격하는 실증적 증거를 제공한다고 주장한다. 저자들은 이것이 아마도 소셜 미디어의 참여 중심적 특성의 산물인, 공포를 유발하는 콘텐츠가 과잉 대표된 학습 데이터의 결과일 것이라고 주장한다.

이 연구 결과의 의의는 다음과 같은 **"악순환"**의 가능성에 있다:

1. AI 시스템은 프롬프트가 없어도 공포를 유발하는 이미지를 생성한다.
2. 이러한 이미지가 디지털 정보 환경에 유입된다.
3. 부정적인 감정은 전염성이 있고 참여를 유도하기 때문에, 이 콘텐츠는 높은 가시성을 얻는다.
4. 이 콘텐츠가 이후 차세대 AI 모델의 학습 데이터로 다시 흡수되어, 편향을 강화하고 증폭시킨다.

저자들은 이러한 편향이 사용자의 심리적 안녕(특히 불안 관련)에 위험을 초래할 수 있으며, 정치적 동원 및 불안정에 영향을 미칠 수 있다고 결론짓는다. 그들은 AI의 감정 인식을 심리학적 통찰과 더 잘 정렬하고, 이러한 편향을 완화할 수 있는 도구를 개발하기 위해 다학제적 접근이 필요하다고 촉구한다.

한계점

논문은 다음과 같은 몇 가지 한계점을 인정한다:

• 레이블 불일치: 텍스트(GoEmotions, Paletz, SemEval)와 이미지(EmoSet/Mikels)에서 사용된 감정 분류 체계 간의 완벽한 1대1 매핑이 불가능하여 카테고리를 통합해야 했으며, 이로 인해 미세한 차이가 가려졌을 가능성이 있다.
• 다중 클래스 vs 다중 레이블: EmoSet 데이터셋은 이미지당 하나의 감정 레이블을 강제하는 다중 클래스 방식인 반면, 인간의 감정 경험은 흔히 다중 레이블적이다. 이러한 단순화는 감정 유발의 복잡성을 완전히 포착하지 못할 수 있다.
• 중립 클래스의 부재: 이미지 모델은 중립적인 이미지에서도 지배적인 감정을 식 पहचान하도록 훈련되므로, 낮은 수준의 여러 감정이나 중립성을 식별할 수 있는 텍스트 모델과의 비교에서 왜곡된 결과를 초래할 수 있다.

저자들은 향-후 연구에서 이러한 구조적 한계를 해결하기 위해 다중 레이블 수치 평가를 활용하는 포괄적인 새로운 이미지-감정 데이터셋을 구축할 것을 제안한다.