A Marketplace for AI-Generated Adult Content and Deepfakes

기술 요약: AI 생성 성인용 콘텐츠 및 딥페이크를 위한 마켓플레이스

문제 제기
생성형 AI는 사실적인 합성 미디어의 제작을 민주화하였으며, 이는 사회적 상호작용과 콘텐츠 생성을 결합한 커뮤니티 주도형 플랫폼의 출현으로 이어졌습니다. Civitai와 같은 플랫폼은 모델과 결과물을 공유하는 것을 넘어, 사용자가 특정 AI 생성 콘텐츠를 요청하고 그 대가로 결제하는 수익화된 "바운티(Bounties, 현상금)" 기능을 호스팅합니다. 이는 수요, 노동, 보상을 조정하는 구조화된 마켓플레이스를 형성합니다. 그러나 이러한 마켓플레이스의 역학 관계, 특히 어떤 유형의 콘텐츠가 인센티브를 받는지, "부적절한 콘텐츠(NSFW, Not Safe For Work)"의 유포 정도, 그리고 실존 인물을 묘사하는 비동의 딥페이크(non-consensual deepfakes) 생성에 시스템이 어떻게 이용되는지에 대한 연구는 여전히 미개척 영역으로 남아 있습니다. 기존 연구는 생성된 이미지와 모델에 집중해 왔으나, 이러한 바운티 시스템의 수요 측면 신호와 인센티브 구조를 체계적으로 분석하지는 못했습니다.

연구 방법론
저자들은 14개월(2023년 10월 15일 ~ 2025년 1월 30일) 동안 Civitai에서 공개적으로 제공된 모든 바운티 요청에 대해 종단적 분석을 수행하였으며, 이를 통해 4,847개의 바운티 데이터셋을 확보했습니다.

• 데이터 수집: Python Selenium을 활용한 커스텀 파이프라인을 통해 브라우저 세션을 자동화하여 바운티 메타데이터(제목, 설명, 타임스탬프, 참여 지표)와 예시 이미지를 캡처했습니다. 데이터 수집은 두 단계로 진행되었습니다. 첫째, 플랫폼이 제공하는 노골성 등급(PG, PG-13, R, X, XXX)을 포착하기 위한 "블러 처리(blurred)" 단계, 둘째, 이미지 URL을 포착하기 위한 "언블러(unblurred)" 단계입니다.
• 분류 전략:
  • SFW/NSFW 라벨링: 예시 이미지 중 하나라도 "R", "X", 또는 "XXX" 등급을 가진 경우 해당 바운티를 NSFW로 분류했습니다. 이를 검증하기 위해 저자들은 Civitai의 라벨을 OpenAI의 콘텐츠 모더레이션 API와 비교하였으며, Civitai가 더 보수적인 분류 방식을 채택하고 있음을 확인했습니다.
  • 주제 분석: 건전한(SFW) 바운티에 대해서는 자동화된 주제 분류 파이프라인을 적용했습니다. 저자들은 150개의 바운티 샘플을 수동 주석 처리하여 분류 체계(예: "인간 딥페이크", "허구의 캐릭터", "NSFW" 등)를 구축한 후, GPT-4.1이 GPT-4o보다 높은 상호 신뢰도(Krippendorff's $\alpha$ = 0.8)를 보임에 따라 대규모 분류를 위해 GPT-4.1을 선택했습니다.
  • 딥페이크 식별: 2단계 프로세스를 통해 딥페이크 요청을 식별했습니다. (1) GPT-4.1이 SFW 바운티에서 "인간 딥페이크" 테마를 분석하였고, (2) NSFW 바운티의 제목과 설명을 통해 잠재적 딥페크 콘텐츠를 분석했습니다. 모든 AI 식별 사례는 실존 인물을 대상으로 하는지 확인하기 위해 단일 인간 주석 작성자에 의한 수동 검토를 거쳤으며, 그 결과 323개의 확정된 딥페이크 바운티를 도출했습니다.
• 집중도 분석: 로렌츠 곡선(Lorenz curves)과 지니 계수(Gini coefficients)를 사용하여 SFW, NSFW, 딥페이크 카테カテゴリ별 사용자 참여 집중도를 정량화했습니다.
• 개입 평가: 저자들은 딥페이크 관련 경고 문구(실존 인물 유사성에 관한 주의 사항)가 표시된 바운티의 비율을 계산함으로써 Civitai의 정보성 공지의 효과성을 측정했습니다.

주요 기여 및 결과
본 연구는 수익화된 커뮤니티 주도형 생성 AI 마켓플레이스를 최초로 체계적으로 규명하였으며, 다음과 같은 사실을 밝혀냈습니다.

1. 마켓플레이스 구성: 바운티 시스템은 LoRA(Low-Rank Adaptation)와 이미지 요청이 지배하고 있으며, 이 둘이 전체 바운티의 92%를 차지합니다. LoRA는 모델이 원래 학습되지 않은 동작을 수행하도록 유도하여 가드레일을 효과적으로 우회할 수 있게 한다는 점에서 중요합니다.
2. NSFW 콘텐츠의 유행 및 성장: NSFW 요청은 광범위하며 증가 추세에 있습니다. 연구 종료 시점에 NSFW 바운티는 주간 요청의 과반수를 차지했습니다(2024년 9월에 50% 돌파). 구체적으로 전체 바운티의 48%가 NSFW였으며, 비디오 바운티의 NSFW 비율이 69%로 가장 높았습니다.
3. 딥페이크 타겟팅: 딥페이크 요청은 시장에서 무시할 수 없는 비중을 차지합니다. 여기에는 뚜렷한 성별 불균형이 존재합니다. 딥페이크 대상의 95.8%가 여성이며, 배우(actors and actresses)가 가장 빈번하게 타겟팅되는 직업군이었습니다.
4. 사용자 집중도: 참여는 불균등하게 나타납니다. 약 20%의 요청자가 전체 요청의 약 절반을 차지합니다. 이러한 집중도는 딥페이크 카테고리에서 가장 두드러지게 나타났습니다(지니 계수 = 0.45). 이는 소수의 매우 활동적인 사용자들이 딥페이크 관련 활동을 주도하고 있음을 시사합니다.
5. 집행 격차: Civitai의 개입 메커니즘(딥페이크 바운티에 대한 정보성 경고)은 일관성 없이 적용되고 있습니다. SFW 딥페이크 바운티의 85.6%에는 경고가 표시되었으나, NSFW 딥페이크 바운티의 경우 58.3%만이 표시되어 상당수의 고위험 요청이 표시 없이 방치되어 있었습니다. 또한, 실존 인물의 묘사를 금지하는 2024년 8월의 공식 정책 업데이트에도 불구하고, 그러한 요청은 플랫폼에 지속적으로 존재했습니다.

의의 및 주장
본 논문은 수익화된 커뮤니티 주도형 생성 AI 플랫폼이 어떻게 참여를 구조화하고 안전장치를 집행하는지에 대한 새로운 경험적 관점을 제공한다고 주장합니다. 저자들은 연구 결과가 이러한 마켓플레이스가 어떻게 성별화된 해악(gendered harms), 특히 여성에 대한 불균형한 딥페이크 타겟팅을 초래할 수 있는지를 보여준다고 논증합니다.

본 연구는 "바운티" 기능이 플랫폼 정책이나 윤리적 규범을 위반할 수 있는 콘텐츠(비동의 성적 이미지 포함)를 생성하는 데 직접적인 경제적 인센티브를 제공한다는 점을 강조합니다. 저자들은 사용자 자율 보고와 일관성 없는 자동 플래깅에 크게 의존하는 현재의 거버넌스 모델이 불충분하다고 결론짓습니다. 이들은 효과적인 거버넌스를 위해 콘텐츠 기반 규칙과 행동 신호(사용자 활동 집중도 등)를 결합한 프로액티브(proactive)한 모니터링이 필요하다고 제안합니다. 본 논문은 새로운 기술적 해결책을 제시하기보다는, 플랫폼의 인센티브를 더욱 면밀히 조사하고 정책과 집행 사이의 간극을 해결하기 위한 규제자와 중재자의 노력이 필요함을 촉구합니다.