Governance of AI-Generated Content: A Case Study on Social Media Platforms

이 논문은 40 개 주요 소셜 미디어 플랫폼을 분석하여 AI 생성 콘텐츠에 대한 거버넌스가 주로 기존 규칙 위반 및 공개에 집중되어 있으며, 소유권과 수익화 등 더 포괄적이고 미래 지향적인 정책 및 교육 도구의 개발이 필요함을 주장합니다.

핵심

🤖 AI 가 만든 콘텐츠, 누가 관리할까? SNS 플랫폼들의 '규칙 책' 분석 보고서

이 논문은 **"AI 가 만든 글, 그림, 영상들이 SNS 에 넘쳐나는데, 플랫폼들은 이를 어떻게 관리하고 있을까?"**라는 질문에 답하기 위해 40 개의 주요 소셜 미디어 사이트를 조사한 연구입니다.

이 복잡한 내용을 일상적인 비유와 쉬운 한국어로 설명해 드릴게요.

---

🏙️ 비유: 거대한 '디지털 도시'와 새로운 '거주자'

소셜 미디어를 거대한 디지털 도시라고 상상해 보세요.

• 사용자들은 도시의 주민들입니다.
• AI 가 만든 콘텐츠는 최근 도시로 몰려든 새로운 거주자들입니다. (완전히 AI 가 만든 것도 있고, 사람이 AI 를 도와 만든 것도 있습니다.)

이 새로운 거주자들이 너무 많아지면서 도시에서는 혼란이 생겼습니다. 가짜 뉴스, 사기, 저작권 문제 등이 발생하자, **도시 관리자 (플랫폼)**들은 "이 새 거주자들을 어떻게 다스릴 것인가?"를 고민하기 시작했습니다.

이 연구는 40 개의 도시 (플랫폼) 를 돌아다니며, 각 도시가 만든 **'새 거주자 관리 규칙 (거버넌스)'**을 조사한 것입니다.

---

🔍 조사 결과: 40 개 도시 중 2/3 는 규칙을 만들었다

연구진이 40 개의 주요 SNS (페이스북, 인스타그램, 틱톡, 유튜브 등) 를 조사한 결과, 흥미로운 사실들이 드러났습니다.

1. 약 2/3 의 도시 (플랫폼) 는 명확한 규칙을 발표했습니다.
   • 나머지 1/3 은 "아직 특별한 규칙은 없으니, 기존에 있던 '불법 행위 금지' 규칙만 지켜라"라고 말합니다.
2. 규칙의 종류는 크게 6 가지로 나뉩니다.

1️⃣ 기존 규칙에 끼워 맞추기 (가장 흔함)

• 상황: "AI 가 만든 거라도, 남을 속이거나 욕설을 쓰면 안 돼."
• 비유: 도시의 '폭력 금지'나 '사기 금지' 법을 AI 가 만든 콘텐츠에도 그대로 적용하는 것입니다. AI 가 만든 것이 특별히 나쁜 게 아니라면, 그냥 일반 콘텐츠처럼 다룹니다.

2️⃣ "이건 AI 가 만들었습니다"라고 밝히기 (라벨링)

• 상황: "진짜 사람인지 AI 인지 구별할 수 있게 표시를 해라."
• 비유: 식당 메뉴판에 "이 요리는 셰프가 직접 만든 게 아니라, 로봇이 만든 거예요"라고 스티커를 붙이는 것과 같습니다.
  • 현실: 일부는 무조건 표시를 하라고 하고, 일부는 "사람처럼 보이는 것만" 표시하라고 합니다. 플랫폼마다 기준이 제각각입니다.

3️⃣ 특정 콘텐츠는 아예 금지하기 (제한)

• 상황: "AI 가 쓴 글은 아예 올리지 마" 또는 "AI 가 그린 그림은 추천해 주지 않아."
• 비유: 어떤 도시 (예: Stack Overflow 같은 지식 공유 사이트) 는 "우리는 진짜 인간의 지혜만 원한다"며 AI 가 만든 답변을 아예 금지합니다. 예술 사이트 중에서도 "인간의 창의성만 인정한다"며 AI 작품을 배제하는 곳도 있습니다.

4️⃣ 돈 벌기 (수익화) 제한하기

• 상황: "AI 가 만든 걸로 돈을 벌면 안 돼."
• 비유: "AI 가 그린 그림을 팔아서 돈을 벌 수 없어"라고 막는 것입니다. 창작자들이 "AI 가 만든 걸로 내 돈을 뺏어가면 안 된다"는 우려 때문에 생긴 규칙들입니다.

5️⃣ 플랫폼이 직접 만든 AI 도구의 안전장치

• 상황: "우리가 제공하는 AI 도구로 만든 건 우리가 더 잘 관리할게."
• 비유: 도시 관리자가 직접 운영하는 '공공 로봇 공장'에서 나온 제품에는 더 엄격한 안전 장치를 달아놓는 것입니다. (예: 유튜브나 틱톡의 자체 AI 도구)

6️⃣ 주민 (사용자) 교육하기

• 상황: "AI 가 만든 걸 구별하는 법을 배우세요."
• 비유: 도시 관리자가 주민들에게 "가짜 뉴스 구별하는 법"을 가르치는 교육 자료를 배포하거나, "AI 가 만든 콘텐츠만 안 보이게 필터를 켤 수 있어요"라는 기능을 제공하는 것입니다.

---

⚠️ 문제점: 도시마다 규칙이 너무 달라요!

연구진은 현재 시스템에 몇 가지 큰 문제점이 있다고 지적합니다.

1. 규칙이 산발적이에요: 규칙이 '이용약관', '도움말', '블로그' 등 여기저기 흩어져 있어 사용자가 찾기 어렵습니다. 마치 도시의 규칙이 도서관, 시청, 공원 안내판에 따로따로 적혀 있는 것과 같습니다.
2. 구별이 어려워요: "AI 가 만든 걸 자동으로 찾아내는 기술"이 아직 완벽하지 않습니다. 가짜를 진짜로 오인하거나, 진짜를 가짜로 오인하는 경우가 많습니다.
3. 소통이 부족해요: "왜 이 콘텐츠가 AI 라면서 표시가 붙었나요?"라고 물어보면 답을 못 주는 경우가 많습니다.

---

💡 제안: 더 나은 도시를 위한 3 가지 제안

연구진은 플랫폼, 정부, 연구자에게 다음과 같은 조언을 합니다.

1. 플랫폼에게:

   • 규칙을 하나로 모으세요: AI 관련 규칙을 한눈에 볼 수 있는 '중앙 규칙 책'을 만드세요.
   • 교육을 더 하세요: 단순히 "AI 입니다"라고 표시만 하는 게 아니라, "어떻게 AI 가 만들어졌는지, 어떤 위험이 있는지"를 가르쳐 주세요.
   • 선택권을 주세요: "나는 AI 가 만든 걸 보고 싶지 않아"라고 하는 사용자를 위해 필터 기능을 더 잘 만들어 주세요.

2. 정부 (규제 기관) 에게:

   • 명확한 법을 만드세요: "AI 가 만든 것의 저작권은 누구 것인가?", "누가 돈을 벌 수 있는가?"에 대한 명확한 법이 필요합니다. 지금은 플랫폼이 마음대로 정하고 있어서 혼란스럽습니다.

3. 연구자에게:

   • 계속 지켜보세요: AI 기술은 매일 변합니다. 플랫폼의 규칙이 어떻게 변하는지, 시간이 지나면서 어떻게 달라지는지 계속 연구해야 합니다.

---

📝 한 줄 요약

"AI 가 만든 콘텐츠가 SNS 를 가득 채우고 있지만, 각 플랫폼마다 관리하는 방식이 제각각이고 아직 불완전합니다. 이제 더 명확하고 공정한 규칙, 그리고 사용자들을 위한 교육과 도구가 필요합니다."

이 연구는 AI 시대에 우리가 살아가는 '디지털 도시'가 더 안전하고 투명하게 운영되기를 바라는 목소리입니다.

기술 요약

논문 개요

본 연구는 생성형 AI (Generative AI) 의 급속한 확산으로 인해 온라인 공간에 AI 생성 콘텐츠 (AIGC) 가 폭증함에 따라, 소셜 미디어 플랫폼이 이를 어떻게 거버넌스 (정책, 집행 전략 등) 하고 있는지를 체계적으로 분석한 연구입니다. 40 개의 주요 소셜 미디어 플랫폼을 대상으로 데이터 수집 및 정성적 분석을 수행하여 현재 플랫폼들의 거버넌스 현황, 주요 접근 방식, 그리고 향후 개선 방향을 제시합니다.

1. 문제 제기 (Problem)

• 배경: ChatGPT 등 소비자용 생성형 AI 제품의 등장으로 텍스트, 이미지, 비디오 등 다양한 형태의 AI 생성 콘텐츠가 급증하고 있습니다.
• 위험 요인: 허위 정보 (Misinformation), 비동의 딥페이크 (Non-consensual deepfakes), 저작권 및 저자권 모호성, 공공 담론의 양극화, 콘텐츠 신뢰도 저하 등의 문제가 발생하고 있습니다.
• 연구 필요성: 기존 연구들은 주로 하향식 (Top-down) 플랫폼 거버넌스보다는 하향식 (Bottom-up) 커뮤니티 거버넌스나 AI 모델 자체의 규제에 집중했습니다. 그러나 생성형 AI 도구를 활용한 사용자 생성 콘텐츠 (UGC) 에 대한 플랫폼 차원의 체계적인 거버넌스 프레임워크와 정책 현황에 대한 이해는 여전히 부족합니다.

2. 연구 방법론 (Methodology)

• 대상: 소셜 미디어의 정의 (사용자가 콘텐츠를 생성, 수정, 공유, 논의하는 플랫폼) 에 부합하는 가장 인기 있는 40 개 소셜 미디어 플랫폼을 선정했습니다. (예: Facebook, TikTok, Reddit, YouTube, Stack Overflow, Pornhub 등 다양한 유형 포함)
• 데이터 수집 (2025 년 4 월~6 월):
  • 웹 스크래핑 (Web Scraping) 을 통해 각 플랫폼의 '이용 약관 (Terms of Service)', '커뮤니티 가이드라인', '지원 센터', '뉴스룸', '공식 블로그' 등 관련 문서를 수집했습니다.
  • 'Generative AI', 'AI-generated', 'Deepfake' 등 키워드를 포함한 시드 링크 (Seed links) 와 스크래퍼를 사용하여 관련 페이지를 자동 추출했습니다.
  • 총 2,518 개의 페이지를 스크래핑한 후, AI 생성 콘텐츠 거버넌스와 직접 관련된 431 개의 텍스트 구절 (Passage) 을 최종 데이터셋으로 선별했습니다.
• 분석 방법:
  • 정량적 분석: 수집된 페이지의 유형 (법적 문서, 지원 페이지 등) 과 AI 콘텐츠 유형 (사용자 게시, 통합 도구 등) 을 주석 (Annotation) 하여 통계 분석을 수행했습니다.
  • 정성적 주제 분석 (Thematic Analysis): 기존 콘텐츠 중재 (Content Moderation) 프레임워크를 참조하여 코딩 (Coding) 을 수행하고, 6 가지 주요 거버넌스 전략을 도출했습니다.

3. 주요 기여 (Key Contributions)

1. 데이터셋 구축: 40 개 주요 소셜 미디어 플랫폼의 AI 생성 콘텐츠 관련 정책 및 대응 문서를 주석 처리한 최초의 대규모 데이터셋을 공개했습니다.
2. 거버넌스 현황 베이스라인 제시: 현재 소셜 미디어 플랫폼들이 AI 생성 콘텐츠에 대해 취하고 있는 구체적인 거버넌스 조치들의 현황을 체계적으로 정리했습니다.
3. 미래 지향적 의제 제안: 온라인 공간에서 AI 생성 콘텐츠 거버넌스의 향후 발전 방향과 이해관계자 (플랫폼, 정책 입안자, 연구자) 를 위한 제안을 제시했습니다.

4. 연구 결과 (Results)

조사된 40 개 플랫폼 중 **27 개 (약 2/3)**가 AI 생성 콘텐츠에 대한 명시적인 거버넌스 정책을 가지고 있었으며, 나머지 13 개는 기존 콘텐츠 중재 정책에 암묵적으로 적용하고 있었습니다. 분석을 통해 6 가지 주요 거버넌스 접근 방식이 도출되었습니다 (표 5 참조):

1. 기존 정책 위반 콘텐츠 중재 (Moderating Violations):

   • 가장 흔한 방식 (25 개 플랫폼). AI 생성 콘텐츠가 기존 커뮤니티 가이드라인 (허위 정보, 혐오 발언, 저작권 침해 등) 을 위반할 때 기존 중재 정책을 동일하게 적용합니다.
   • AI 생성 콘텐츠 자체를 새로운 규제 대상으로 보기보다, 기존 UGC 의 하위 집합으로 간주합니다.

2. 공개 및 라벨링 (Disclosing and Labeling):

   • 18 개 플랫폼이 적용. 사용자에게 AI 생성 콘텐츠임을 명시하도록 요구하거나, 플랫폼이 자동으로 라벨링합니다.
   • 현실적인 미디어 (Realistic media) 나 정치적 광고 등 특정 맥락에서 강제되며, 일부 플랫폼은 자동 라벨링 시스템을 도입했습니다.

3. 게시 및 공유 제한 (Restricting Posting and Sharing):

   • 5 개 플랫폼 (주로 창의성/지식 공유 플랫폼) 이 적용. 기존 정책 위반 여부와 무관하게 AI 생성 콘텐츠의 소유권, 가치, 품질 문제를 이유로 게시를 제한하거나 금지합니다.
   • 예: Stack Overflow 는 AI 생성 답변을 금지하고, Medium 은 AI 생성 글을 알고리즘 추천에서 제외합니다.

4. 수익화 제약 (Constraining Monetization):

   • 6 개 플랫폼 (창의성 커뮤니티 중심) 이 적용. AI 생성 콘텐츠의 상업적 이용 (수익 창출) 을 제한합니다.
   • 원작성 부족, 저작권 모호성, 품질 저하 등을 이유로 수익화 자격을 박탈하거나 라벨링을 의무화합니다.

5. 통합 AI 도구의 출력 제어 (Controlling Output from Integrated Tools):

   • 14 개 플랫폼이 자체 통합 AI 도구 (예: Meta AI, TikTok AI Alive) 를 운영하며, 이 도구의 출력 생성 및 커뮤니티 내 공유에 대한 안전 조치와 라벨링을 적용합니다.
   • 플랫폼이 콘텐츠의 공동 생산자 (Co-producer) 로서 책임을 지는 접근 방식입니다.

6. 사용자 교육 및 권한 부여 (Educating and Empowering Users):

   • 17 개 플랫폼이 사용자 교육 자료, 피드 내 AI 콘텐츠 필터링 기능, 라벨링 시스템 등을 제공합니다.
   • 사용자로 하여금 AI 콘텐츠를 비판적으로 식별하고 통제할 수 있는 능력을 배양하는 데 초점을 맞춥니다.

한계점:

• AI 생성 콘텐츠 정의가 플랫폼마다 불일치함.
• 탐지 기술 (자동 분류기) 의 정확도 부족 및 편향 문제.
• 소명 (Appeal) 절차가 부재하거나 미흡함.
• 정책 정보가 여러 페이지에 분산되어 있어 사용자 접근성이 낮음.

5. 의의 및 제언 (Significance & Recommendations)

본 연구는 AI 생성 콘텐츠 거버넌스가 단순히 '해로운 콘텐츠 제거'를 넘어 '품질, 소유권, 투명성, 사용자 권한' 등 복합적인 문제로 확장되어야 함을 시사합니다.

• 플랫폼을 위한 제언:

  • 명확한 공개 패턴: 플랫폼 특성에 맞는 다층적 공개 정책 (예: 음악 플랫폼은 보컬/악기별 AI 사용 명시) 도입.
  • 부정확한 탐지 대응: 자동 라벨링에 대한 소명 (Appeal) 절차 마련 및 투명한 피드백 채널 구축.
  • 품질 및 소유권 거버넌스: 'AI 슬롭 (저질 AI 콘텐츠)'과 저작권 문제를 해결하기 위한 명확한 가이드라인 수립.
  • 통합된 정책 문서: 분산된 정책 정보를 하나의 메타 정책 페이지로 통합하여 사용자 접근성 향상.
  • 교육 및 통제 도구: 사용자 미디어 리터러시 교육 강화 및 피드 내 AI 콘텐츠 노출 조절 기능 제공.

• 규제 기관을 위한 제언:

  • 기존 법률 (저작권법 등) 을 AI 생성 콘텐츠의 소유권, 책임, 상업화에 맞게 개정.
  • 플랫폼 간 일관된 거버넌스 가이드라인 및 표준 프레임워크 마련 (EU 디지털 서비스법 등 참조).

• HCI 연구자를 위한 제언:

  • 거버넌스 정책의 장기적 변화에 대한 종단 연구 (Longitudinal study).
  • 다양한 플랫폼 유형별 거버넌스 메커니즘의 효과성 평가 및 새로운 도구 개발.

결론

현재 대부분의 플랫폼은 AI 생성 콘텐츠를 기존 콘텐츠 중재 프레임워크의 연장선으로 다루고 있으나, 이는 AI 고유의 복잡성 (저작권, 원작성, 신뢰도 등) 을 충분히 반영하지 못합니다. 본 연구는 플랫폼들이 보다 직접적이고 포괄적이며 미래 지향적인 거버넌스 전략을 수립하고, 사용자를 위한 교육 및 통제 도구를 강화해야 함을 강조합니다.