How Do Data Owners Say No? A Case Study of Data Consent Mechanisms in Web-Scraped Vision-Language AI Training Datasets
이 논문은 웹 스크래핑으로 구축된 대규모 시각 - 언어 AI 학습 데이터셋 (DataComp) 을 분석하여, 저작권 표시, 약관, 워터마크 등 데이터 소유자가 다양한 채널로 표현한 동의 의사가 현재 AI 데이터 수집 파이프라인에 의해 충분히 존중받지 못하고 있음을 규명하고, 이를 위한 통합된 동의 프레임워크의 필요성을 강조합니다.
원저자:Chung Peng Lee, Rachel Hong, Harry H. Jiang, Aster Plotnik, William Agnew, Jamie Morgenstern
발견: 연구진이 조사한 데이터 (CommonPool) 에서 약 1 억 2 천만 개의 그림에 이런 저작권 표시가 있었습니다.
의미: "내 그림은 내 거야"라고 분명히 말했는데, AI 학습용 데이터로 쓰였을 가능성이 높다는 뜻입니다.
2. 그림 속에 숨겨진 "수박 씨앗" (Watermark)
상황: 그림 위에 작가의 로고나 물결무늬 같은 '워터마크'가 찍혀 있습니다.
발견: 전체의 **약 9~13%**에 워터마크가 있었습니다.
문제점: 기존 AI 기술들은 이 워터마크를 찾아내지 못했습니다. 마치 수박 속에 씨앗이 있는데, AI 는 "이건 씨앗 없는 수박이야"라고 착각하는 상황입니다.
3. 도서관의 "입구 안내문" (Terms of Service & Robots.txt)
상황: 그림이 있는 웹사이트에는 "이 사이트는 AI 로봇이 들어오면 안 돼요"라고 적힌 안내문 (Robots.txt) 이나 이용 약관 (ToS) 이 있습니다.
발견: 상위 50 개 큰 웹사이트에서 나온 그림 중 **약 60%**는 "스크래핑 (자동 수집) 금지"라고 명시되어 있었습니다.
아이러니: AI 회사들은 이 안내문을 무시하고 그림을 가져갔습니다. 마치 **"입구에 '입장 금지'라고 써 있는데, 사서가 문을 열고 사람들을 데리고 들어간 것"**과 같습니다.
🤔 왜 이런 일이 일어날까요? (시스템의 문제)
이 논문은 단순히 "AI 회사가 나쁘다"라고 비난하는 것이 아니라, 시스템 자체에 구멍이 났다고 지적합니다.
주소가 사라진 그림들:
AI 학습 데이터셋은 실제 그림 파일이 아니라, 그림이 있는 주소 (URL) 목록만 제공합니다.
인터넷은 그림을 전달할 때 'CDN(전달 네트워크)'이라는 중계소를 많이 씁니다. 그래서 AI 가 그림을 다운로드할 때, 원래 그림이 있던 '주인 집 (웹사이트)'이 아닌, '중계소 (CDN)'만 보게 됩니다.
비유: 그림 주인이 "내 집에 오지 마세요"라고 문 앞에 써두었는데, AI 는 그 문이 달린 중계소만 보고 "여긴 아무 말도 안 써있네?"라고 생각하고 들어간 것입니다.
의사소통의 부재:
그림 주인들은 저작권 표시, 워터마크, 웹사이트 안내문 등 서로 다른 방법으로 거부를 표현합니다.
하지만 AI 학습 시스템은 이 모든 것을 한 번에 읽어주는 통일된 규칙이 없습니다.
💡 연구진이 제안하는 해결책
이 논문은 다음과 같이 제안합니다.
주소 (URL) 도 함께 공개하세요: 그림 목록만 주는 게 아니라, 그 그림이 원래 있던 웹사이트 주소도 함께 공개해야 합니다. 그래야 AI 가 "이 사이트는 금지 구역이야"라고 알 수 있습니다.
통일된 '거부 신호' 시스템이 필요합니다: 모든 그림 주인이 같은 방법으로 "AI 학습 금지"를 표시할 수 있는 새로운 국제 규칙이 만들어져야 합니다.
선택적 참여 (Opt-in) 문화: "거부하지 않으면 허용"이 아니라, **"허락해 주지 않으면 쓰지 않는다"**는 원칙이 필요합니다.
📝 한 줄 요약
"AI 가 인터넷에서 그림을 배울 때, 그림 주인들이 남긴 '쓰지 마세요'라는 수많은 신호 (저작권, 워터마크, 웹사이트 규칙) 를 대부분 무시하고 있다는 사실을 밝혀냈습니다. 이제 AI 개발자들은 이 신호들을 제대로 읽고, 주인들의 권리를 존중하는 새로운 시스템을 만들어야 합니다."
논문 개요
이 연구는 현대 텍스트 - 이미지 또는 비전 - 언어 모델 (Vision-Language Models, VLM) 의 학습에 사용되는 웹 스크래핑 기반 데이터셋 (특히 DataComp 의 CommonPool) 에서 데이터 소유자의 동의 (Data Consent) 가 어떻게 표현되고 있는지, 그리고 AI 학습 파이프라인이 이를 얼마나 존중하고 있는지를 분석합니다. 저작권 침해 소송이 증가하는 상황에서, 데이터 소유자의 의사를 무시한 대규모 데이터 수집의 윤리적 및 법적 문제를 규명하는 것을 목표로 합니다.
1. 문제 제기 (Problem)
동의 메커니즘의 불명확성: 웹 규모 데이터 수집이 데이터 소유자의 의사를 충분히 존중하고 있는지 불분명합니다. 특히 이미지 - 텍스트 모달리티로 전환되면서 저작권 표시, 워터마크, 메타데이터 등 동의 신호가 이질적 (heterogeneous) 이고, CDN 등을 통한 콘텐츠 전달로 인해 데이터 출처 추적이 어렵습니다.
법적 및 윤리적 리스크: 최근 OpenAI, Stability AI, Meta 등을 상대로 한 저작권 침해 소송에서, 훈련 데이터의 수집 방식 (특히 저작권이 있는 자료나 파기된 소스의 수집) 이 '공정 사용 (Fair Use)'의 범위를 벗어날 수 있다는 논란이 제기되고 있습니다.
현재 데이터셋의 한계: 기존 웹 스크래핑 데이터셋 (예: LAION-5B, CommonPool) 은 이미지 파일 대신 URL 과 캡션만 공개하여, 실제 이미지 소유자의 동의 조건 (ToS, robots.txt 등) 을 확인하기 어렵게 만듭니다.
2. 연구 방법론 (Methodology)
저자들은 DataComp 의 CommonPool(약 128 억 개의 텍스트 - 이미지 쌍) 을 사례 연구 대상으로 삼아, 샘플 레벨과 웹 도메인 레벨의 두 가지 관점에서 데이터 동의 메커니즘을 감사 (Audit) 했습니다.
메타데이터 (EXIF): 이미지 파일의 EXIF 메타데이터 내 'Copyright' 태그 (0x8298) 가 비어있는지 확인합니다.
워터마크 감지 (Watermark Detection):
기존 모델 (YoloV8, MobileViTv2) 과 오픈소스 VLM(Rolm OCR, Gemma-3-12b-it) 을 활용하여 워터마크를 탐지합니다.
일반 워터마크 데이터셋과 직접 주석 (Annotation) 을 단 CommonPool 서브셋을 통해 모델의 정확도를 평가했습니다.
나. 웹 도메인 레벨 분석 (Web-Domain-Level Characteristics)
데이터가 호스팅된 도메인의 규칙을 분석합니다.
서비스 약관 (Terms of Service, ToS): 상위 50 개 도메인의 ToS 를 분석하여 스크래핑 금지 여부, 상업적/비상업적 사용 제한 등을 수동 주석 (Human Annotation) 으로 분류했습니다.
Robots Exclusion Protocol (REP, robots.txt): 웹사이트 관리자가 특정 봇 (GPTBot, CCBot 등) 의 접근을 허용하거나 차단하는 규칙을 파싱하여 분석했습니다.
3. 주요 결과 (Key Results)
가. 샘플 레벨 통계
저작권 표시 존재: CommonPool 의 영어 샘플 중 약 **1 억 2,200 만 개 (약 122M)**가 저작권 고지, 메타데이터, 또는 워터마크 중 하나 이상의 저작권 표시를 포함하는 것으로 추정됩니다.
이질적인 신호: 저작권 표시는 이미지, 텍스트, 메타데이터 등 다양한 채널에 흩어져 있어, 단일 방법으로 모든 동의 신호를 포착하기 어렵습니다.
워터마크 감지의 한계: 웹 스크래핑된 이미지에서 워터마크는 존재하지만 (약 9~13%), 기존 감지 모델들은 웹 환경에서의 워터마크를 고신뢰도로 탐지하지 못했습니다. 또한, LAION-5B 가 공개한 워터마크 점수의 신뢰도가 낮아 (정밀도 34%, 재현율 51%), 이를 기반으로 AI 학습을 피하는 것은 현실적으로 어렵습니다.
나. 웹 도메인 레벨 통계
스크래핑 금지: 상위 50 개 도메인에서 추출된 샘플의 약 **60%**가 ToS 에서 스크래핑을 명시적으로 금지하고 있습니다.
사용 제한: 약 **33%**의 샘플은 개인/연구/비상업적 용도로만 제한된 사이트에서 왔습니다.
robots.txt 와 AI 봇: 많은 사이트가 GPTBot, ClaudeBot 등 AI 목적 봇을 차단하고 있지만, CommonPool 을 다운로드하여 학습하는 사용자는 기본 User-Agent 를 사용하지 않아 이러한 차단을 우회할 수 있습니다. 이는 데이터 소유자의 의사가 AI 학습 파이프라인에서는 무시됨을 의미합니다.
URL 의 한계: 스크래핑된 이미지가 CDN 을 통해 제공되는 경우가 많아, 공개된 src URL의 도메인 ToS 가 실제 콘텐츠 소유자의 의사를 반영하지 못하는 경우가 많습니다 (약 46.9% 의 샘플이 라이선스 유형이 '적용 불가'로 분류됨).
4. 주요 기여 (Key Contributions)
데이터 동의 메커니즘의 실증적 분석: 웹 스크래핑 VLD 의 공개 아티팩트 정보를 활용하여 데이터 소유자의 동의 신호를 체계적으로 조사했습니다.
규모 추정: CommonPool 내 약 1 억 2,200 만 개의 샘플에 저작권 정보가 포함되어 있으며, 상위 도메인 샘플의 60% 이상이 스크래핑이 금지된 사이트에서 유래했음을 추정했습니다.
동의 채널의 불일치 지적: 데이터 소유자가 저작권 고지, 워터마크, ToS, robots.txt 등 다양한 채널을 통해 동의를 표현하지만, 현재 AI 데이터 수집 파이프라인은 이를 통합적으로 존중하지 못함을 밝혔습니다.
제한점 및 제언: 현재 데이터셋 큐레이션 및 공개 관행의 한계를 지적하고, 향후 웹 스크래핑 VLD 관리에 대한 구체적인 제언을 제시했습니다.
5. 의의 및 결론 (Significance & Conclusion)
현행 관행의 한계: 현재 웹 스크래핑 데이터셋이 URL 과 캡션만 공개하는 방식은 데이터 소유자의 동의 (ToS, robots.txt 등) 를 확인하는 것을 불가능하게 만들며, 이는 데이터 소유자와 사용자 간의 책임 소재를 모호하게 만듭니다.
통합된 동의 프레임워크의 필요성: 다양한 채널에 흩어진 동의 신호를 통합할 수 있는 통일된 데이터 동의 프레임워크가 시급합니다. 특히 AI 학습 목적에 특화된 '옵트 - 인 (Opt-in)' 방식이나 명확한 동의 프로토콜이 필요합니다.
향후 방향: 데이터 큐레이터는 페이지 URL 을 포함하거나, 데이터 소유자의 동의를 존중하는 독립적인 이미지 어셋을 제공해야 합니다. 또한, 데이터 소유자, 큐레이터, 사용자 모두를 위한 공통 프로토콜이 마련되어야 합니다.
이 연구는 웹 스크래핑 기반 AI 학습 데이터의 윤리적 수집과 저작권 존중을 위해, 기술적 감사와 정책적 프레임워크의 변화가 동시에 필요함을 강력하게 주장합니다.