이 논문은 EU 소비자의 관점에서 6 가지 생성형 AI 서비스의 이용 약관을 분석하여, 데이터 훈련 목적의 자동화된 사용, 서비스 품질에 대한 보증 부재, 그리고 사용자에게 불합리하게 부과된 책임과 권리의 불균형 등 심각한 소비자 보호 문제를 규명하고 이에 대한 정책적 개입을 촉구합니다.
원저자:Harshvardhan J. Pandit, Dick A. H. Blankvoort, Dick A. H. Blankvoort, Sasha Luccioni, Abeba Birhane
생성형 AI 서비스를 이용하는 것은 마치 신비한 레스토랑에 가서 음식을 주문하는 것과 같습니다. 하지만 이 레스토랑의 메뉴판 (이용 약관) 을 자세히 읽어보면 다음과 같은 기이한 규칙들이 발견됩니다.
1. "맛이나 신선함은 보장하지 않습니다" (품질 불보장)
현실: 레스토랑에 가면 "이 음식은 맛없을 수도 있고, 식중독이 날 수도 있으며, 심지어 재료가 무엇인지도 모릅니다"라고 적혀 있습니다.
논문 내용: 모든 AI 서비스는 이용 약관에서 "우리는 이 서비스가 정확하거나, 안전하거나, 유용할 것이라고 약속하지 않습니다"라고 명시합니다. 유료로 돈을 내더라도, AI 가 엉뚱한 말을 하거나 해로운 정보를 줄지라도 레스토랑 (제공자) 은 책임지지 않는다는 뜻입니다.
2. "손님이 모든 죄를 지세요" (책임 전가)
현실: 손님이 주문한 음식 때문에 다른 손님이 다치거나, 음식에 독이 섞여 있어도, 그건 전적으로 손님의 잘못이라고 합니다. 요리사가 재료를 잘못 섞었거나, 레시피가 잘못되어서 생긴 문제도 손님이 알아서 해결해야 합니다.
논문 내용: AI 가 만들어낸 답변 (출력물) 이 저작권을 침해하거나, 불법적인 내용을 담고 있더라도, **전적인 책임은 전적으로 사용자 **(손님)에게 있습니다. 반면, AI 를 만든 회사 (요리사) 는 "우리는 그걸 통제할 수 없으니 책임 안 진다"라고 말합니다. 하지만 실제로는 AI 가 어떻게 작동하는지, 어떤 데이터로 훈련되었는지 소비자는 전혀 알 수 없습니다.
3. "손님의 재료를 가져가서 요리사들이 배워갑니다" (데이터 수집)
현실: 손님이 레스토랑에 가져온 특별한 재료 (입력 데이터) 나, 요리사가 만든 요리 (출력 데이터) 를 **요리사들이 몰래 가져가서 자신들의 새로운 레시피 **(AI 모델)라고 합니다.
논문 내용: 대부분의 AI 서비스는 사용자가 입력한 내용과 AI 가 만들어낸 내용을 자신들의 모델 학습에 무료로 사용합니다. 사용자가 이를 원치 않는다면 '거부 (Opt-out)'를 해야 하는데, 이 과정이 매우 어렵거나, 거부를 해도 여전히 데이터가 쓰이는 경우도 있습니다. 심지어 유료 서비스를 이용해도 이 데이터는 회사에 goes.
4. "메뉴는 우리가 마음대로 바꿉니다" (일방적 변경)
현실: 레스토랑은 "오늘 메뉴를 갑자기 바꿀 수 있고, 요리사가 사라질 수도 있으며, 그걸 알릴 의무도 없다"고 합니다.
논문 내용: AI 서비스는 언제든지 기능을 변경하거나, 서비스를 중단하거나, 약관을 바꿀 수 있다고 명시합니다. 소비자는 이에 대해 통제할 수단이 없습니다.
5. "이 레스토랑은 법이 다른 나라에 있습니다" (관할권 문제)
현실: 유럽에 있는 레스토랑인데, "우리는 중국 법을 따르므로 유럽에서 소송을 걸 수 없다"고 합니다.
논문 내용: DeepSeek 같은 일부 서비스는 "우리의 약관은 오직 중국 법률만 적용된다"고 명시하여, 유럽 소비자가 자신의 권리를 주장하는 것을 어렵게 만듭니다.
🚨 연구진이 발견한 핵심 문제점
이 논문은 이러한 규칙들이 소비자 보호법에 위배될 수 있다고 경고합니다.
정보의 불균형: 소비자는 AI 가 어떻게 작동하는지 전혀 모르는데, 모든 책임을 지게 됩니다. 이는 마치 **블랙박스 **(검은 상자)를 믿고 모든 것을 맡기는 것과 같습니다.
불공정한 계약: "우리는 아무것도 보장하지 않지만, 당신은 모든 것을 책임져야 한다"는 조항은 선의로 계약하는 것에 위배됩니다.
권력의 불균형: AI 회사는 데이터와 기술을 독점하고 있지만, 소비자는 그 어떤 통제권도 없습니다.
💡 연구진이 제안하는 해결책
이런 상황을 바로잡기 위해 다음과 같은 변화가 필요하다고 제안합니다.
명확한 메뉴판: AI 서비스는 정확히 무엇을 제공하는지, 어떤 품질을 기대할 수 있는지 명확하게 알려야 합니다.
공정한 책임: AI 가 만든 실수에 대해, AI 를 만든 회사가 일부 책임을 져야 합니다. 모든 죄를 소비자에게 뒤집어씌우면 안 됩니다.
데이터에 대한 보상: 소비자의 데이터를 학습에 사용한다면, 그 대가를 치르거나 명확한 동의를 받아야 합니다.
법적 보호 강화: 유럽의 소비자 보호 기관과 정책 입안자들이 이 문제들을 해결하기 위해 새로운 법과 규정을 만들어야 합니다.
📝 결론
이 논문은 "AI 는 마법 같은 기술이지만, 그 뒤에 숨겨진 약관들은 소비자를 착취할 수 있는 함정"이라고 경고합니다. 우리는 AI 를 더 편리하게 쓰기 위해, 소비자의 권리를 보호하는 새로운 규칙이 시급히 필요하다고 말합니다.
한 줄 요약: "AI 회사가 만든 약관은 '우리는 아무것도 책임지지 않지만, 당신의 데이터는 다 가져가고, 모든 잘못은 당신이 지세요'라는 불공정한 계약입니다. 이제 이걸 고쳐야 할 때입니다."
1. 문제 제기 (Problem)
생성형 AI(GenAI) 서비스 (ChatGPT, Gemini 등) 는 급속히 성장하고 있지만, 소비자가 이러한 서비스를 이용하기 위해 동의해야 하는 '이용 약관 (Terms of Use)' 에는 심각한 문제가 존재합니다.
소비자의 무지와 불균형: 기존 연구에 따르면 소비자는 약관을 읽지 않거나 이해하지 못하며, 이는 법적 구속력이 있는 계약임에도 불구하고 소비자에게 불리한 조항이 포함될 수 있음을 의미합니다.
GenAI 특유의 새로운 위험: 기존 디지털 서비스와 달리 GenAI 는 방대한 데이터 학습, 모델의 불확실성, 그리고 출력물의 책임 소재 등 새로운 윤리적, 법적 쟁점을 야기합니다.
연구의 필요성: 현재 GenAI 서비스의 이용 약관이 EU 소비자 보호법 (공정성, 투명성, 선의의 원칙 등) 을 위반하는지, 그리고 소비자에게 어떤 불합리한 책임과 권리의 불균형을 강요하는지에 대한 체계적인 분석이 부족했습니다.
2. 연구 방법론 (Methodology)
이 연구는 EU 기반 소비자의 관점에서 6 가지 주요 웹 기반 GenAI 서비스의 이용 약관을 정량적, 정성적으로 분석했습니다.
분석 대상 서비스 (6 개):
Big Tech: Google (Gemini), Microsoft (Copilot)
신흥/비미국 기업: Mistral (Le Chat, 프랑스), DeepSeek (중국)
주요 신규 제공자: OpenAI (ChatGPT), Anthropic (Claude)
참고: 기업용 (Enterprise) 약관은 제외하고 개인 소비자용 약관만 분석.
코드북 (Codebook) 개발:
서비스 제공, 모델 입력/출력, 법적 고려사항 등 3 가지 주요 주제를 기반으로 초기 코드북을 설계했습니다.
파일럿 분석을 거쳐 최종적으로 5 개 섹션 (메타데이터, 서비스 제공, 입력, 출력, 법적) 과 59 개의 질문 항목으로 구성된 정교한 코드북을 완성했습니다.
분석 프로세스:
2025 년 11 월 6 일 기준 아카이브된 약관 문서를 대상으로 4 명의 어노테이터가 2 인 1 조로 총 12 회 분석을 수행했습니다.
어노테이터 간 의견 차이가 발생할 경우, 법률 약관 경험이 있는 adjudicator(심판자) 가 최종 합의를 도출했습니다.
분석된 데이터는 서비스 품질, 책임 소재, 데이터 활용, 적용 법률 등 4 가지 범주로 그룹화되었습니다.
3. 주요 기여 (Key Contributions)
방법론적 프레임워크: GenAI 서비스의 소비자 약관을 세밀하게 주석 달기 (annotation) 하고 평가하기 위한 체계적인 방법론과 코드북을 최초로 제시했습니다.
실증적 분석 및 통찰: 6 개 주요 GenAI 서비스의 약관을 직접 분석하여 EU 소비자 보호법상 '선의 (Good Faith)' 위반, 투명성 결여, 권리와 책임의 불균형 등 구체적인 실패 사례를 규명했습니다.
정책 제언: 기존 소비자 보호 규정을 해석하고 새로운 법률을 수립하기 위한 구체적인 권고사항을 제시하여, GenAI 서비스의 공정성을 확보할 수 있는 정책적 방향을 제시했습니다.
4. 주요 결과 (Key Findings)
가. 서비스 품질 및 보증의 부재 (Service Quality)
모든 서비스는 기능, 성능, 안정성, 정확성에 대한 구체적인 보증 (Assurance) 을 제공하지 않았습니다.
오히려 모든 약관은 "있는 그대로 (as-is)" 제공되며, 오류나 결함에 대한 보상을 거부하는 보증 면책 조항 (Warranty Disclaimers) 을 명시하고 있습니다.
서비스는 사전 고지 없이 변경될 수 있으며, 소비자는 서비스의 품질 저하를 감수해야 합니다.