상황: 어떤 사람이 남의 땅을 몰래 침입해서 (불법 데이터 수집), 그 땅의 흙과 돌을 훔쳐와서 (불법 학습) 거대한 집을 지었습니다 (AI 모델 완성).
문제: 나중에 이 집이 너무 커서 이웃들이 항의하자, 집주인은 "괜찮아요, 이제 이 집 문에 자물쇠를 채우고 (출력 차단), 안쪽 페인트를 갈아치우고 (학습 데이터 삭제/기억 지우기) 했으니까, 이제 이 집은 합법적인 집이에요!"라고 주장합니다.
이 논문의 결론:"아닙니다. 그 집은 여전히 불법으로 지어진 것입니다."
나중에 페인트를 갈아치우거나 문을 잠그는 것 (사후 조치) 은, 처음에 남의 땅을 침범하고 재료를 훔친 행위 (학습 과정) 를 없애주지 못합니다. 법은 '집이 어떻게 생겼는지 (출력물)'만 보는 것이 아니라, **'집이 어떻게 지어졌는지 (데이터 수집과 학습)'**를 봅니다.
📝 이 논문이 말하는 3 가지 핵심 이유
1. "죄는 지은 순간 끝난다" (완료된 행위)
비유: 도둑이 물건을 훔쳐서 집에 가져가는 순간, 도둑질은 이미 '완료'된 범죄입니다. 나중에 그 물건을 다시 돌려주거나 숨겨도, "도둑질은 안 했어"라고 변명할 수 없습니다.
논문 내용: AI 가 데이터를 다운로드하고 서버에 저장하는 순간, 저작권 침해가 이미 발생했습니다. 나중에 그 데이터를 지우거나 모델에서 기억을 지우더라도, 그 '불법 행위' 자체는 역사적으로 남게 됩니다.
2. "비밀이 숨겨져 있어도 범죄는 범죄다" (모델 가중치)
비유: 도둑이 훔친 보석상자를 벽장 깊숙이 숨겨서, 누가 봐도 보이지 않게 했다고 가정해 봅시다. 하지만 그 보석상자는 여전히 그 사람의 소유에 있고, 필요하면 다시 꺼낼 수 있습니다.
논문 내용: AI 모델의 '가중치 (Weights)'는 학습된 데이터의 정보를 담고 있는 고체 상태의 파일입니다. 나중에 AI 가 유해한 말을 하지 않도록 막아도 (출력 차단), 그 정보 자체는 모델 내부에 여전히 존재합니다. 기술적으로 그 정보를 다시 꺼낼 수 있다면, 그것은 여전히 '불법 복제물'로 간주됩니다.
3. "계약과 계약 위반도 문제다" (계약과 불법 행위)
비유: 어떤 사람이 "이 도서관은 복사 금지"라고 써둔 책을 몰래 가져가서 내용을 외워서 책을 썼다고 칩시다. 저작권법상 예외가 있을지라도, '복사 금지'라는 규칙을 어긴 계약 위반이 성립합니다.
논문 내용: 저작권법 (Fair Use 등) 이 허용하더라도, 웹사이트 이용 약관 (ToS) 이나 라이선스 계약이 "AI 학습 금지"라고 명시했다면, 그 계약을 위반한 것입니다. 또한, 남이 오랜 시간과 돈을 들여 정리한 데이터를 훔쳐서 AI 를 만드는 것은 '불공정 경쟁'이나 '부당이득'이 될 수 있습니다.
⚖️ 왜 "나중에 고치는 것"으로는 부족할까요?
논문에 따르면, 나중에 데이터를 지우거나 (Machine Unlearning), 유해한 답변을 막는 것 (Guardrails) 만으로는 법적 책임을 피할 수 없습니다.
불법 이득은 그대로 남습니다: AI 가 불법 데이터를 통해 더 빨리, 더 똑똑해졌다면, 그 '우선권 (Head Start)'은 삭제된 데이터에서도 사라지지 않습니다. 마치 도둑이 훔친 돈으로 사업을 시작해서 성공한 뒤, 훔친 돈을 돌려주더라도 그 사업의 성공은 그대로인 것과 같습니다.
벌칙이 무서워집니다: 법원은 단순히 데이터를 지우는 것으로 끝내지 않고, 불법으로 얻은 모든 이익을 내놓게 하거나 (Disgorgement), 아예 그 AI 모델 자체를 폐기하라고 명령할 수 있습니다.
🚀 해결책: "사후 청소"가 아닌 "사전 예방"
이 논문은 AI 업계와 정부에 다음과 같은 변화를 요구합니다.
엔지니어들에게 (개발자):
"일단 만들고 나중에 고치자"는 마인드를 버리세요.
**"투명한 파이프라인 (Glass Pipeline)"**을 만드세요. 어떤 데이터를 학습시켰는지, 그 데이터가 합법적인지 증명할 수 있는 기술 (암호화 등) 을 처음부터 적용해야 합니다.
만약 잘못된 데이터를 학습했다면, 모델을 수정하는 게 아니라 그 데이터가 들어가기 전의 상태로 되돌려서 다시 학습해야 합니다.
정책 입안자들에게 (정부):
"데이터를 구하기 너무 어렵다"는 변명을 막기 위해, 중앙 집중식 라이선스 시스템을 만들어야 합니다. (예: 데이터 신뢰 기금)
"기본값을 '허락 없음'으로 설정"하세요. (Opt-Out이 아니라 Opt-In) 즉, AI 학습을 원하지 않는 사람은 명확히 표시해야 하지만, AI 개발자는 명확한 허가 없이 데이터를 가져오면 안 된다는 원칙을 세워야 합니다.
💡 한 줄 요약
"AI 의合法性 (합법성) 은 그 AI 가 뱉어내는 말 (출력) 에 있는 것이 아니라, 그 AI 가 무엇을 먹고 자랐는지 (입력 데이터) 에 달려 있습니다. 나중에 입을 막는다고 해서 배고팠던 과거의 불법 식사가 사라지는 것은 아닙니다."
논문 개요
이 논문은 생성형 AI 가 직면한 법적 도전에 대응하기 위해 기계학습 커뮤니티가 increasingly 의존하고 있는 사후 완화 (Post-hoc mitigation) 전략 (기계 망각, 추론 시간 가드레일 등) 이 훈련 과정에서의 불법적 데이터 획득 및 사용에 대한 법적 책임을 소급적으로 면제해 줄 수 없다는 것을 주장합니다. 저자들은 법적 책임이 모델의 '출력'이 아닌 '데이터 계보 (Lineage)'와 훈련 당시의 '복제 행위'에 달려 있음을 강조하며, 사후 정제 (Sanitization) 에서 검증 가능한 사전 과정 준수 (Ex-ante Process Compliance) 로의 패러다임 전환을 요구합니다.
1. 문제 제기 (Problem)
현황: 대규모 기초 모델 (Foundation Models) 은 웹상의 방대한 데이터를 훈련에 사용하며, 이는 사전 필터링 (Ex-ante filtering) 이 기술적, 경제적으로 불가능한 상황입니다.
주장: 개발자들은 '공정 사용 (Fair Use)'을 주장하거나, 훈련 후 특정 데이터를 제거하거나 (Machine Unlearning), 유해한 출력을 차단하는 (Inference-time guardrails) 사후 완화 기술을 통해 법적 리스크를 회피하려 합니다.
기술적 가정 (Output Equivalence): 엔지니어링 커뮤니티는 "사후 조정을 통해 모델의 출력 분포가 문제 데이터 없이 처음부터 훈련된 모델과 통계적으로 동일해지면, 시스템은 준수된 것으로 간주된다"는 출력 동등성 (Output Equivalence) 가정을 내세웁니다.
핵심 문제: 이러한 기술적 접근이 저작권법, 계약법, 불법행위법 등 법적 관점에서 유효한 구제 수단이 되는지에 대한 명확한 분석이 부재하며, 이는 AI 생태계의 지속 가능성을 위협합니다.
2. 방법론 및 분석 프레임워크 (Methodology)
저자는 공학 (기술) 과 법학 간의 간극을 메우기 위해 다음과 같은 다층적 분석을 수행했습니다:
법적 기준 설정 (Legal Baseline):
저작권법 하에서 데이터 수집 (다운로드/저장) 과 훈련 과정 (RAM/VRAM 에의 로딩) 이 '복제 (Reproduction)'에 해당함을 각국 (미국, EU, 일본) 의 판례와 법조문을 통해 입증합니다.
특히 MAI Systems v. Peak Computer (RAM 복제 판례) 와 Warhol v. Goldsmith (상업적 대체성) 등의 판례를 인용하여 훈련 행위가 단순한 분석이 아닌 상업적 복제 및 시장 대체 행위임을 강조합니다.
소급 구제의 불가능성 분석 (Incurability Analysis):
완료된 행위 원칙 (Completed-Act Doctrine): 저작권 침해는 복제 행위가 발생한 순간 (t=0) 에 법적 책임이 확정되며, 이후의 삭제나 필터링은 이미 발생한 불법 행위를 소급하여 무효화할 수 없음을 주장합니다.
모델 가중치의 법적 지위: 모델 가중치 (Weights) 는 '고정된 매체 (Fixation)'에 저장된 파일이며, 기계적 도움을 통해 표현을 복원할 수 있다면 (Perceptibility) 여전히 침해된 사본으로 간주됩니다. 따라서 출력 필터링은 근본적인 침해 상태를 변경하지 못합니다.
다중 책임 구조 분석:
저작권뿐만 아니라 계약법 (라이선스 위반, ToS 위반) 과 불법행위/부정경쟁 (투자 가치의 무단 착취) 이론이 독립적으로 개발자에게 책임을 부과할 수 있음을 분석합니다.
부당이득 (Unjust Enrichment) 및 이득 반환 (Disgorgement): 불법적으로 획득한 데이터로 인해 얻은 비용 절감 효과와 시장 선점 이득 (Head-start advantage) 을 포기해야 하며, 이 경우 모델 자체의 폐기 (Algorithmic Disgorgement) 가 구제 수단이 될 수 있음을 논증합니다.
반론 검토:
'학습은 인간의 학습과 유사하다 (Google Books 판례)', '중간 복제는 역공학적 분석과 같다 (Sega 판례)'는 기존 주장들이 생성형 AI 의 '상업적 시장 대체' 특성 때문에 적용되지 않음을 반박합니다.
3. 주요 기여 (Key Contributions)
출력 동등성 가설의 법적 붕괴: 기술적으로 출력이 정제되더라도, 훈련 과정에서의 불법적 복제 행위가 '완료된 사실'이므로 사후 조치는 법적 책임을 소멸시키지 못함을 법리적으로 규명했습니다.
모델 가중치의 '고정된 사본'으로서의 지위 확립: 모델 가중치가 훈련 데이터의 표현적 가치를 보존하는 '고정된 매체'이며, 이는 사후 필터링으로 지워지지 않는 영구적인 침해 사본임을 주장했습니다.
계약 및 불법행위 법리의 포괄적 적용: 저작권 방어 논리 (Fair Use) 가 계약 위반이나 부정경쟁 주장에 의해 무력화될 수 있음을 보여주며, 개발자가 직면할 수 있는 법적 리스크의 다층성을 제시했습니다.
구체적인 기술적/정책적 대안 제시:
엔지니어링: '유리 파이프라인 (Glass Pipeline)' 구축 (암호학적 투명성, 영지식 증명), 모델 버전 관리 (Git for Models) 를 통한 소급적 재훈련 (Re-training) 가능성 확보.
정책: 데이터 트러스트 (Data Trusts) 를 통한 중앙 집중식 라이선싱, '옵트-인 (Opt-in)' 기반의 강제적 권리 선언 (Binary Beacon) 제도 도입 제안.
4. 결과 및 시사점 (Results & Implications)
법적 리스크: 사후 완화 기술에 의존하는 개발자들은 거액의 손해배상, 금지 명령, 그리고 최악의 경우 모델 자체의 폐기 (Algorithmic Disgorgement) 라는 치명적인 리스크에 노출됩니다.
기술적 한계: '기계 망각 (Machine Unlearning)'은 기술적으로 완벽하지 않을 뿐만 아니라, 법적 관점에서는 이미 발생한 침해 행위를 소급하여 치유할 수 없습니다.
산업적 전환 필요성: "출력이 안전한가?"에서 "데이터가 어떻게 획득되었는가?"로 초점을 이동해야 합니다. 신뢰 기반의 접근을 버리고, 검증 가능한 사전 데이터 계보 (Verifiable Ex-ante Process Compliance) 를 확보하는 것이 유일한 생존 전략입니다.
5. 의의 (Significance)
이 논문은 AI 법학 및 공학 분야에서 다음과 같은 중요한 의의를 가집니다:
학제 간 간극 해소: 기술적 해결책 (사후 완화) 과 법적 현실 (책임의 확정성) 사이의 오해를 명확히 하고, 두 분야의 정합성을 요구합니다.
정책 및 규제 방향성 제시: 단순한 규제 강화가 아닌, 라이선싱 비용을 낮추고 데이터 계보를 투명하게 만드는 시장 구조 (Data Trusts, Binary Beacon) 를 제안하여 AI 산업의 지속 가능성을 모색합니다.
개발자 가이드: 개발자들에게 사후 정제에 의존하지 말고, 훈련 시작 전부터 데이터의 합법성을 검증하고 기록하는 'Glass Pipeline' 아키텍처를 구축할 것을 강력히 권고합니다.
결론적으로, 이 논문은 "출력을 깨끗하게 만드는 것"이 법적 준수를 보장하지 않으며, "데이터의 출처와 획득 과정이 깨끗해야만 AI 시스템의 정당성이 확보된다" 는 근본적인 원칙을 제시합니다.