Probing Stylistic Appropriation using Large Language Models: An Evaluation Framework for Copyright Infringement under EU Law

기술 요약: 대규모 언어 모델을 이용한 문체적 전용(Stylistic Appropriation) 탐지

1. 문제 정의

대규모 언어 모델(LLM)의 급격한 발전은 기술적 안전장치와 EU 저작권법 사이의 심각한 준법 격차를 야기했다. 저작권 침해에 관한 현재의 기술적 접근 방식은 주로 n-gram 중복, 편집 거리(edit distance), 임베딩 유사도 등을 활용한 축자적 암기(verbatim memorisation, 정확하거나 거의 동일한 텍ền 복제)에 집중되어 있다. 그러나 EU 저작권 교리, 특히 디지털 단일 시장 저작권(CDSM) 지침과 *AI 법(AI Act)*은 "저자의 독자적인 지적 창작물"로 정의되는 독창성을 바탕으로 저작물을 보호한다. 침해 판단은 문자 그대로의 복제를 넘어 서사 구조, 캐릭터 발달, 문체적 선택, 그리고 창의적 요소의 배열을 포함하는 실질적 유사성(substantial similarity)까지 포괄한다.

기존의 기술적 파이프라인은 이러한 미묘한 형태의 문체적 및 구조적 전용(stylistic and structural appropriation)을 감지하는 데 실패한다. 결과적으로, 모델들은 문자 그대로의 복제를 방지하기 위해 설계된 기술적 벤치마크는 통과하면서도, 기존의 안전장치를 트리거하지 않은 채 보호받는 표현적 선택(예: 서사적 목소리, 플롯 아키텍처)을 전용하는 출력을 생성할 수 있다. 본 논문은 유사성이 질적이고 맥락 의존적이며 비축자적인 경우, 규모 있는 규모로 LLM 출력의 법적으로 유의미한 표현적 유사성을 평가하는 방법론적 과제를 다룬다.

2. 방법론: PSALM 프레임워크

저자들은 LLM-as-a-judge 아키텍처를 통해 EU 저작권 교리를 구현하는 자동화된 평가 프레임워크인 PSALM(Probing Stylistic Appropriation by Language Models)을 소개한다.

• 아키텍처: PSALM은 각 평가자를 위한 유향 비순환 그래프(DAG) 구조를 채택한다. 이 그래프는 다음으로 구성된다:
  • 태스크 노드(Task Nodes): 법적 정의와 서사학 이론을 인코딩한 구조화된 프롬프트를 사용하여 법적 구성 요소의 특정 하위 차원(예: 어휘 복잡도, 초점화 패턴)을 분석한다.
  • 판단 노드(Judgement Node): 태스크 노드의 출력을 집계하고, 최종 판결을 내리기 위해 법적 교리와 서사학에서 도출된 휴리스틱 가중치를 적용한다.
  • 결과 노드(Verdict Nodes): 분석 내용을 "명확히 다름"에서 "동일하거나 거의 동일함"에 이르는 5단계 서수 척도(0에서 10까지, 0.0–1.0으로 정규화)에 매핑한다.
• 평가자(Evaluators): 프레임워크는 두 가지 범주로 나뉜 10개의 평가자를 구현한다:
  1. 침해 지향형 (6개 평가자): 보호받는 표현적 특징 간의 유사성을 측정한다:
     • 글쓰기 스타일: 어휘 복잡도, 문장 구조, 리듬, 수사적 패턴, 담화 조직, 어조.
     • 서사적 목소리: 시점, 서사적 거리, 화자의 존재, 시간적 관점, 초점화, 독자 참여.
     • 캐릭터: 정체성/특징, 궤적/발달, 관계, 배경/동기, 표현/행동, 기능/역할.
     • 플롯 구조: 사건 순서/인과관계, 스토리 아키텍처, 갈등 구성, 전환점, 시간적 구조, 수렴.
     • 장면 시퀀스: 정체성/내용, 내부 구조, 시퀀스 아키텍처, 전이, 페이싱, 기능.
     • 세계관 구축: 지리적/공간적 설계, 규칙/시스템, 문화적/사회적 구조, 역사적/시간적 설계, 물질적/감각적 세부 사항, 기능/논리.
  2. 방어 지향형 (4개 평가자): 유사성이 법적 예외에 해당하는지 또는 보호받지 못하는 요소에 해당하는지 평가한다:
     • 패러디/풍자: Deckmyn 테스트(환기, 변형, 유머, 비판적 성격, 공정한 균형)를 기반으로 함.
     • 파스티슈(Pastiche): Pelham II 및 AG Emiliou의 의견(스타일 환기, 예술적 기술, 오마주, 변형, 비례성)을 기반으로 함.
     • 인용/인용문: Art. 5(3)(d) InfoSoc(식별, 정당한 목적, 공정 관행, 출처 표기, 사전 공개)를 기반으로 함.
     • 장르적 관습(Scènes à Faire): 장르나 기술적 제약에 의해 결정되는 전형적인 요소들을 평가함.

3. 실험 설정

본 연구는 번역된 역사적 네덜란드 문학 작품(네덜란드 문학 디지털 라이브러리 출처) 코퍼스로 미세 조정된 Llama 3.2 1B Instruct 모델을 사용하여 PSALM 프레임워크를 평가한다.

• 데이터 구축: 스타일 학습을 강조하기 위해(프롬프트 복사 방지) 역사적 네덜란드 텍스트를 질문-답변(QA) 데이터셋으로 변환하였다. 텍스트는 현대 네덜란드어와 영어로 번 l역되었다.
• 훈련 레짐(Training Regimes):
  • 베이스라인(Baseline): 수정되지 않은 인스트럭션 튜닝 모델.

• 미세 조정(Fine-tuned): 전체 QA 데이터셋(forget + retain 세트)으로 훈련된 모델.
  • 언러닝(Unlearned): 특정 저자나 도서를 "망각"하도록(forget 세트) 하면서 다른 도서들은 유지하도록(retain 세트) **부정 선호 최적화(Negative Preference Optimisation, NPO)**를 적용하여 미세 조정된 모델.

• 평가: 프레임워크는 소스 텍스트와 모델 출력을 PSALM 평가자 및 표준 어휘 베이스라인(Exact Match, BLEU-4, ROUGE-L)을 사용하여 비교한다. 통계적 분석에는 비모수 검정(Kruskal-Wallis, Mann-Whitney, Wilcoxon)과 등가성 검정(TOST)을 사용한다.

4. 주요 결과

실험은 베이스라인 유사성, 미세 조정의 영향, 그리고 언러닝의 효능에 관한 세 가지 연구 질문을 다룬다:

• RQ1: 베이스라인 스타일적 유사성: 인스트럭션 튜닝된 베이스 모델은 보호받는 저작물에 대해 노출 전에도 비사소한 수준의 베이스라인 스타일적 유사성을 보인다. 특히 영어 모델은 19세기 후반 산문 스타일에 대한 사전 학습 중복도가 더 높게 나타난다. 그러나 이러한 점수는 일반적으로 "다소 유사함" 또는 "중등도 유사함" 범위에 머물며, "거의 동일함" 수준은 아니다.
• RQ2: 미세 조정의 영향: 지도 미세 조정(Supervised fine-tuning)은 모든 침해 관련 차원에서 체계적인 스타일적 전용을 유도한다.
  • 미세 조정된 모델은 계산적, 스타일적, 내용적 지표(글쓰기 스타일, 서사적 목소리, 캐릭터, 플롯, 세계관 구축)에서 거의 천장에 도달하는 점수(0.95–1.0)를 기록한다.
  • 이러한 전용은 축자적 암매를 훨씬 뛰어넘는다. 모델은 추상적인 서사 패턴과 저자의 목소리를 재현한다.
  • 결정적으로, 미세 조정은 방어 지향적 지표(패러디, 파스티슈, 인용)의 점수를 높이지 않는다. 이는 모델이 변형적이거나 예외를 충족하는 행동을 자발적으로 채택하지 않음을 나타낸다.
• RQ3: 언러닝(NPO)의 효과성: 부정 선호 최적화(NPO)는 유사성을 상당히 감소시키지만, 베이스라인 행동을 완전히 복구하는 데는 실패한다.
  • NPO는 축자적 암매(Exact Match가 0으로 하락)를 효과적으로 제거한다.
  • 스타일적 및 내용적 유사성 점수는 크게 감소하지만(예: forget 세트에서 ~0.99에서 ~0.30으로), 여전히 감지 가능하며 종종 "다소 다름"에서 "중등도 유사함" 범위에 머문다.
  • 잔여 유사성(Residual Similarity): 등가성 검정(TOST)은 언러닝된 모델이 베이스라인 모델과 통계적으로 동일하지 않음을 확인한다. 잔여 스타일 패턴이 지속되며, 특히 retain 세트에서 점수가 "매우 유사함" 영역에 머무는 경우가 있다.
  • 언어 효과는 제한적이지만, 네덜란드어 모델이 영어 모델보다 약간 더 높은 잔여 세계관 구축 유사성을 보였다.

5. 의의 및 주장

본 논문은 질적인 법적 표준과 양적인 기술적 측정 사이의 간극을 메운다고 주장하며, 생성형 AI와 EU 지식재산권법 사이의 근본적인 긴장을 드러낸다.

• 방법론적 기여: PSALM은 표면적 형태의 중복을 넘어 구조적 및 스타일적 전용을 평가하기 위해 감사가 가능하고 법적으로 정보가 풍부한 준법 평가를 위한 최초의 인프라를 제공한다. 이는 LLM이 특정 교리적 기준에 근거할 때 인간 법률 평가자의 맥락 의존적 추론을 근사할 수 있음을 입증한다.
• 법적 시사점: 연구 결과는 축자적 복사만을 대상으로 하는 안전장치가 더 넓은 저작권 위험을 완화하기에는 불충분함을 나타낸다. 미세 조정은 특정 저작물의 표현적 요소를 재현하는 정밀한 도구로 작동하는 모델을 만들 수 있으며, 현재의 언런링 기술(NPO)은 부분적인 완화책만을 제공하여 EU 법에 따라 실질적 유사성을 구성할 수 있는 감지 가능한 잔여 스타일 패턴을 남긴다.
• 겸손 및 한계: 저자들은 PSALM 점수가 인간의 법적 판단을 대체하는 것이 아니라 정보를 제공할 뿐임을 명시한다. 검증은 실제 법원 판결에 대한 법적 타당성이 아니라, 측정 안정성과 내부 일관성을 확립하기 위해 연구자가 설계한 테스트 케이스에 의존한다. 자동화된 유사성 점수와 실제 침해 판정 사이의 관계는 법률 전문가에 의한 추가적인 검증이 필요하다. 또한, 본 연구는 QA 형식이 보다 다양한 인스트럭션 튜닝 파이프라인에 비해 스타일적 전용의 상한선을 나타낼 수 있음을 언급한다.

요약하자면, 본 연구는 언러닝 기술이 축자적 추출은 억제할 수 있지만, "스타일적 학습의 각인"을 완전히 지우지는 못한다는 것을 보여주며, 이는 생성형 AI 시대에 모델 개발자와 권리자들에게 중요한 준법 격차를 남긴다는 것을 시사한다.