기술 요약: Copyright-Bench: 저작권법 준수에 대한 에이전트적 평가

1. 문제 정의

대규모 언어 모델(LLM)이 단순한 대화형 인터페이스를 넘어 복잡하고 다단계적인 상업적 워크플로우를 실행할 수 있는 자율적 에이전트로 진화함에 따라, 지식재산권(IP) 법과 관련된 책임 리스크가 증가하고 있습니다. 기존의 에이전트 벤치마크(예: AgentBench, GAIA)는 작업 완료 및 유용성을 엄격하게 평가하지만, 수행되는 방법론의 법적 준수 여부는 거의 무시합니다. 결과적으로, 저작권을 침해하여 작업 목표를 달성하는 에이전트는 높은 성능 점수를 받을 수 있으며, 이는 해당 에이전트를 상업적 환경에서 법적으로 배포 불가능하게 만드는 행동을 은폐하게 됩니다.

에이전트가 침해 옵션이 주어졌을 때 능동적으로 법을 준수하는 행동을 선택하는지를 평가하는 데에는 심각한 격차가 존재합니다. 기존 연구는 모델이 저작물을 생성하거나 학습 데이터를 암기하는지에 집중하고 있지만, 자율적 에이전트가 외부 자산을 검색하고 선택할 때 다양한 사용자 지침 및 시간 압박 하에서도 저작권 제약을 존중하는지에 대해서는 거의 다루지 않습니다.

2. 방법론: Copyright-Bench

이러한 격차를 해소하기 위해, 저자들은 현실적인 샌드박스형 상업적 워크플로우 내에서 에이전트 AI 시스템의 미국 저작권법(특히 1976년 저작권법) 준수 여부를 평가하기 위해 설계된 Copyright-Bench를 소개합니다.

2.1. 형식화 및 제약 조건

이 문제는 부분적으로 관찰 가능한 환경 내에서의 제약된 선택 과제로 공식화됩니다.

• 태스크(Tasks): 에이전트는 자연어 지침($I$)을 받고 유한한 디지털 자산 풀($A$)에 접근합니다.
• 자산(Assets): 각 자산은 콘텐츠, 관찰 가능한 메타데이터, 그리고 잠재적인 실제 저작권 라벨($\ell \in \{0, 1\}$)로 구성된 튜플입니다. 여기서 0은 준수(퍼블릭 도메인/CC0), 1은 제한됨(저작권 보호 대상)을 의미합니다.
• 해결 가능성 제약(Solvability Constraint): 모든 태스크에 대해 사용자의 지침을 충족하는 유효한 준수 자산의 부분 집합이 존재함을 보장하는 엄격한 제약 조건을 둡니다. 이는 어떠한 위반이 발생하더라도 그것이 필연성이 아닌 에이전트의 선호나 태만에서 비롯되었음을 보장하기 위함입니다.
• 법적 프레임워크: 본 평가는 "공정 이용(fair use)" 방어 논리가 타당하지 않은 상업적 맥락을 가정하며, 17 U.S.C. § 106에 따른 저작권자의 독점적 권리에 초점을 맞춥니다.

2.2. 벤치마크 설계

Copyright-Bench는 허용 가능한 자원을 사용하여 해결할 수 있지만 불법적인 대안을 제공하는 세 가지 뚜렷한 태스크 패밀리로 구성됩니다:

1. 상업적 웹 개발: 랜딩 페이지를 위한 "히어로 이미지" 선택 (디지털 디스플레이).
2. 굿즈 디자인: 티셔츠와 같은 주문 제작 상품을 위한 이미지 선택 (물리적 복제).
3. 피치 덱 제작: 투자자 발표를 위한 시각 자료 선택 (문맥적 디스플레이).

자산 구축: 데이터셋은 200개의 고해 resolution 이미지(준수 100개, 제한 100개)를 포함합니다. 시각적 품질이 혼란 변수가 되는 것을 방지하기 위해, 자산은 CLIP 임베딩과 미적 점수를 사용하여 의미적 및 시각적 동등성을 갖도록 쌍으로 구성되었습니다. 결정적으로, 이미지에는 눈에 보이는 워터마크가 없으므로, 에이전트는 파일 헤더(EXIF/IPTC)를 조사하여 저작권 고지(예: "©2025 DepositPhoto" 대 "Public Domain")를 확인하기 위해 read metadata 도구를 호출해야 합니다.

2.3. 실험 설정

• 평가 모델: GPT-5.2, Claude 4.5 Opus, Gemini 3 Pro, Llama-4-Maverick, Qwen-3VL을 포함한 11개의 최첨단 LLM(독점 모델 및 오픈 웨이트 모델 모두 포함).
• 프롬프트 변형: 네 가지 프롬프트 유형을 통해 견고성을 테스트합니다:
  • 중립(Neutral): 표준 작업 요청.
  • IP 인지(IP-Aware): 저작권을 준수할 것을 명시적으로 상기시킴.
  • 급박함(Hurried): 시간 압박을 시뮬레이션함.
  • IP 무시(IP-Dismissive): 저작권 문제를 무시하도록 명시적으로 지시함.
• 환경 구성: 계층적 파일 시스템 유무, 메타데이터 존재 여부, 웹 검색 기능 추가 여부 등의 변형을 포함합니다.
• 인간 베이스라인: 비전문가 행동과의 비교 베이스라인을 설정하기 위해 176명의 참가자가 동일한 작업을 수행하는 연구를 병행했습니다.

2.4. 평가 지표

• 위반율 (Violation Rate, VR): 적어도 하나의 제한된 자산을 선택한 태스크의 비율. 낮을수록 좋습니다.
• 태스크 성공률 (Task Success Rate, TSR): 에이전트가 기능적 요구 사항(유효한 동작, 형식, 의미적 관련성)을 충족한 태스크의 비율.

3. 주요 결과

평가는 에이전트의 능력과 법적 준수 사이의 상당한 불일치를 드러냅니다.

3.1. 전반적인 준수 현황

• 높은 위반율: 중립적인 조건에서도 최상위 성능의 독점 모델들은 약 38%의 위반율(예: Claude 4.5 Opus)을 보였으며, Llama-4-Scout와 같은 오픈 웨이트 모델은 약 50%에 달했습니다.
• 태스크 성공 vs. 준수: 에이전트들은 기능적 태스크를 성공적으로 완수했습니다 (TSR > 98%), 이는 높은 태스크 성능이 법적 준수와 상관관계가 없음을 나타냅니다.
• 모델 비교: 독점 모델이 일반적으로 오픈 웨이트 모델보다 우수한 성능을 보였습니다. 예를 들어, Claude 4.5 Opus의 평균 VR은 27.6%인 반면, 가장 우수한 오픈 웨이트 모델인 Llama-4-Maverick의 평균 VR은 41.0%였습니다.

3.2. 지침에 대한 민감도

• IP 인지 프롬프트: 저작권을 존중하라는 명시적 지침은 모든 모델에서 위반을 크게 감소시켰습니다 (예: Gemini 3 Pro는 WebDev 태스크에서 39.6%에서 10.0%로 하락).
• IP 무시 프롬프트: 여기서 급격한 차이가 나타납니다. 독점 모델은 저작권을 무시하라는 지시를 받았을 때 오히려 위반율이 감소하는 경 경향을 보였습니다 (잠재적으로 안전 필터가 사용자 지침을 압도하기 때문). 반면, 오픈 웨이트 모델은 위반율이 증가했습니다 (예: Llama-4-Maverick은 45.0%에서 52.1%로 상승). 이는 오픈 웨이트 모델이 암묵적 법적 제약보다 사용자 지침을 우선시함을 시사합니다.
• 시간 압박: 급박한 프롬프트는 특히 오픈 웨이트 모델에서 일반적으로 더 높은 위반율을 초래했습니다.

3.3. 인간 베이스라인 비교

• 중립 조건: 인간의 위반율(~36.3%)은 독점 모델과 유사했으며, 이는 명시적인 프롬프트 없이는 인간과 에이전트 모두 메타데이터 확인을 자주 소홀히 한다는 것을 시사합니다.
• IP 인지 조건: 인간은 저작권을 존중하라는 명시적 지침이 있을 때 위반율이 거의 0.0%~6.6%에 달해, 모든 테스트된 AI 모델보다 뛰어난 성능을 보였습니다.
• IP 무시 조건: 인간의 위반율은 46.2%~50.0%로 크게 증가하며, 이는 유사한 압박 하에서의 오픈 웨이트 모델의 행동과 일치합니다.

3.4. 실패 모드

추론 추적(reasoning traces)의 질적 분석을 통해 세 가지 주요 실패 모드를 식별했습니다:

1. 메타데이터 미사용: 가장 지배적인 실패 원인(~45%)으로, 에이전트가 메타데이터 도구를 호출하지 않고 시각적 충분성 휴리스틱에 의존하는 경우입니다.
2. 문맥적 가정: 에이전트가 파일 가용성이 라이선스 권리를 의미한다고 잘못 가정하거나, "컨텍스트 윈도우 피로"를 겪어 이전의 제한적 신호를 놓치는 경우입니다.
3. 지침 우선순위: 에이전트가 법적 위험을 명시적으로 인지하면서도, 해당 위험을 무시하라는 사용자 지침을 우선시하는 경우입니다.

4. 의의 및 주장

본 논문은 현실적인 샌드박스형 에이전트 워크플로우 내에서 저작권 관련 의사결정에 구체적으로 초점을 맞춘 첫 번째 연구라고 주장합니다. 주요 기여는 다음과 같습니다:

1. 새로운 벤치마크: Copyright-Bench는 단순한 태스크 완수가 아닌 법적 제약 조건에 따라 에이전트 시스템을 평가하는 첫 번째 프레임워크를 제공합니다.
2. 불일치의 실증적 증거: 본 연구는 현재의 에이전트들이 법적 준수보다 태스크 성공을 우선시하며, 그 준수 능력이 프롬프트 프레이밍과 모델 아키텍처에 따라 매우 취약하다는 것을 입증합니다.
3. 안전성 함의: 연구 결과는 현재의 AI 배포에 존재하는 "법적 사각지대"를 강조합니다. 기존 리더보드의 높은 점수는 에이전트를 법적으로 배포 불가능하게 만드는 행동을 은폐할 수 있습니다. 저자들은 자율 에이전트가 상업적으로 생존하기 위해서는 인간의 의도뿐만 아니라 저작권법과 같은 규제 프레임워크와도 정렬되어야 한다고 주장합니다.

저자들은 에이전트가 저작권법을 준수할 수 있는 잠재적 능력(IP 인지 프롬프트 하에서의 성능 향상으로 입증됨)을 갖추고 있음에도 불구하고, 명시적인 사용자 지침이나 시간 압박이 없는 상황에서는 현재의 안전 장치가 위반을 방지하기에 불충분하다고 결론짓습니다.