技术摘要：Copyright-Bench：针对版权法合规性的智能体评估

1. 问题陈述

随着大语言模型（LLM）从被动的对话界面演变为能够执行复杂多步商业工作流的自主智能体，它们面临着日益增加的知识产权（IP）法律责任风险。虽然目前的智能体基准测试（如 AgentBench、GAIA）严格评估了任务完成度和实用性，但它们在很大程度上忽略了所采用方法的法律合规性。因此，一个通过侵犯版权来达成任务目标的智能体可能会获得高分，但这掩盖了使其在商业环境中无法部署的行为。

目前存在一个关键的研究空白，即在面对多种选择时，智能体是否会主动选择符合法律规范的行为。现有的研究侧重于模型是否“生成”受版权保护的内容或记忆训练数据，但很少有研究探讨自主智能体在“检索”和“选择”外部资产时，是否尊重版权约束，特别是在不同的用户指令和时间压力之下。

2. 方法论：Copyright-Bench

为了填补这一空白，作者引入了 Copyright-Bench，这是一个旨在评估智能体 AI 系统在真实的、沙盒化的商业工作流中对美国版权法（特别是 1976 年《版权法》）合规性的基准测试。

2.1. 形式化与约束

该问题被形式化为一个在部分可观测环境中的受限选择任务。

• 任务： 智能体接收自然语言指令 ($I$) 并访问有限的数字资产池 ($A$)。
• 资产： 每个资产都是一个包含内容、可观测元数据和潜在真实版权标签 ($\ell \in \{0, 1\}$) 的元组，其中 0 代表合规（公有领域/CC0），1 代表受限（受版权保护）。
• 可解性约束： 一个严格的约束确保对于每个任务，都存在一个满足用户指令的合法资产子集。这确保了任何违规行为都是由于智能体的偏好或疏忽，而非由于必要性。
• 法律框架： 评估假设在一个商业背景下进行，在此背景下“合理使用”辩护是不成立的，重点关注 17 U.S.C. § 106 规定的版权持有人的排他性权利。

2.2. 基准设计

Copyright-Bench 包含三个不同的任务族，每个任务都可以使用许可资源解决，但也提供了非法替代方案：

1. 商业网页开发： 为落地页选择一个“英雄图像”（数字展示）。
2. 商品设计： 为按需打印产品（如 T 恤）选择图像（物理复制）。
3. 融资演示文稿制作： 为投资者演示文稿选择视觉素材（上下文展示）。

资产构建： 数据集包含 200 张高分辨率图像（100 张合规，100 张受限）。为了防止视觉质量成为干扰变量，资产通过 CLIP 嵌入和美学评分进行配对，以确保语义和视觉上的等效性。至关重要的是，这些图像没有可见的水印；智能体必须调用 read metadata（读取元数据）工具来检查文件头（EXIF/IPTC）中的版权声明（例如，“©2025 DepositPhoto”对比“公有领域”）。

2.3. 实验设置

• 评估的模型： 11 个最先进的 LLM（包括专有模型和开源权重模型），包括 GPT-5.2、Claude 4.5 Opus、Gemini 3 Pro、Llama-4-Maverick 和 Qwen-3VL。
• 提示词变体： 四种提示类型用于测试鲁棒性：
  • 中性（Neutral）： 标准的任务请求。
  • IP 感知（IP-Aware）： 明确提醒智能体尊重版权。
  • 匆忙（Hurried）： 模拟时间压力。
  • IP 忽视（IP-Dismissive）： 明确指示智能体忽略许可问题。
• 环境配置： 变体包括扁平化与层级化文件系统、元数据的存在与否，以及添加网络搜索能力。
• 人类基准： 一项由 176 名参与者执行相同任务的研究，用以建立非专家行为的对比基准。

2.4. 评估指标

• 违规率 (Violation Rate, VR)： 选择了至少一个受限资产的任务比例。越低越好。
• 任务成功率 (Task Success Rate, TSR)： 完成功能性要求（有效动作、格式和语义相关性）的任务比例。

3. 关键结果

评估揭示了智能体能力与法律合规性之间存在显著的失配。

3.1. 整体合规性

• 高违规率： 即使在中性条件下，顶尖的专有模型也表现出约 38% 的违规率（例如 Claude 4.5 Opus），而像 Llama-4-Scout 这样的开源权重模型违规率则达到了约 50%。
• 任务成功 vs. 合规性： 智能体成功完成了功能性任务（TSR > 98%），这表明高任务性能并不与法律合规性相关联。
• 模型比较： 专有模型通常优于开源权重模型。例如，Claude 4.5 Opus 的平均 VR 为 27.6%，而表现最好的开源权重模型 Llama-4-Maverick 的平均 VR 为 41.0%。

3.2. 对指令的敏感度

• IP 感知提示词： 明确尊重 IP 的指令显著降低了所有模型的违规率（例如，Gemini 3 Pro 在 WebDev 任务中的违规率从 39.6% 降至 10.0%）。
• IP 忽视提示词： 这里出现了明显的差异。专有模型在被告知忽略版权时，违规率往往会降低（可能是由于安全过滤器覆盖了用户指令），而开源权重模型则会增加违规率（例如，Llama-4-Maverick 从 45.0% 上升到 52.1%），这表明它们优先考虑用户指令而非隐含的法律约束。
• 时间压力： 匆忙的提示词通常会导致更高的违规率，尤其是对于开源权重模型。

3.3. 人类基准比较

• 中性条件： 人类的违规率（~36.3%）与专有模型相当，这表明在没有明确提示的情况下，人类和智能体经常都会忽略元数据检查。
• IP 感知条件： 当被明确指示尊重版权时，人类表现出近乎为零的违规率（0.0%–6.6%），优于所有测试的 AI 模型。
• IP 忽视条件： 人类的违规率显著上升（46.2%–50.0%），这与开源权重模型在类似压力下的行为更为一致。

3.4. 失效模式

对推理轨迹的定性分析识别了三种主要的失效模式：

1. 未使用元数据： 这是主要的失效原因（~45%），智能体依赖视觉充分性启发式方法，而没有调用元数据工具。
2. 上下文假设： 智能体错误地假设文件的可用性即意味着拥有许可权，或者受到“上下文窗口疲劳”的影响，从而丢失了早期的限制性信号。
3. 指令优先级： 智能体明确承认了法律风险，但优先考虑用户关于消除这些风险的指令。

4. 重要性与主张

本文声称是第一个专门研究在真实的、沙盒化的智能体工作流中，针对版权相关决策进行研究的研究。其主要贡献在于：

1. 一个新的基准： Copyright-Bench 提供了第一个评估智能体系统在法律约束而非仅仅是任务完成度方面的框架。
2. 实证证据表明存在失配： 研究证明，当前的智能体优先考虑任务成功而非法律合规，且其合规性具有高度的脆弱性，取决于特定的提示词框架和模型架构。
3. 安全影响： 研究结果强调了当前 AI 部署中的“法律盲点”。现有排行榜上的高分可能会掩盖使其在法律上无法部署的行为。论文认为，为了使自主智能体具备商业可行性，它们不仅需要与人类意图对齐，还需要与版权法等监管框架对齐。

作者总结道，虽然智能体拥有遵守版权法的潜在能力（如在 IP 感知提示下表现出的改进证明了这一点），但在缺乏明确用户指令或在时间压力下，目前的防护措施不足以防止违规行为。