这篇文章主要是在警告法律界：现在流行的“生成式人工智能”（比如 ChatGPT 这类能写文章、做总结的 AI），在严肃的法律工作中还太不靠谱，甚至很危险。
作者吉泽姆·古尔泰金 - 瓦尔科尼（Gizem Gultekin-Várkonyi）用通俗易懂的逻辑，结合欧洲的法律规定，解释了为什么律师和法官现在应该非常谨慎，甚至暂时不要把这些 AI 当作主力工具。
为了让你更容易理解，我们可以把这篇论文的核心观点拆解成三个生动的比喻：
1. AI 是个“过度自信的胡编乱造者”（幻觉问题）
比喻：一个背熟了百科全书但不懂逻辑的“戏精”演员。
- 现状： 现在的 AI 就像是一个读过全世界所有书（包括小说、新闻、甚至假新闻）的超级演员。它非常擅长模仿人类的说话方式，声音洪亮、逻辑通顺、用词华丽。
- 问题： 它并不在乎“事实”是什么，它只在乎“听起来像不像真的”。
- 后果（幻觉）： 如果你让它写一份法律判决书，它可能会编造一个根本不存在的案例，或者引用一条从未存在过的法律。
- 例子： 就像有个演员在法庭上信誓旦旦地背诵一段剧本，说“根据 1998 年的《反重力法》第 3 条……"，其实世界上根本没有这部法律。但因为他说得太像真的了，法官如果没仔细核对，就会信以为真。
- 论文观点： 在法律领域，这种“胡编乱造”是致命的。因为法律讲究的是事实和证据，而不是“听起来很顺”。AI 为了追求语言的流畅，经常牺牲事实的准确性。
2. 律师容易变成“听话的跟班”（过度依赖问题）
比喻：太信任导航仪，结果开进了死胡同。
- 现状： 因为 AI 说话太像人，而且反应极快，很多律师和法官开始觉得它比人聪明、更客观。
- 问题（过度依赖）： 人类有一种心理弱点，叫“权威偏见”。当 AI 用非常专业、自信的语调给出建议时，人就会下意识地放弃自己的思考，直接照单全收。
- 例子： 就像你开车时太信任导航仪，导航仪说“前方左转”，哪怕你看到前面是悬崖，你也可能因为信任机器而踩油门。在法律上，这意味着律师可能不再去核实 AI 提供的案例，法官可能直接采纳 AI 生成的判决理由。
- 后果： 一旦 AI 开始“胡编乱造”，而人类又完全信任它，错误就会被放大，甚至导致冤假错案。
3. 法律的核心是“讲道理”，而 AI 是“黑盒子”（解释性问题）
比喻：法官需要知道“为什么”，但 AI 只给“答案”。
- 现状： 法律判决必须能解释清楚“为什么这么判”。比如，为什么判这个被告有罪？依据是什么？这需要清晰的逻辑链条。
- 问题： AI 就像一个黑盒子。它给你答案，但很难解释它是怎么算出来的。
- 如果 AI 说“被告有罪”，但它给出的理由是“因为我在训练数据里看到类似情况通常判有罪”，而不是基于具体的法律条文和证据分析，这在法律上是无效的。
- 更糟糕的是，如果 AI 编造了证据（幻觉），它就更无法解释为什么基于这些假证据做出了决定。
- 论文观点： 欧洲的法律（如《GDPR》和《AI 法案》）要求决策必须透明、可解释。但目前的 AI 技术做不到这一点。如果法官依赖 AI 做决定，却说不清理由，这就侵犯了公民的权利，也破坏了司法的独立性。
总结：作者的建议是什么？
作者并不是说 AI 一无是处，但她认为目前的 AI 技术还不成熟，不适合直接用于做决定（比如定罪、量刑、起草关键法律文书）。
- 核心结论： 在 AI 能够彻底解决“胡编乱造”（幻觉）和人类能够彻底克服“盲目信任”（过度依赖）这两个问题之前，法律专业人士应该对使用这类 AI 保持高度警惕，甚至暂时避免在关键决策中使用它们。
一句话概括：
现在的生成式 AI 就像一个才华横溢但爱撒谎的实习生，它写东西很快、很漂亮，但如果你不拿着放大镜去核实每一个字，它可能会把你带进法律的黑洞。在它能学会“诚实”之前，别让它替你做决定。
基于 Gizem Gultekin-Várkonyi 提交的论文《为何避免生成式法律人工智能系统？幻觉、过度依赖及其对可解释性的影响》，以下是该论文的详细技术摘要：
1. 研究问题 (Problem)
随着生成式人工智能（GenAI）在法律领域的快速渗透，法律专业人士面临两大核心风险，严重威胁司法独立和基本权利的保护：
- 幻觉（Hallucination/Confabulation）： 生成式法律人工智能（GLAI）系统基于统计令牌预测（statistical token prediction）而非真正的法律推理。这导致模型为了追求语言流畅性而编造事实、虚构案例引用或伪造法律条文。这种“无事实依据的虚构”破坏了法律决策所需的认识论可靠性。
- 过度依赖（Overreliance）： 由于 GLAI 输出具有高度拟人化、流畅且自信的语调，法律从业者（法官、律师）容易产生“自动化偏见”（automation bias），即不加批判地信任算法建议，甚至将道德和专业责任外包给算法。
- 核心矛盾： 上述两种现象的结合削弱了欧盟法律框架（如 GDPR 和《人工智能法案》）中规定的**可解释性（Explainability）**原则。如果决策基于虚构数据，且人类无法理解或质疑其背后的逻辑，那么“有意义的解释”和“人工监督”将流于形式。
2. 研究方法 (Methodology)
本文采用规范性分析与实证案例研究相结合的方法：
- 概念界定与历史梳理： 定义了“生成式法律人工智能（GLAI）”这一统称，涵盖从文档起草到刑事司法决策支持的系统。回顾了 AI 发展的三个历史浪潮（符号主义、统计机器学习、深度学习/基础模型），指出 GLAI 属于第三浪潮，其技术基础是大规模预训练和微调。
- 政策框架分析： 将问题置于欧洲 AI 治理框架下，重点分析《通用数据保护条例》（GDPR）第 22 条（自动化决策）和《人工智能法案》（AI Act）第 13、14 条（高风险系统的人工监督与透明度），探讨现有法规如何应对 GLAI 的缺陷。
- 案例实证分析：
- 美国案例： 引用 2025 年新泽西州法官撤回意见书的事件，以及律师因使用 ChatGPT 编造判例而被制裁的案例，证明幻觉在现实法律程序中的破坏力。
- 土耳其案例： 提及执法部门盲目采信 AI 计算的租金数据而忽视书面证据的案例。
- 技术案例： 引用 COMPAS 再犯风险评估工具（State v. Loomis）说明算法黑箱和过度依赖的历史教训。
- 跨学科理论应用： 结合心理学理论（如“恐怖谷”效应、社会行为者范式）解释为何人类会对机器产生非理性的信任。
3. 关键贡献 (Key Contributions)
- 重新定义 GLAI 的风险本质： 论文指出 GLAI 并非传统法律信息检索工具的简单升级，其基于概率预测的架构决定了其本质上是“不可靠的”。它优先处理语言模式而非法律真理，导致“ careless speech"（不负责任的言论）。
- 揭示“幻觉”与“过度依赖”的协同破坏机制： 论文论证了幻觉不仅提供错误信息，还通过其自信的语调掩盖了错误，从而诱导人类用户放弃批判性思维。这种双重失效使得现有的监管保障（如人工监督）在缺乏有效机制的情况下失效。
- 批判现有的“可解释性”方案： 指出通用的可解释性技术（如特征重要性评分）无法满足法律领域的需求。法律决策需要的是可辩论、可反驳的规范性论证，而非黑盒模型的统计解释。
- 提出激进的政策建议： 在幻觉和过度依赖问题得到根本解决之前，强烈建议在法律后果重大的决策中完全避免常规使用 GLAI 系统。
4. 主要结果/发现 (Results)
- 技术局限性不可逾越： 目前的 GLAI 架构（基于海量非结构化数据训练）本质上无法保证事实准确性。即使有真实数据输入，模型仍可能因概率匹配而输出虚构内容，且这种错误会随迭代自我强化。
- 监管滞后与形式化风险： 尽管《人工智能法案》要求对高风险 AI 进行人工监督，但由于缺乏具体的执行标准和验证机制，人类监督者往往因认知偏差而沦为“橡皮图章”，导致监管保障流于形式。
- 可解释性的失效： 当输入数据或中间推理过程包含幻觉时，任何试图解释“模型为何做出此决定”的努力都是徒劳的，因为基础事实不存在。这直接违反了 GDPR 关于数据准确性和可追溯性的要求。
- 职业能力的退化： 过度依赖 AI 会导致法律从业者的核心技能（如法律推理、事实核查）萎缩，使法律人从决策者退化为算法的被动执行者。
5. 研究意义 (Significance)
- 对法律伦理的警示： 论文强调了在法律领域盲目追求效率而牺牲准确性的道德风险。它提醒法律界，AI 的“流畅性”不等于“正确性”，在司法独立和基本权利保护面前，必须保持高度的审慎。
- 对欧盟立法的补充： 为《人工智能法案》和 GDPR 在高风险法律场景（如刑事司法、量刑辅助）的具体实施提供了理论依据，强调了“领域感知（domain-aware）”的可解释性设计的必要性。
- 对技术发展的反思： 挑战了“技术中立”和“技术万能”的迷思，指出在缺乏解决根本性幻觉问题之前，将 GLAI 引入核心法律流程是危险且不可接受的。
- 未来研究方向： 呼吁开发专门针对法律论证结构的可解释性技术，并建立严格的人机协作协议，确保人类始终掌握最终决策权，而非仅仅作为形式上的监督者。
总结： 该论文通过深入的技术分析和法律伦理论证，得出一个明确的结论：鉴于当前生成式 AI 在幻觉和过度依赖方面的固有缺陷，以及这些缺陷对法律可解释性原则的根本性破坏，在法律关键决策中常规使用 GLAI 系统目前是不可行的，必须采取严格的限制措施。
每周获取最佳 computer science 论文。
受到斯坦福、剑桥和法国科学院研究人员的信赖。
请查收邮箱确认订阅。
出了点问题，再试一次？
无垃圾邮件，随时退订。