AI assistance and error communication in deepfake evidence evaluation: A systematic review of human authenticity judgments
这项对七项研究进行的系统综述发现，虽然人工智能辅助可以提高深度伪造检测的效果，但其有效性在很大程度上取决于指导的质量和呈现方式，且目前的研究缺乏关于其对实际刑事判决影响的证据，并存在研究范围和设计方面的显著局限性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
在现代世界中，视频录像通常被视为不可更改的事实记录。如果摄像机捕捉到一个人在说话，人们就会假设那个人当时确实在那里，并说了那些话。这种信念构成了刑事调查和法律判决的基石。然而，一种被称为“深度伪造生成”（deepfake generation）的新技术打破了这种确定性。这些系统可以创建视频，通过替换或改变一个人的面部和声音，使其极其逼真，以至于让从未发生过的事件看起来像是真实发生的。对于调查人员来说，问题不仅在于识别这些伪造品，更在于如何使用那些声称能检测出它们的计算机工具。当一名人类法官或警察看到一段视频，并同时看到计算机给出的“这是伪造的”这一结论时，这种建议是如何改变他们的想法的？计算机究竟是帮助他们看到了真相，还是诱使他们犯下了原本不会犯下的错误？
这个问题是研究人员 Hardianto Djanggih 最近进行的一项系统性综述的核心。该研究并未测试新的计算机程序，也没有进行单一的实验。相反，它收集并分析了七项现有的研究，这些研究专门探讨了人类在判断视频或图像是否真实时，在接受人工智能帮助时的反应。研究人员想要了解这种协助是否提高了人类判断的准确性，信息的呈现方式如何影响结果，以及这些发现是否可以在法庭环境中被信任。该综述发现，答案并非简单的“是”或“否”。AI 的价值完全取决于其建议是否正确，以及这些建议是如何展示给人类的。
该综述检查了人们观看视频或观察人脸并决定其真实性或操纵性的实验。在某些情况下，参与者在做出最终决定之前会获得一个计算机模型的预测。在另一些情况下，他们会看到视觉线索，例如计算机认为伪造痕迹隐藏所在的突出区域，或者被告知该计算机通常有多可靠。结果显示，当计算机给出正确的建议时，它通常能帮助人们更频繁地得到正确答案。例如，在一项涉及视频剪辑的研究中，展示计算机的预测将正确识别率从 66% 提高到了 73%。然而，研究也揭示了一个危险的副作用：当计算机给出错误的建议时，人们倾向于跟随它，即使这会导致错误的结论。这种协助不仅没有让人们变得更聪明，反而使他们在工具本身存在缺陷时，更容易犯下特定的错误。
信息的呈现方式与信息本身同样重要。一项研究对比了简单的文本标签与能够放大深度伪造生成过程中留下的微小、不自然人工痕迹的视觉显示。视觉显示增强了人们对自身判断的信心，并使他们更倾向于接受计算机的评估。然而，这种信心并不总是意味着他们是正确的。在另一项实验中，研究人员告诉参与者计算机非常准确，但计算机的实际表现并不符合这一说法。尽管底层技术完全相同，但当参与者被告知计算机性能优异时，他们会更加信任计算机。这表明，误差率的沟通方式可以改变一个人对工具的依赖程度，而无论该工具的实际表现如何。
综述还探讨了建议的来源是否重要。在一项实验中，参与者接收到完全相同的指导，但有时被标记为来自人工智能，有时则被标记为来自人类。参与者最终决策的准确性并不取决于他们认为谁在提供建议。这一发现挑战了“人们会自动比机器更信任人类，或者天然怀疑计算机”的观点。相反，建议的质量和底层数据的正确性才是成功或失败的真正驱动力。研究人员指出，在许多此类研究中，给予参与者的建议是完美或模拟的，这意味着这些实验并未充分测试当现实世界的检测器出错时会发生什么。
该研究的一个关键局限性是，纳入其中的研究都没有测试这些工具在真实刑事审判中的运作情况。实验涉及的是在实验室或在线环境下做出快速判断的普通人，而不是决定被告命运的法官或律师。该综述发现，没有证据表明使用这些工具能带来更准确的判决。研究也未衡量人们是否能正确识别谁制造了伪造视频，或者视频中的人是否真的实施了犯罪。该研究仅针对一个更窄的问题：一段视频看起来是真实的还是伪造的。这一差距非常显著，因为一段视频在技术上可能是真实的，但仍可能被用来讲述误导性的故事；或者一段伪造视频可能被用于无害的目的。
作者总结道，人类与 AI 在该领域的这种关系是复杂的。协助、信任和准确判断是三件不同的事情。一个人可能会信任一个工具并同意其观点，但仍然是错误的。该综述建议，为了使这些工具在刑事证据中发挥作用，关于它们的沟通必须非常精确。专家需要准确解释该工具是在什么条件下测试的，以及它不能做什么。他们应该避免使用诸如“这段录音是伪造的”之类的宽泛说法，而应坚持使用具体的、可测试的陈述，例如“此文件包含与特定类型操纵相关的特征”。研究还强调了透明度的必要性。如果一个工具高亮显示了视频中的可疑区域，那么原始视频必须保持可用，以便其他人可以检查该高亮工具本身是否工作正常。
最终，这篇综述是一份警示指南，而非对技术的赞美。它表明，虽然 AI 协助可以提高人类检测深度伪造的能力，但如果建议不正确或人类过度依赖机器，也会引入新的风险。研究结果表明，在法律环境下，重点不应在于工具增加了多少信心，而在于它是否能帮助人们区分有益的建议与误导性的错误。在这些工具经过真实法律场景及真实后果的测试之前，它们确保正义的能力仍是一个悬而未决的问题。未来的路径需要严谨的测试、清晰的界限沟通，以及一个依然具备检查能力、而非仅仅接受计算机指令的人类。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。