De-identification of Brazilian Portuguese Clinical Records Using a Hybrid Pipeline with Local Language Models
本文提出并评估了一种用于对巴西葡萄牙语临床记录进行脱敏处理的离线混合流水线，该流水线利用本地开源权重语言模型和基于规则的过滤器，在无需针对特定任务进行微调的情况下，在配置适中的硬件上展示了高召回率和稳定性。
原始论文采用 CC BY 4.0 许可（https://creativecommons.org/licenses/by/4.0/）。 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。 阅读完整免责声明
想象一下，你是一名试图破解谜题的侦探，但线索却隐藏在一座庞大的病历库中。这些笔记对于医生和研究人员来说是金矿，因为它们讲述了人们如何生病以及如何康复的完整故事。然而，这些故事也充满了秘密代码：姓名、地址、电话号码和身份证件，这些都可能精准地揭示出患者的身份。在数字时代，将这些笔记分享给计算机以寻找模式，就像是把你的房屋地图交给了一个陌生人；这对于研究极其有用，但也带来了巨大的隐私风险。这就是“去标识化”（de-identification）科学发挥作用的地方。把它想象成一支高科技的涂改笔，它能扫描文档，找到每一个秘密代码，并用黑笔将其覆盖，只留下背后的医学故事。挑战在于，人类语言是混乱的，充满了俚语、拼写错误和复杂的语境，这使得计算机很难准确知道该隐藏什么，而不至于意外抹掉重要的医学事实。
现在，想象你想从事这项侦探工作，但你不能把这些笔记发送给一台庞大、强大的云端计算机，因为那就像是把你的秘密日记寄给一个陌生人。你需要在自己的办公室里，就在一台普通的电脑上，在没有互联网连接的情况下完成这项工作。这正是来自巴西的一个研究团队致力于解决的难题。他们构建了一个精巧的三部分组成的机器，充当一名超级聪明的本地图书管理员。他们并没有需要超级计算机或庞大的预设答案数据库，而是教会了他们的系统结合使用简单的模式匹配规则、一个忽略重复性“模板化”文本（如标准医院表格）的统计过滤器，以及一个可以直接在他们自有硬件上运行的强大开源人工智能模型。他们的目标是看看这个本地团队是否能像那些昂贵的大型云服务一样，在不离开建筑物的情况下，同样出色地隐藏患者的秘密。
研究人员发现，他们的本地离线系统表现得惊人地好。他们在数千份合成医疗记录上进行了测试，发现他们表现最好的单一 AI 模型——一个“Gemma”模型——成功隐藏了它应该找到的 9 enough 9.2% 的秘密姓名和数字。对于隐私保护而言，这是一个巨大的胜利，因为在这场游戏中，漏掉哪怕一个秘密都是一场灾难，而意外隐藏了一些额外的文本则只是个小麻烦。该系统的表现非常出色，甚至超越了其他一些专门为此任务进行训练的方法。更棒的是，该系统能够处理自身的错误。有时，当 AI 模型感到困惑时，它们会开始不断重复同一句话，就像坏掉的唱片一样，这会导致计算机崩溃。研究人员构建了一个特殊的“安全网”，能够瞬间识别这些循环，停止重复，并引导 AI 回到正确的路径，确保任务顺利完成而不会导致计算机死机。
团队还发现，通过忽略医疗笔记中几乎出现在每个患者档案中的那些枯燥、重复的部分（例如标准指令或常用短语），可以使工作变得更快。通过在 AI 查看这些内容之前将其过滤掉，他们节省了大量的计算能力。事实上，在处理真实的医院笔记时，他们发现可以跳过近 12% 的文本，因为那些只是不包含任何秘密的标准化“模板化”内容。当他们把所有这些部分组合在一起——模式匹配器、模板过滤器、循环停止器和智能 AI——整个系统在测试集中成功隐藏了 95.4% 的秘密，其得分足以媲美当今最优秀的云端系统。
然而，研究人员谨慎地表示，这并不是解决一切问题的万灵药。他们的测试主要针对合成（计算机生成）的记录，以及一组没有经过人工验证“金标准”答案的特定真实笔记。虽然结果非常令人鼓舞，并表明在不需要将数据发送到云端的情况下，实现本地、私密的去标识化是可行的，但他们建议，在医院开始在现实生活中使用此技术之前，需要在来自不同地方的更广泛的真实记录上进行测试。他们还发现，尝试结合多个 AI 模型进行“投票”并不会比仅使用他们最好的单一模型让系统变得更好。最终，这篇论文证明了，只要拥有正确的简单规则与智能本地 AI 的结合，医院就可以在自己的服务器上保持患者数据的安全与私密，而无需依赖外部的技术巨头。
您所在领域的论文太多了？
获取与您研究关键词匹配的最新论文每日摘要——附技术摘要，使用您的语言。