💬 NLP

Detecting Sensitive Personal Information in Japanese Pre-Training Corpora for Large Language Models

本研究通过构建一个基于大语言模型标注的数据集，并训练一个机器学习分类器以确保隐私合规性，提出了首个用于检测日语预训练语料库中敏感个人信息（特别是日本的“要配虑个人信息”）的方法。

原作者： Rei Minamoto, Yusuke Oda, Daisuke Kawahara

发布于 2026-06-11

📖 1 分钟阅读☕ 轻松阅读

原作者： Rei Minamoto, Yusuke Oda, Daisuke Kawahara

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在建造一个巨大的、超级聪明的机器人大脑（大语言模型），方法是把互联网上的每一本书、每一篇文章和每一个网页都喂给它。这就像是往游泳池里倒进一桶又一桶的水，让水变得更深。但问题在于：这桶水可能会意外地包含一些非常私密、敏感的内容——比如某人的医疗记录、犯罪史或残疾详情。如果这个机器人大脑记住了这些内容，它以后可能会在无意中泄露出来，这就会造成严重的隐私侵犯。

在日本，有一项特定的法律叫做 APPI（个人信息保护法），它规定某些类型的信息需要“特别护理”。研究人员称之为 SCPI（需要特别关注的个人信息）。你可以把 SCPI 想象成装在水桶里的“易碎、易碎的玻璃”，在机器人“喝水”之前，你绝对必须把这些东西过滤掉。

以下是这篇论文的研究内容，用简单的语言解释如下：

1. 问题所在：缺乏针对日语“玻璃”的地图

虽然英语国家的研究人员已经开发出了寻找并从数据中删除这些“玻璃”（敏感信息）的工具，但目前还没有人为日语文本制作过这样的“地图”。此外，由于这类数据非常私密，你不能直接购买现成的示例列表来训练计算机，你必须从零开始构建自己的列表，这非常困难，因为你必须非常小心，以免违反法律。

2. 解决方案：两步走的“筛子”系统

团队构建了一个新的系统，用于发现日语文本中的敏感信息。他们使用了一个巧妙的两步处理过程，就像一个具有两种不同网眼大小的渔网：

第一步：大网（寻找姓名）： 首先，他们使用一个计算机程序来寻找任何提到人名的文本。为什么要这样做？因为在日语的网络数据中，大多数私密信息都是附着在姓名上的。如果没有姓名，通常可以忽略不计。这把庞大的文本堆缩小到了一个可控的范围。
第二步：细网（智能过滤器）： 接下来，他们使用了一个非常聪明、功能强大的 AI（“高性能大语言模型”）来阅读这些特定文本，并判断：“这是敏感信息吗？”
- 难点在于： 用这种超聪明的 AI 去处理数百万条文本既慢又贵。所以，他们只用它来创建一个“金标准”训练集。
- 结果： 他们利用这个小而完美的示例集，训练了一个轻量级、快速的机器学习模型。你可以把它想象成训练一只速度快、成本低的“机器狗”来嗅出“玻璃”，这样你就不用动用那个昂贵且缓慢的“超级大脑”来完成整个工作了。

3. 训练数据：他们发现了什么？

他们构建了一个包含约 1,000 个“敏感”日语文本示例的数据集。他们专注于三个主要的类别，这些类别很容易被发现：

病史： （例如，“他患有癌症。”）
犯罪： （例如，“他因盗窃被捕。”）
残疾： （例如，“她使用轮椅。”）

他们还发现了一些棘手的案例，比如关于性取向或性别认同的信息，他们在研究中将其标记为“LGBT”，尽管法律并没有以同样的方式明确列出它们。

4. 结果：速度 vs. 准确度

他们将这个“机器狗”（快速模型）与“超聪明 AI”以及其他方法进行了对比测试。

准确度： 快速模型在识别敏感信息的“主题”（例如，知道一段文本是关于“病史”的）方面表现得非常出色。然而，它们有时很难区分“某人在谈论某种疾病”（通用信息）和“某人在泄露特定患者的疾病”（SCPI）之间的区别。
速度： 这是快速模型大获全胜的地方。超聪明的 AI 扫描一个巨大的图书馆可能需要一个月的时间。而快速模型可以在不到一天的时间内完成。这就像是蜗牛与赛车之间的区别。

5. “混淆”与未来计划

研究人员注意到，他们的快速模型有时会在“病史”和“残疾”之间产生混淆，因为这些主题经常同时出现（例如，一个关于残疾人在接受医疗救治的故事）。

他们的结论是：

你不能使用超聪明的 AI 来扫描整个互联网；它太慢了。
你可以使用快速、廉价的模型来进行一次“粗略扫描”，从而捕捉到绝大多数的敏感主题。
如果你需要 100% 的完美，你可以先使用快速模型过滤掉安全的内容，然后再对剩下的那小部分“疑似敏感”的内容使用超聪明的 AI。

关于伦理的重要说明：
研究人员非常谨慎。他们没有发布他们发现的敏感数据，而只是发布了工具（分类器）和方法。他们也指出，虽然他们的工具有助于保护隐私，但理论上它也可能被心怀叵测的人利用来寻找私密信息，因此他们在发布研究成果时非常谨慎。

简而言之： 他们为日语文本打造了第一个专门的“金属探测器”，用于寻找私密的、敏感的信息。它既快速又便宜，而且足以用来清理用于训练未来 AI 机器人的大规模数据湖，确保这些机器人不会意外泄露人们的秘密。

技术摘要：检测日语预训练语料库中的敏感个人信息

问题陈述
用于大语言模型（LLM）的大规模预训练语料库通常通过网络爬虫构建，这存在无意中收集个人信息的风险。如果未经过滤，LLM 可能会记忆并泄露这些数据。虽然欧盟的 GDPR 和美国的 CPRA 等隐私法规定义了敏感个人信息（SPI），但针对日语文本中检测此类数据的研究仍然有限。在日本，《个人信息保护法》（APPI）定义了“要特别注意的个人信息”（SCPI），其中包括种族、信仰、病历、犯罪记录和残疾等属性。与一般的个人可识别信息（PII）不同，SCPI 需要特殊的保护以防止不公正的歧视。文献中存在一个关键空白：目前尚无公开可用的日语 SCPI 数据集，也缺乏对语料库层面检测 SCPI 的系统性研究。此外，现有的日语 LLM 实际流水线通常依赖于基于规则的过滤或缺乏语义完整性的朴素贝叶斯分类器。

方法论
本研究提出了一个用于构建 SCPI 数据集并训练快速分类器的流水线，如图 1 所示。

数据集构建：
- 来源： 作者从 llm-jp-corpus-v3（来自 Common Crawl 的日语网络语料库）中抽取了 261 万条文本。
- 候选提取： 为了缩小搜索空间，使用命名实体识别（NER）模型来识别包含人名的文本，因为人名是网络语料库中最常见的 PII 形式。
- 两阶段标注：
  - 第一阶段（低参数模型）： 使用两个开源权重模型 Llama 3.1 Swallow 8B 和 Gemma 2 9B 对候选文本进行标注。提示词定义了 11 个 APPI SCPI 类别以及一个“非 SCPI”标签。根据置信度分数和模型一致性（例如，要求两个模型均达成一致）对文本进行过滤。
  - 第二阶段（高性能模型）： 使用高性能模型 (gpt-oss-120b) 验证过滤后的子集。通过人工修正来处理不当输出并识别边缘案例。
- 标签精炼： 在人工审查期间，引入了一个额外的类别“LGBT”（涵盖性取向和性别认同），因为该类别未被原有的 APPI 标签很好地捕捉。最终的训练数据集专注于具有足够实例的三个类别：病历（Medical History）、犯罪（Crime，由犯罪记录、受害经历和诉讼程序聚合而成）以及残疾（Disability）。数据集经过平衡，包含 10% 的正例（SCPI）和 90% 的负例（非 SCPI）。
分类模型：
- 本研究评估了传统的机器学习模型和基于 Transformer 的模型，以权衡效率。
- 传统模型： 支持向量分类（SVC）、LightGBM (LGBM) 和简单的神经网络（NN）。这些模型利用通过 Doc2Vec、TF-IDF 和日语嵌入模型 (ruri-v3-310m) 生成的向量表示。
- Transformer 模型： 基于 BERT 的分类器 modernbert-ja-310m。
- 堆叠（Stacking）： 为了提高召回率，作者采用了模型堆叠技术，取表现最好的基模型（SVC 和 LGBM）预测结果的并集。

主要结果

数据集质量： 构建的数据集包含 954 个正例（病历：377，犯罪：261，残疾：316）和 8,586 个负例。评分者间一致性（Cohen's $\kappa$ ）为 0.614，表明具有实质性的一致性，但由于边界案例的存在，“犯罪受害”类的一致性较低。
模型性能：
- 交叉验证： ModernBERT 实现了最高的 F1 分数（>0.95），但计算成本较高。在传统模型中，使用 TF-IDF 的 LGBM 和使用 Ruri 嵌入的 SVC 表现最好。
- 大规模语料库的人工评估： 当应用于 106 万条文本时，分类器在交叉验证精确度和人工检测率之间表现出差异。模型在检测 SCPI 相关类别信息（例如，关于医疗护理的一般性讨论）方面非常有效，但在区分这些信息与真实的 SCPI 实例（具体的个人数据）方面表现挣扎。 “SCPI”和“相关”文本的合并比例与交叉验证中观察到的高精确度相符。
- 速度： 传统模型比 Transformer 模型快 4 到 50 倍。使用 TF-IDF 的 LGBM 在 8 个 CPU 核心上不到一天即可处理完整个 1.84 亿条文本的语料库，而 ModernBERT 在 8 个 GPU 上则需要超过一个月。
堆叠与调优： 堆叠 SVC 和 LGBM 将 F1 分数提升至 0.877，与表现最好的单一模型相比，召回率提高了 4.2%。

意义与主张
本研究声称是首个系统性探索日语文本语料库中 SCPI 检测的研究，填补了关于 LLM 日语隐私合规性的文献空白。

实用价值： 作者证明了轻量级的传统机器学习模型足以作为大规模语料库过滤的第一阶段。这些模型可以快速识别包含 SCPI 相关类别信息的文本，从而在应用更昂贵、高精度的过滤（可能使用 LLM）于缩减后的子集之前，实现可扩展的预处理。
法律合规： 研究遵循了 APPI 关于学术研究的例外规定，在严格的本地环境中利用基于 LLM 的标注和人工处理，以确保没有数据泄露。
局限性： 作者谦虚地承认，其方法在很大程度上依赖于人名的存在，可能会遗漏仅通过其他属性（如地址）可识别的 SCPI。此外，由于依赖 LLM 标注，分类器无法检测出 LLM 本身未能识别出的 SCPI。研究还指出，虽然识别出了“LGBT”作为一个相关类别，但它超出了当前 APPI 严格的 SCPI 定义，且由于数据稀缺，未对种族和信仰等类别进行评估。

总之，本文提供了一个基础数据集和一个用于检测日语敏感个人信息的高速分类流水线，强调了 LLM 的语义深度与语料库规模过滤所需的计算效率之间的权衡。