💬 NLP

Self-Filtered Distillation with LLMs-generated Trust Indicators for Reliable Patent Classification

本文提出自过滤蒸馏（SFD），这是一种新颖的框架，通过将大语言模型生成的推理视为动态信任指标而非真实标签来增强可靠的专利分类，从而利用集成的无监督信任评分机制过滤逻辑错误，并在大规模数据集上实现显著的性能提升。

原作者： Yongmin Yoo, Xu Zhang, Longbing Cao

发布于 2026-05-20

📖 1 分钟阅读☕ 轻松阅读

原作者： Yongmin Yoo, Xu Zhang, Longbing Cao

原始论文采用 CC BY 4.0 许可（http://creativecommons.org/licenses/by/4.0/）。 ✨ 这是对下方论文的AI生成解释。它不是由作者撰写或认可的。如需技术准确性，请参阅原始论文。阅读完整免责声明

想象一下，你正在试图教导一名年轻学徒（一个小型计算机程序）如何对数百万份称为专利的复杂法律文件进行分类。这些文件就像是用秘密代码写成的密集技术手册。为了帮助学徒学习，你聘请了一位才华横溢但偶尔会分心的大师教师（大型语言模型，或 LLM），让它阅读这些文件并解释为什么某项专利属于特定类别。

问题在于？这位大师教师很聪明，但有时会感到困惑、编造事实，或者给出与规则不太相符的解释。如果你只是盲目地告诉学徒：“听从大师说的一切”，那么学徒也会学会这些错误。

本文介绍了一种名为自过滤蒸馏（Self-Filtered Distillation, SFD）的新教学方法。SFD 不再将大师的解释视为绝对真理，而是将其视为“信任指标”——就像质量控制分数一样，告诉学徒在多大程度上信任每一堂课。

以下是该系统的工作原理，使用简单的类比说明：

1. 三项“信任检查”

在学徒从特定解释中学习之前，系统会通过三个不同的“过滤器”来审查大师的答案，以判断其是否可靠。可以将这些视为在产品上架前进行检查的三位不同检验员：

检验员 #1：“一致性”检查（自一致性）
- 类比： 想象你连续五次向大师教师提出同一个问题。如果每次他们都给出略有不同的故事，那就说明有问题。如果他们每次都讲同一个故事，那么他们很可能既自信又稳定。
- 作用： 它检查大师是否反复给出相同的逻辑解释。如果故事变化太大，系统就会降低信任分数。
检验员 #2：“词典”检查（类别蕴含对齐）
- 类比： 想象大师说一项关于“天线”的专利属于“人工智能”部分。但官方规则手册（专利分类系统）规定天线属于“电信”类别。大师使用了正确的词汇，却归入了错误的类别。
- 作用： 它将大师的解释与类别的官方定义进行比较。如果解释不符合该类别的“词典定义”，信任分数就会下降。
检验员 #3：“第二意见”检查（LLM 同意度评分）
- 类比： 想象大师教师过于自信，坚持认为其错误答案是正确的。这位检验员是一个不同的 AI 模型，充当法官。它审视解释和答案，并问道：“这真的讲得通吗？”
- 作用： 它使用独立的 AI 来验证解释是否合理。如果第二位 AI 说：“不，那是胡说八道”，信任分数就会降低。

2. “加权学习”过程

一旦这三位检验员给出各自的分数，它们就会被合并为一个信任分数（范围从 0 到 1）。

高信任分数： 解释具有一致性，符合规则手册，并通过了第二意见审查。学徒会快速且深入地学习这一课。
低信任分数： 解释不稳定、自相矛盾或事实错误。学徒仍会看到它，但系统会告诉它：“别太在意这个；这很可能是一个糟糕的例子。”
零信任分数： 如果分数过低，系统会完全丢弃该示例，以免混淆学徒。

3. 结果

研究人员在超过200 万份专利的庞大数据集（USPTO-2M 基准）上测试了该方法。

更高的准确率： 通过过滤掉“糟糕的课程”，学徒（学生模型）学习得更快、更准确。在某些情况下，与未过滤教师错误的旧方法相比，该系统正确分类专利的能力提高了近39%。
人类认可： 当人类专家查看系统的“信任分数”时，他们约有 68% 的时间表示同意。这意味着计算机对哪些解释是好的“直觉”，实际上与人类专家的想法相符。

为什么这很重要

在专利领域，错误不仅仅是一个错误的答案；它可能导致法律纠纷或错失发明。本文表明，我们不需要雇佣成千上万名人类来检查每一个解释。相反，我们可以构建一个系统，学会自我谨慎，在教导学生之前先过滤掉自身的困惑。

它将学习过程从“盲目模仿老师”转变为“批判性地评估老师”，确保最终系统可靠、透明，并准备好应对高风险决策。

技术摘要：基于 LLM 生成信任指标的自过滤蒸馏用于可靠专利分类

1. 问题陈述

组织大规模专利语料库是一项关键的信息管理任务，对于现有技术检索、技术发现以及知识产权决策至关重要。然而，自动化专利分类面临独特的挑战，包括专业术语、复杂的权利要求结构以及策略性模糊，使其比通用领域文本分类更为困难。

近期方法尝试利用大语言模型（LLM）生成自然语言推理（解释），以提高可解释性，并通过知识蒸馏训练较小的“学生”模型。然而，该范式存在一个显著缺陷：LLM 生成的推理往往包含逻辑不一致、标签不匹配以及与特定领域分类体系（例如合作专利分类 CPC 系统）的语义错位。将这些推理不加区分地视为真实标签进行监督，会在训练过程中无差别地吸收这些错误，削弱分类的可靠性，并将错误传播至下游信息处理流程。现有方法通常缺乏在学习过程中定量评估推理质量的机制，导致幻觉和领域漂移的传播。

2. 方法论：自过滤蒸馏（SFD）

作者提出了自过滤蒸馏（Self-Filtered Distillation, SFD），这是一个将 LLM 生成的推理重新诠释为信任指标而非真实标签的框架。SFD 并非进行事后修正，而是通过将每个训练实例的贡献基于统一的信任分数进行动态调节，直接将质量保证嵌入训练循环中。

该框架分为三个阶段：

A. 基于 LLM 的预测与推理生成

教师 LLM 处理输入专利文本 $x$ ，生成：

一组预测标签 $\hat{Y}$ 。
解释该预测的自然语言推理 $r$ 。
学生模型被训练以最小化相对于教师标签的损失，但推理 $r$ 仅用于估计样本可靠性，不作为直接的监督信号。

B. 推理质量评估（无监督信任评分）

为了在不依赖人工标注的情况下量化可信度，SFD 将三种互补的无监督指标整合为一个综合信任分数（Combined Trust Score, CTS）：

自一致性（Self-Consistency, SC）： 衡量推理的逻辑稳定性。教师模型为同一输入生成 $k$ 个推理。SC 计算为这些推理句子嵌入的平均成对余弦相似度。高 SC 表示推理稳定；低 SC 则表明生成过程具有随机性或稳定性差。
类别蕴含对齐（Class Entailment Alignment, CEA）： 评估推理与分配类别定义之间的语义连贯性。系统查询 LLM 获取预测 CPC 类别的定义（ $d_{\hat{y}}$ ），并计算推理嵌入与类别定义嵌入之间的余弦相似度。这确保了推理与特定的领域分类体系保持一致。
LLM 一致性评分（LLM Agreement Scoring, LAS）： 使用独立的验证 LLM（ $LLM_{judge}$ ）评估外部合理性。该外部模型评估 $(r, \hat{y})$ 对并输出置信度分数，以减轻生成器潜在的过度自信。

CTS 计算为这三个分数的简单平均值：
$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$

C. 信任感知训练控制

CTS 通过两种方式调节每个样本的学习贡献：

软加权（Soft Weighting）： 每个样本的损失函数按其 CTS 成比例缩放。信任分数低的样本对梯度更新的贡献较小。
硬阈值（Hard Thresholding）： CTS 低于预设阈值 $\tau$ 的样本被完全排除在训练之外。

最终训练目标是最小化信任加权损失：
$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$

3. 主要贡献

本文概述了三项主要贡献：

信任感知的选择性蒸馏： 提出了 SFD，将 LLM 推理重新诠释为信任指标，并整合三种无监督指标（SC、CEA、LAS）以动态调节训练贡献，推动了噪声监督下的知识蒸馏发展。
可靠信息组织框架： 信任分数机制为每个决策提供了定量置信度度量，实现了大规模自动化专利知识组织的可审计性和透明质量控制。
高风险领域验证： 在专利分类领域验证了 SFD，该领域中分类错误会产生切实的法律和经济后果，证明了信任感知蒸馏在可靠性最为关键的领域是有效的。

4. 实验结果

该框架在USPTO-2M基准上进行了评估，该基准包含超过 200 万件跨越 637 个 CPC 子类的美国实用专利。

性能与基线对比： SFD 实现了0.960 的 Micro-F1分数，超越了最强的基线（推理增强蒸馏）1.6 个百分点。值得注意的是，单一指标过滤基线（例如仅使用自一致性或仅使用 LLM-as-a-Judge）的表现甚至不如朴素蒸馏，突显了多面方法的必要性。
Macro-F1 提升： 在更大的学生架构（例如 Falcon3-3B）上，与基线相比，SFD 实现了Macro-F1 38.7% 的相对提升，表明信任机制有效地使模型能够从高质量、经过过滤的数据中学习，即使对于少数类也是如此。
消融研究：
- CEA 被确定为最关键的指标；移除它会导致性能严重下降（子集准确率从 0.930 降至 0.695），证实了分类体系对齐对于专利分类至关重要。
- LAS 提供了针对事实性幻觉的补充过滤。
- SC 主要稳定了少数类的性能。
模型无关性： 该框架在四种不同的学生架构（参数范围从 0.6B 到 3.8B）上 consistently 提升了性能，证明信任信号独立于特定的模型归纳偏置。
人类相关性： 信任分数与专家人类判断显示出强相关性（ $r = 0.685$ ），验证了无监督指标能有效近似真实的推理质量。

5. 意义与主张

本文主张 SFD 代表了自动化知识组织的范式转变。SFD 并非依赖“先分类，后验证”的序列流程，而是将质量保证直接嵌入学习过程中。

从事后到内在： 该框架将质量控制从外部审计功能转变为所学模型的内在属性。
可分解的置信度： 通过将信任分数分解为 SC、CEA 和 LAS，系统提供了“自记录”的分类结果。如果某个决策具有高内部稳定性但分类体系对齐度低，系统会明确发出这种特定失效模式的信号，辅助人工审查。
可扩展性与可靠性： 作者认为 SFD 解决了自动化规模与组织可靠性之间的张力。它允许处理海量专利语料库，同时确保训练信号本身经过可信度筛选，防止错误在高风险知识产权工作流中传播。

研究结论指出，虽然信任机制推动了性能提升，但 Macro-F1 的具体增益取决于模型容量，这表明更大的模型能够更好地利用高质量、经过过滤的样本来学习稀有类的复杂决策边界。