💬 NLP

Self-Filtered Distillation with LLMs-generated Trust Indicators for Reliable Patent Classification

Dieser Artikel schlägt Self-Filtered Distillation (SFD) vor, ein neuartiges Framework, das die zuverlässige Patentklassifizierung verbessert, indem es von LLMs generierte Begründungen als dynamische Vertrauensindikatoren anstelle von Ground-Truth-Labels behandelt, wodurch logische Fehler herausgefiltert und durch einen integrierten unüberwachten Vertrauensbewertungsmechanismus signifikante Leistungsverbesserungen auf großen Datensätzen erzielt werden.

Ursprüngliche Autoren: Yongmin Yoo, Xu Zhang, Longbing Cao

Veröffentlicht 2026-05-20

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Yongmin Yoo, Xu Zhang, Longbing Cao

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem jungen Lehrling (einem kleinen Computerprogramm) beizubringen, Millionen komplexer Rechtsdokumente namens Patente zu sortieren. Diese Dokumente sind wie dichte, technische Handbücher, die in einem geheimen Code verfasst sind. Um dem Lehrling beim Lernen zu helfen, stellen Sie einen brillanten, aber gelegentlich abgelenkten Meisterlehrer (ein Large Language Model, oder LLM) ein, der die Dokumente liest und erklärt, warum ein Patent in eine bestimmte Kategorie gehört.

Das Problem? Der Meisterlehrer ist klug, aber manchmal gerät er in Verwirrung, erfindet Fakten oder gibt Erklärungen ab, die nicht ganz den Regeln entsprechen. Wenn Sie dem Lehrling einfach blindlings sagen: „Höre auf alles, was der Meister sagt", wird der Lehrling diese Fehler ebenfalls lernen.

Dieser Artikel stellt eine neue Lehrmethode namens Self-Filtered Distillation (SFD) vor. Anstatt die Erklärungen des Meisters als absolute Wahrheit zu behandeln, betrachtet SFD sie als „Vertrauensindikatoren" – wie einen Qualitätskontrollscore, der dem Lehrling mitteilt, wie sehr er jeder Lektion vertrauen soll.

So funktioniert das System, unter Verwendung einfacher Analogien:

1. Die drei „Vertrauensprüfungen"

Bevor der Lehrling von einer bestimmten Erklärung lernt, führt das System die Antwort des Meisters durch drei verschiedene „Filter", um zu prüfen, ob sie zuverlässig ist. Denken Sie an diese als drei verschiedene Inspektoren, die ein Produkt prüfen, bevor es ins Regal kommt:

Inspektor #1: Die „Konsistenz"-Prüfung (Selbstkonsistenz)
- Die Analogie: Stellen Sie sich vor, Sie fragen den Meisterlehrer fünfmal hintereinander dieselbe Frage. Wenn er Ihnen jedes Mal eine leicht unterschiedliche Geschichte erzählt, stimmt etwas nicht. Wenn er jedes Mal dieselbe Geschichte erzählt, ist er wahrscheinlich selbstbewusst und stabil.
- Was es tut: Es prüft, ob der Meister wiederholt dieselbe logische Erklärung gibt. Wenn sich die Geschichte zu stark ändert, senkt das System den Vertrauensscore.
Inspektor #2: Die „Wörterbuch"-Prüfung (Klassen-Implikationsausrichtung)
- Die Analogie: Stellen Sie sich vor, der Meister sagt, ein Patent über „Antennen" gehöre in den Bereich „Künstliche Intelligenz". Aber das offizielle Regelbuch (das Patentklassifikationssystem) besagt, dass Antennen zu „Telekommunikation" gehören. Der Meister verwendet die richtigen Worte, aber die falsche Kategorie.
- Was es tut: Es vergleicht die Erklärung des Meisters mit den offiziellen Definitionen der Kategorien. Wenn die Erklärung nicht der „Wörterbuchdefinition" der Kategorie entspricht, sinkt der Vertrauensscore.
Inspektor #3: Die „Zweite Meinung"-Prüfung (LLM-Zustimmungsbewertung)
- Die Analogie: Stellen Sie sich vor, der Meisterlehrer ist übermäßig selbstbewusst und besteht darauf, dass seine falsche Antwort richtig ist. Dieser Inspektor ist ein anderes KI-Modell, das als Richter fungiert. Es betrachtet die Erklärung und die Antwort und fragt: „Macht das überhaupt Sinn?"
- Was es tut: Es verwendet eine unabhängige KI, um zu verifizieren, ob die Erklärung plausibel ist. Wenn die zweite KI sagt: „Nein, das ist Unsinn", sinkt der Vertrauensscore.

2. Der „gewichtete Lern"-Prozess

Sobald diese drei Inspektoren ihre Scores abgegeben haben, werden sie zu einem einzigen Vertrauensscore (von 0 bis 1) kombiniert.

Hoher Vertrauensscore: Die Erklärung ist konsistent, entspricht dem Regelbuch und besteht die zweite Meinung. Der Lehrling lernt diese Lektion hart und schnell.
Niedriger Vertrauensscore: Die Erklärung ist wackelig, widersprüchlich oder faktisch falsch. Der Lehrling sieht sie zwar noch, aber das System sagt ihm: „Machen Sie sich wegen dieser nicht zu viele Sorgen; es ist wahrscheinlich ein schlechtes Beispiel."
Null-Vertrauensscore: Wenn der Score zu niedrig ist, wirft das System das Beispiel vollständig weg, damit es den Lehrling nicht verwirrt.

3. Die Ergebnisse

Die Forscher testeten dies an einem massiven Datensatz mit über 2 Millionen Patenten (dem USPTO-2M-Benchmark).

Bessere Genauigkeit: Durch das Filtern der „schlechten Lektionen" lernte der Lehrling (das Schülermodell) viel schneller und genauer. In einigen Fällen verbesserte das System seine Fähigkeit, Patente korrekt zu sortieren, um fast 39 % im Vergleich zu älteren Methoden, die die Fehler des Lehrers nicht filterten.
Menschliche Zustimmung: Als menschliche Experten die „Vertrauensscores" des Systems betrachteten, stimmten sie in etwa 68 % der Fälle damit überein. Das bedeutet, dass das „Bauchgefühl" des Computers darüber, welche Erklärungen gut waren, tatsächlich mit dem übereinstimmte, was ein menschlicher Experte dachte.

Warum das wichtig ist

In der Welt der Patente ist ein Fehler nicht nur eine falsche Antwort; er kann zu Rechtsstreitigkeiten oder verpassten Erfindungen führen. Dieser Artikel zeigt, dass wir nicht Tausende von Menschen einstellen müssen, um jede einzelne Erklärung zu prüfen. Stattdessen können wir ein System bauen, das lernt, vorsichtig zu sein, und seine eigene Verwirrung filtert, bevor es überhaupt einem Schüler etwas beibringt.

Es verwandelt den Lernprozess von „blindem Kopieren des Lehrers" in „kritisches Bewerten des Lehrers" und stellt sicher, dass das endgültige System zuverlässig, transparent und bereit für Entscheidungen mit hohem Risiko ist.

Technische Zusammenfassung: Selbstfilternde Distillation mit von LLMs generierten Vertrauensindikatoren für eine zuverlässige Patentklassifizierung

1. Problemstellung

Die Organisation groß angelegter Patentkorpora ist eine kritische Aufgabe des Informationsmanagements, die für die Suche nach dem Stand der Technik, die Entdeckung von Technologien und Entscheidungen im Bereich des geistigen Eigentums unerlässlich ist. Die automatisierte Patentklassifizierung steht jedoch vor einzigartigen Herausforderungen, darunter spezialisierte Terminologie, komplexe Anspruchsstrukturen und strategische Mehrdeutigkeit, was sie schwieriger macht als die Textklassifizierung im allgemeinen Bereich.

Neuere Ansätze versuchen, Large Language Models (LLMs) zu nutzen, um natürliche Sprachbegründungen (Erklärungen) zu generieren, um die Interpretierbarkeit zu verbessern und kleinere „Schüler"-Modelle mittels Wissensdistillation zu trainieren. Ein erheblicher Mangel dieses Paradigmas besteht jedoch darin: Von LLMs generierte Begründungen enthalten oft logische Inkonsistenzen, Label-Mismatches und semantische Fehlausrichtungen mit domänenspezifischen Taxonomien (z. B. dem Cooperative Patent Classification- oder CPC-System). Werden diese Begründungen ununterschiedlich als Ground-Truth-Überwachung behandelt, werden diese Fehler während des Trainings unkritisch absorbiert, was die Zuverlässigkeit der Klassifizierung untergräbt und Fehler in nachgelagerte Informationsprozesse weiterträgt. Bestehende Methoden verfügen häufig nicht über einen Mechanismus, um die Qualität der Begründungen während des Lernprozesses quantitativ zu bewerten, was zur Weitergabe von Halluzinationen und Domänen-Drift führt.

2. Methodik: Selbstfilternde Distillation (SFD)

Die Autoren schlagen Selbstfilternde Distillation (Self-Filtered Distillation, SFD) vor, ein Framework, das von LLMs generierte Begründungen nicht als Ground-Truth-Labels, sondern als Vertrauensindikatoren neu interpretiert. Anstatt einer nachträglichen Korrektur integriert SFD die Qualitätssicherung direkt in die Trainings Schleife, indem es den Beitrag jeder Trainingsinstanz basierend auf einem einheitlichen Vertrauensscore dynamisch moduliert.

Das Framework arbeitet in drei Stufen:

A. LLM-basierte Vorhersage und Generierung von Begründungen

Ein Teacher-LLM verarbeitet einen Eingabepatenttext $x$ und generiert:

Eine Menge vorhergesagter Labels $\hat{Y}$ .
Eine natürliche Sprachbegründung $r$ , die die Vorhersage erklärt.
Das Schülermodell wird trainiert, den Verlust gegenüber den Labels des Teachers zu minimieren, wobei die Begründung $r$ ausschließlich zur Schätzung der Stichprobenzuverlässigkeit verwendet wird, nicht als direktes Überwachungssignal.

B. Evaluierung der Begründungsqualität (Unüberwachtes Vertrauens-Scoring)

Um die Vertrauenswürdigkeit ohne menschliche Annotation zu quantifizieren, integriert SFD drei komplementäre unüberwachte Metriken in einen Combined Trust Score (CTS):

Selbstkonsistenz (Self-Consistency, SC): Misst die logische Stabilität der Begründung. Das Teacher-Modell generiert $k$ Begründungen für denselben Eingabetext. SC wird als durchschnittliche paarweise Kosinusähnlichkeit ihrer Satz-Embeddings berechnet. Eine hohe SC zeigt stabile Begründungen an; eine niedrige SC deutet auf eine stochastische oder instabile Generierung hin.
Klassen-Implikations-Übereinstimmung (Class Entailment Alignment, CEA): Bewertet die semantische Kohärenz zwischen der Begründung und der Definition der zugewiesenen Klasse. Das System fragt ein LLM nach der Definition der vorhergesagten CPC-Klasse ( $d_{\hat{y}}$ ) und berechnet die Kosinusähnlichkeit zwischen dem Embedding der Begründung und dem Embedding der Klassendefinition. Dies stellt sicher, dass die Begründung mit der spezifischen Domänentaxonomie übereinstimmt.
LLM-Übereinstimmungs-Scoring (LLM Agreement Scoring, LAS): Bewertet die externe Plausibilität unter Verwendung eines unabhängigen Verifizierungs-LLMs ( $LLM_{judge}$ ). Dieses externe Modell bewertet das Paar $(r, \hat{y})$ und gibt einen Konfidenzscore aus, wodurch die potenzielle Überzuversicht des Generators gemildert wird.

Der CTS wird als einfacher Durchschnitt dieser drei Scores berechnet:
$CTS(x) = \frac{1}{3}(SC(x) + CEA(x) + LAS(x))$

C. Vertrauensbewusste Trainingssteuerung

Der CTS wird verwendet, um den Lernbeitrag jeder Stichprobe auf zwei Arten zu modulieren:

Weiche Gewichtung: Die Verlustfunktion für jede Stichprobe wird proportional zu ihrem CTS skaliert. Stichproben mit niedrigen Vertrauensscores tragen weniger zu den Gradienten-Updates bei.
Harte Schwellenwertbildung: Stichproben mit einem CTS unter einem vordefinierten Schwellenwert $\tau$ werden vollständig vom Training ausgeschlossen.

Das finale Trainingsziel minimiert den vertrauensgewichteten Verlust:
$L = \sum_{x \in D} \mathbb{1}\{CTS(x) \ge \tau\} \cdot CTS(x) \cdot Loss(f_\theta(x), y)$

3. Hauptbeiträge

Die Arbeit umreißt drei primäre Beiträge:

Vertrauensbewusste selektive Distillation: Der Vorschlag von SFD, der LLM-Begründungen als Vertrauensindikatoren neu interpretiert und drei unüberwachte Metriken (SC, CEA, LAS) integriert, um Trainingsbeiträge dynamisch zu modulieren, und damit die Wissensdistillation unter verrauschter Überwachung voranbringt.
Framework für zuverlässige Informationsorganisation: Der Vertrauensscore-Mechanismus liefert quantitative Konfidenzmaße für jede Entscheidung und ermöglicht Auditierbarkeit sowie transparente Qualitätskontrolle über die automatisierte Patentwissensorganisation im großen Maßstab.
Validierung in Hochrisiko-Domänen: Die Validierung von SFD bei der Patentklassifizierung, einer Domäne, in der Fehlklassifizierungen greifbare rechtliche und wirtschaftliche Folgen haben, zeigt, dass vertrauensbewusste Distillation genau dort wirksam ist, wo Zuverlässigkeit am kritischsten ist.

4. Experimentelle Ergebnisse

Das Framework wurde am USPTO-2M-Benchmark evaluiert, der über 2 Millionen US-NutzungsPatente über 637 CPC-Unterklassen umfasst.

Leistung im Vergleich zu Baselines: SFD erreichte einen Micro-F1-Score von 0,960 und übertraf die stärkste Baseline (Rationale-Augmented Distillation) um 1,6 Prozentpunkte. Bemerkenswerterweise schnitten Baselines mit einmetrischer Filterung (z. B. nur Selbstkonsistenz oder nur LLM-as-a-Judge) sogar schlechter ab als naive Distillation, was die Notwendigkeit eines vielschichtigen Ansatzes unterstreicht.
Verbesserung des Macro-F1: Bei größeren Schülerarchitekturen (z. B. Falcon3-3B) erreichte SFD eine relative Verbesserung des Macro-F1 um 38,7 % im Vergleich zu Baselines. Dies zeigt, dass der Vertrauensmechanismus das Lernen aus hochwertigen, gefilterten Daten auch für Minderheitsklassen effektiv ermöglicht.
Ablationsstudien:
- CEA wurde als kritischste Metrik identifiziert; ihre Entfernung führte zu einem starken Leistungsabfall (Subset Accuracy sank von 0,930 auf 0,695), was bestätigt, dass taxonomische Ausrichtung für die Patentklassifizierung unerlässlich ist.
- LAS lieferte eine komplementäre Filterung gegen faktische Halluzinationen.
- SC stabilisierte primär die Leistung für Minderheitsklassen.
Modellagnostizismus: Das Framework verbesserte die Leistung konsistent über vier diverse Schülerarchitekturen (von 0,6B bis 3,8B Parametern), was beweist, dass das Vertrauenssignal unabhängig von spezifischen Modell-Induktionsverzerrungen ist.
Menschliche Korrelation: Die Vertrauensscores zeigten eine starke Korrelation mit menschlichen Expertenurteilen ( $r = 0,685$ ), was validiert, dass die unüberwachten Metriken die Qualität echter Begründungen effektiv approximieren.

5. Bedeutung und Behauptungen

Die Arbeit behauptet, dass SFD einen Paradigmenwechsel in der automatisierten Wissensorganisation darstellt. Anstatt sich auf eine sequenzielle Pipeline von „zuerst klassifizieren, später verifizieren" zu verlassen, integriert SFD die Qualitätssicherung direkt in den Lernprozess.

Von nachträglich zu intrinsisch: Das Framework verwandelt die Qualitätskontrolle von einer externen Auditierungsfunktion in eine intrinsische Eigenschaft des gelernten Modells.
Zerlegbare Konfidenz: Durch die Zerlegung des Vertrauensscores in SC, CEA und LAS liefert das System „selbstdokumentierende" Klassifizierungsergebnisse. Wenn eine Entscheidung eine hohe interne Stabilität, aber eine niedrige taxonomische Ausrichtung aufweist, signalisiert das System diesen spezifischen Fehlermodus explizit und unterstützt die menschliche Überprüfung.
Skalierbarkeit und Zuverlässigkeit: Die Autoren argumentieren, dass SFD die Spannung zwischen Automatisierungsskala und organisatorischer Zuverlässigkeit auflöst. Es ermöglicht die Verarbeitung massiver Patentkorpora, während sichergestellt wird, dass das Trainingsignal selbst auf Vertrauenswürdigkeit kuratiert ist, was die Weitergabe von Fehlern in Hochrisiko-Prozessen des geistigen Eigentums verhindert.

Die Arbeit schließt damit, dass der Vertrauensmechanismus zwar Leistungsverbesserungen vorantreibt, die spezifischen Gewinne beim Macro-F1 jedoch kapazitätsabhängig sind. Dies deutet darauf hin, dass größere Modelle besser in der Lage sind, die hochwertigen, gefilterten Stichproben zu nutzen, um komplexe Entscheidungsgrenzen für seltene Klassen zu erlernen.