Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System
Dieser Beitrag stellt TorchSight vor, ein quelloffenes lokales System, das ein feinabgestimmtes Qwen-3.5-27B-Modell nutzt, das auf über 78.000 Stichproben trainiert wurde und im Vergleich zu kommerziellen cloudbasierten Alternativen eine deutlich höhere Genauigkeit (95,0 %) bei der Klassifizierung von Sicherheitsdokumenten erreicht, während sichergestellt wird, dass die Daten unter lokaler Kontrolle bleiben.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Das große Problem: Die „Cloud" versus der „Sicherer Raum"
Stellen Sie sich vor, Sie arbeiten für eine Bank oder ein Krankenhaus. Sie haben Tausende von Dokumenten und müssen diejenigen finden, die geheime Passwörter, Kreditkartennummern oder klassifizierte Militärpläne enthalten.
Derzeit haben Unternehmen zwei Hauptmethoden, um dies zu tun:
- Die „Regelbuch"-Methode: Sie verwenden ein Computerprogramm, das nach spezifischen Mustern sucht, wie etwa einer Zahlenfolge, die wie eine Kreditkarte aussieht. Es ist schnell, aber dumm. Wenn Sie eine Geschichte über eine gefälschte Kreditkartennummer in einem Tutorial schreiben, schreit das Programm trotzdem „ALARM!", obwohl es sicher ist. Es übersieht Dinge, die nicht wie Muster aussehen, aber dennoch gefährlich sind.
- Die „Cloud"-Methode: Sie senden alle ihre Dokumente an eine riesige, intelligente KI in der Cloud (wie einen superintelligenten Assistenten bei einem großen Technologieunternehmen), um sie lesen zu lassen. Diese KI ist sehr intelligent und versteht den Kontext. Aber um sie zu nutzen, müssen Sie Ihre geheimen Dokumente aus Ihrem Gebäude in das Gebäude eines anderen verschicken. Für eine Bank oder das Militär ist dies ein enormes Risiko. Sie können ihre Geheimnisse nicht aus dem Gebäude lassen.
Die Lösung des Papiers: Der Autor hat ein System namens TorchSight entwickelt. Es ist wie die Einstellung eines superklugen Sicherheitswächters, der innerhalb Ihres Gebäudes lebt. Dieser Wächter ist intelligent genug, um den Kontext zu verstehen (im Gegensatz zum Regelbuch), verlässt aber niemals das Gebäude (im Gegensatz zum Cloud-Dienst).
Der „Wächter" (Das KI-Modell)
Der Autor nahm ein sehr großes, vortrainiertes KI-Gehirn (genannt Qwen 3.5) und gab ihm ein spezielles „Trainingslager".
- Das Training: Sie zeigten ihm nicht einfach nur zufällige Dokumente. Sie fütterten ihn mit 78.358 Beispielen von Dokumenten. Einige waren echte Leaks, einige waren gefälschte Beispiele, die von einer anderen KI erstellt wurden, und einige waren knifflige „Fallen" (Dokumente, die gefährlich aussehen, aber tatsächlich sicher sind, oder umgekehrt).
- Das Ergebnis: Dies schuf eine spezialisierte Version der KI namens Beam. Sie lernte, den Unterschied zwischen einem echten Geheimnis und einem harmlosen Beispiel zu erkennen, etwas, mit dem sowohl das „Regelbuch" als auch die „Cloud"-KIs Schwierigkeiten hatten.
Der große Test: Wer ist der beste Wächter?
Der Autor stellte den neuen Beam-Wächter gegen die besten „Cloud"-Wächter (wie GPT-5, Claude und Gemini) und die alten „Regelbuch"-Wächter. Er gab ihnen allen dieselben 1.000 Dokumente zur Sortierung.
Die Ergebnisse:
- Die Cloud-Wächter: Sie lagen bei etwa 75 % bis 80 % richtig. Sie waren okay, machten aber viele Fehler.
- Das Regelbuch: Es lag nur bei etwa 53 % richtig. Es war zu leicht verwirrt.
- Der Beam-Wächter (Lokal): Er lag bei 95 % richtig.
Das Problem der „Fehlalarme":
Der wichtigste Teil eines Sicherheitssystems besteht nicht nur darin, die Bösen zu fangen, sondern nicht „Feuer!" zu schreien, wenn jemand nur eine Kerze hält.
- Wenn die Cloud-Wächter sichere Dokumente betrachteten (wie ein Kochrezept oder einen öffentlichen Nachrichtenartikel), gerieten sie oft in Panik. Sie hielten 22 % bis 63 % der sicheren Dokumente für gefährlich. Dies würde ein Sicherheitsteam in den Wahnsinn treiben, da sie jede einzelne sichere Datei überprüfen müssten.
- Beam geriet nur bei 2 % der sicheren Dokumente in Panik. Er unterschied viel besser zwischen einer echten Bedrohung und einer harmlosen Datei als die anderen.
Warum war Beam so gut?
Das Papier erklärt, dass der geheime Trick nicht nur die Größe der KI war, sondern wie sie unterrichtet wurde.
- Der Autor erstellte einen spezifischen „Regelsatz" (eine Taxonomie) mit 51 verschiedenen Arten von Geheimnissen (wie „Medizinische Aufzeichnungen", „Militärpläne", „Passwörter").
- Den Cloud-KIs wurde gesagt, sie sollten „Geheimnisse finden", aber sie erfanden ihre eigenen Kategorien oder gerieten in Verwirrung.
- Beam wurde feinabgestimmt, um strikt den 51 Kategorien zu folgen. Er lernte, die gleiche Sprache wie das Sicherheitsteam zu sprechen. Es war wie einem Hund beizubringen, sich hinzusetzen, zu bleiben und spezifische Gegenstände zu apportieren, anstatt ihm nur zu sagen „sei brav".
Der Test mit der „Außenwelt"
Um sicherzustellen, dass Beam nicht nur den Übungstest auswendig gelernt hatte, testete der Autor ihn an einem völlig anderen Satz von 500 Dokumenten, die er noch nie gesehen hatte (wie echte Phishing-E-Mails und medizinische Aufzeichnungen aus öffentlichen Datenbanken).
- Beam erreichte immer noch 93,8 %.
- Die Cloud-KIs sanken deutlich, wobei einige so niedrig wie 65 % lagen.
- Dies beweist, dass Beam tatsächlich das Konzept der Sicherheit gelernt hat und nicht nur die spezifischen Antworten des Übungstests.
Das Fazit
Das Papier zeigt, dass Sie Ihre Geheimnisse nicht in die Cloud senden müssen, um eine intelligente KI zum Schutz zu erhalten. Indem Sie eine lokale KI an einem riesigen, sorgfältig kuratierten Datensatz trainieren, erhalten Sie ein System, das:
- Genauer ist: Es findet mehr echte Bedrohungen.
- Weniger nervt: Es macht weitaus weniger Fehlalarme bei sicheren Dateien.
- Privat ist: Die Dokumente verlassen Ihren Computer nie.
Der Autor hat das gesamte System (den Code, die Trainingsdaten und das KI-Modell) kostenlos veröffentlicht, damit jeder einen eigenen „Sicherer-Raum"-Wächter bauen kann.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.