💻 computer science

Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System

Dit artikel introduceert TorchSight, een open-source lokaal systeem dat gebruikmaakt van een fijnafgestemd Qwen 3.5 27B-model, getraind op meer dan 78.000 voorbeelden, dat aanzienlijk hogere nauwkeurigheid (95,0%) bereikt bij de classificatie van beveiligingsdocumenten in vergelijking met commerciële cloudgebaseerde alternatieven, terwijl het garandeert dat de gegevens onder lokale controle blijven.

Oorspronkelijke auteurs: Ivan Dobrovolskyi

Gepubliceerd 2026-05-21

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ivan Dobrovolskyi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Het Grote Probleem: De "Cloud" versus de "Veilige Kamer"

Stel je voor dat je werkt voor een bank of een ziekenhuis. Je hebt duizenden documenten en je moet die vinden die geheime wachtwoorden, creditcardnummers of geclassificeerde militaire plannen bevatten.

Momenteel hebben bedrijven twee hoofdmanieren om dit te doen:

De "Regelboek"-methode: Ze gebruiken een computerprogramma dat zoekt naar specifieke patronen, zoals een reeks cijfers die eruitziet als een creditcard. Het is snel, maar het is dom. Als je een verhaal schrijft over een nep-creditcardnummer in een tutorial, schreeuwt het programma "ALARM!" terwijl het veilig is. Het mist dingen die er niet uitzien als patronen maar toch gevaarlijk zijn.
De "Cloud"-methode: Ze sturen al hun documenten naar een gigantische, slimme AI in de cloud (zoals een super-intelligente assistent bij een groot tech-bedrijf) om ze te lezen. Deze AI is zeer slim en begrijpt context. Maar om het te gebruiken, moet je je geheime documenten uit je gebouw per post naar het gebouw van iemand anders sturen. Voor een bank of het leger is dit een enorm risico. Ze kunnen hun geheimen niet uit het gebouw laten gaan.

De oplossing van het paper: De auteur bouwde een systeem genaamd TorchSight. Het is alsof je een super-slimme beveiligingswacht huurt die binnen je gebouw woont. Deze wacht is slim genoeg om context te begrijpen (in tegenstelling tot het regelboek) maar verlaat nooit het gebouw (in tegenstelling tot de clouddienst).

De "Wacht" (Het AI-model)

De auteur nam een zeer groot, vooraf getraind AI-brein (genaamd Qwen 3.5) en gaf het een speciale "trainingskamp".

De training: Ze lieten het niet zomaar willekeurige documenten zien. Ze voerden 78.358 voorbeelden van documenten aan. Sommige waren echte lekken, sommige waren nep-voorbeelden gemaakt door een andere AI, en sommige waren lastige "valstrikken" (documenten die eruitzien als gevaarlijk maar eigenlijk veilig zijn, of andersom).
Het resultaat: Dit creëerde een gespecialiseerde versie van de AI genaamd Beam. Het leerde het verschil zien tussen een echt geheim en een onschuldig voorbeeld, iets waar zowel de "Regelboek"- als zelfs de "Cloud"-AIs moeite mee hadden.

De Grote Test: Wie is de beste wacht?

De auteur zette de nieuwe Beam-wacht tegen de beste "Cloud"-wachten (zoals GPT-5, Claude en Gemini) en de oude "Regelboek"-wachten. Ze gaven ze allemaal dezelfde 1.000 documenten om te sorteren.

De resultaten:

De Cloud-wachten: Ze hadden ongeveer 75% tot 80% goed. Ze waren oké, maar maakten veel fouten.
Het Regelboek: Het had slechts ongeveer 53% goed. Het was te makkelijk in de war te brengen.
De Beam-wacht (Lokaal): Het had 95% goed.

Het "Valse Alarm"-probleem:
Het belangrijkste deel van een beveiligingssysteem is niet alleen boeven vangen, maar niet "Brand!" te schreeuwen als iemand gewoon een kaars vasthoudt.

Toen de Cloud-wachten veilige documenten bekeken (zoals een kookrecept of een openbaar nieuwsartikel), raakten ze vaak in paniek. Ze dachten dat 22% tot 63% van de veilige documenten gevaarlijk was. Dit zou een beveiligingsteam gek maken omdat ze elk veilig bestand zouden moeten controleren.
Beam raakte alleen in paniek bij 2% van de veilige documenten. Het kende het verschil tussen een echte bedreiging en een onschuldig bestand veel beter dan de anderen.

Waarom was Beam zo goed?

Het paper legt uit dat het geheim niet alleen de grootte van de AI was, maar hoe het werd onderwezen.

De auteur creëerde een specifieke "regelset" (een taxonomie) met 51 verschillende soorten geheimen (zoals "Medische dossiers", "Militaire plannen", "Wachtwoorden").
De Cloud-AIs kregen de opdracht "geheimen te vinden", maar ze bedachten hun eigen categorieën of raakten in de war.
Beam werd fijn afgestemd om strikt de 51 categorieën te volgen. Het leerde dezelfde taal spreken als het beveiligingsteam. Het was alsof je een hond leert zitten, blijven en specifieke items halen, in plaats van alleen te zeggen "wees goed".

De "Buitenwereld"-test

Om zeker te weten dat Beam niet gewoon de proeftest uit zijn hoofd leerde, testte de auteur het op een volledig andere set van 500 documenten die het nog nooit had gezien (zoals echte phishing-e-mails en medische dossiers uit openbare databases).

Beam scoorde nog steeds 93,8%.
De Cloud-AIs daalden aanzienlijk, met sommige scores zo laag als 65%.
Dit bewijst dat Beam het concept van beveiliging echt leerde, niet alleen de specifieke antwoorden op de proeftest.

De Conclusie

Het paper toont aan dat je je geheimen niet naar de cloud hoeft te sturen om een slimme AI te krijgen die ze beschermt. Door een lokale AI te trainen op een enorme, zorgvuldig samengestelde dataset, kun je een systeem krijgen dat:

** accurater is:** Het vindt meer echte bedreigingen.
Minder irritant is: Het maakt veel minder valse alarmen bij veilige bestanden.
Privé is: De documenten verlaten nooit je computer.

De auteur heeft het hele systeem (de code, de trainingsdata en het AI-model) gratis beschikbaar gesteld zodat iedereen het kan gebruiken om zijn eigen "Veilige Kamer"-beveiligingswacht te bouwen.

Technische Samenvatting: Classificatie van Beveiligingsdocumenten met een Fine-Tuned Lokaal Groot Taalmodel

Probleemstelling

Organisaties staan voor een kritisch dilemma in Data Loss Prevention (DLP): bestaande regelgebaseerde tools (zoals regex en lijsten met trefwoorden) falen bij het classificeren van gevoelige inhoud die afhankelijk is van context, terwijl cloudgebaseerde Large Language Models (LLM's) risico's op data-exposure introduceren doordat documenten naar externe infrastructuur moeten worden geüpload. Huidige oplossingen lijden vaak aan hoge rates van vals-positieven bij het onderscheiden tussen instructieve/onbedreigende inhoud en daadwerkelijke bedreigingen, of ze missen het vermogen om te opereren binnen strikte data-residentie- en luchtgescheiden omgevingen. Er bestaat een praktisch gat voor een systeem dat het contextuele begrip van LLM's combineert met de privacygaranties van lokale verwerking.

Methodologie

1. Taxonomie en Datasetconstructie

De studie definieert een hiërarchische beveiligingstaxonomie bestaande uit 7 hoofdcategorieën en 51 subcategorieën, gebaseerd op NIST, MITRE ATT&CK, OWASP en compliancekaders (GDPR, HIPAA, enz.). De categorieën omvatten Malicious, Confidential, Credentials, PII, Safe, Financial en Medical.

Voor het trainen van het model is een dataset van 78.358 samples samengesteld uit 13 permissief gelicenseerde of publieke domeinbronnen (zoals NVD, SEC EDGAR, Enron Corpus) en aangevuld met synthetische data.

Synthetische Augmentatie: GPT-4 werd gebruikt om 33.100 synthetische samples en 6.400 "hard-negative" samples (bijvoorbeeld gevaarlijk ogende veilige documenten) te genereren om grensgevallen te testen.
Herbalancering: De dataset werd herbalanceerd om subcategorieën te beperken tot maximaal 5.000 samples, waardoor dekking over de volledige taxonomie werd gewaarborgd.
Formaat: Data werd opgemaakt in de Alpaca-instructiestijl met een vaste systeemprompt die JSON-uitvoer vereist.

2. Modelarchitectuur en Training

Het systeem, genaamd TorchSight, maakt gebruik van Qwen 3.5 27B als basismodel.

Fine-Tuning: Het model werd fine-getuned met LoRA (Low-Rank Adaptation) met rang $r=128$ en $\alpha=256$ .
Hardware: Training vond plaats met 8× NVIDIA A100 GPU's. Inferentie is ontworpen voor consumentenhardware, specifiek uitgevoerd op een Apple Silicon Mac met 32 GB RAM met q4_K_M kwantisatie (ongeveer 17 GB geheugen).
Systeemimplementatie: De scanner is geschreven in Rust en ondersteunt ongeveer 50 bestandsformaten. Het stelt queries naar een lokaal Ollama-exemplaar via HTTP, waardoor gegarandeerd geen data de lokale omgeving verlaat. Output wordt gegenereerd in JSON, SARIF 2.1.0, HTML en PDF.

3. Evaluatieprotocol

De studie hanteerde een gecontroleerd vergelijkend ontwerp met twee benchmarks:

TorchSight-Eval-1000: Een gestratificeerde synthetische benchmark die alle 7 categorieën bestrijkt, inclusief hard-negative grensgevallen.
TorchSight-Eval-500-External: Een vastgehouden set van 500 real-world documenten uit publieke datasets (NVD, NIST, MTSamples, enz.) die expliciet uit de training zijn uitgesloten.

Modellen werden geëvalueerd onder identieke promptprotocollen (temperatuur = 0 voor deterministische inferentie, behalve voor GPT-5) tegen:

Het fine-getuned lokale model (Beam).
Het basale Qwen 3.5 27B-model (niet getuned).
Commerciële API's (GPT-5, Claude Sonnet/Opus 4, Gemini 2.5 Pro).
Een regelgebaseerde baseline (48 gecompileerde regex-patronen).

Belangrijkste Resultaten

Prestaties op Hoofdbenchmark (Eval-1000)

Nauwkeurigheid: Het fine-getuned Beam q4_K_M behaalde 95,0% nauwkeurigheid op catorieniveau (95% CI: 93,5–96,2).
Vergelijking: Dit presteerde beter dan alle geteste commerciële modellen met 15–20 procentpunten (Commercieel bereik: 75,4%–79,9%) en beter dan het basale Qwen 3.5 27B met 8,7 procentpunten.
Vals-positieven: Op "Safe"-documenten handhaafde Beam een vals-positiefpercentage van 2,0%. Daarentegen varieerden commerciële modellen van 22,4% tot 63,2%, waardoor ze operationeel moeilijk inzetbaar zijn voor routinematige screening.
Subcategorie-Adherentie: Beam behaalde 48,2% nauwkeurigheid op subcategorie-niveau, significant beter dan het basismodel (19,0%) en commerciële modellen (11,6%–23,0%), wat aangeeft dat fine-tuning cruciaal was voor het afdwingen van het strikte schema van 51 subcategorieën.

Prestaties op Externe Validatie (Eval-500)

Beam behaalde 93,8% nauwkeurigheid op de externe vastgehouden set, beter dan de sterkste commerciële baseline (Claude Sonnet 4 met 86,4%) met 7,4 procentpunten.
Beam toonde grotere stabiliteit over benchmarks (slechts een daling van 1,2% van primaire naar externe), terwijl GPT-5 een significante prestatiedaling vertoonde (11,1%).

Ablatie- en Baseline-Vergelijkingen

Impact van Fine-Tuning: De sprong van 86,3% (basis) naar 95,0% (fine-getuned) benadrukt de noodzaak van domeinspecifieke adaptatie voor schema-adherentie.
Regex versus LLM: Een alleen-regex baseline behaalde slechts 52,7% algehele nauwkeurigheid en faalde volledig bij de categorieën "Confidential" en "Medical" (0%), terwijl Beam respectievelijk 100% en 68% behaalde. Dit toont aan dat contextafhankelijke classificatie niet opgelost kan worden met alleen patroonherkenning.

Betekenis en Claims

Het artikel claimt dat TorchSight succesvol de kloof overbrugt tussen de hoge nauwkeurigheid van LLM's en de privacyvereisten van gevoelige omgevingen.

Lokale Controle: Het systeem bewijst dat een fine-getuned lokaal model superieure nauwkeurigheid kan bereiken ten opzichte van geavanceerde commerciële API's, terwijl documentverwerking volledig binnen de lokale infrastructuur blijft, waardoor risico's op data-uitvoer worden geëlimineerd.
Operationele Leefbaarheid: Het lage percentage vals-positieven op veilige documenten (2,0%) suggereert dat het model praktisch inzetbaar is voor DLP-screening, een domein waar commerciële LLM's momenteel worstelen vanwege overgevoeligheid.
Open-Source Bijdrage: De studie biedt een complete, reproduceerbare pijplijn, inclusief een dataset van 78k samples, modelgewichten en een Rust-gebaseerde CLI/desktop-toepassing, waarmee het gebrek aan actief onderhouden open-source LLM-gebaseerde DLP-tools wordt aangepakt.

De auteurs merken nederig beperkingen op, waaronder het gebruik van synthetische data voor categorieën zonder publieke benchmarks (credentials, financial, confidential), het gebruik van één enkele prompt voor commerciële baselines, en de focus op Engelstalige, single-label classificatie. De resultaten worden gepresenteerd als bewijs dat domeinspecifieke fine-tuning een levensvatbare weg is voor veilige, on-premise classificatie van beveiligingsdocumenten.