💻 computer science

Security Document Classification with a Fine-Tuned Local Large Language Model: Benchmark Data and an Open-Source System

Ce papier présente TorchSight, un système local open source exploitant un modèle Qwen 3.5 27B affiné et entraîné sur plus de 78 000 échantillons, qui atteint une précision nettement supérieure (95,0 %) dans la classification de documents de sécurité par rapport aux alternatives commerciales basées sur le cloud, tout en garantissant que les données restent sous contrôle local.

Auteurs originaux : Ivan Dobrovolskyi

Publié 2026-05-21

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ivan Dobrovolskyi

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Le Grand Problème : Le « Cloud » vs la « Salle Sûre »

Imaginez que vous travaillez pour une banque ou un hôpital. Vous avez des milliers de documents et vous devez trouver ceux qui contiennent des mots de passe secrets, des numéros de carte de crédit ou des plans militaires classifiés.

Actuellement, les entreprises disposent de deux méthodes principales pour faire cela :

La Méthode du « Livre de Règles » : Elles utilisent un programme informatique qui recherche des motifs spécifiques, comme une chaîne de chiffres ressemblant à un numéro de carte de crédit. C'est rapide, mais c'est bête. Si vous écrivez une histoire sur un faux numéro de carte de crédit dans un tutoriel, le programme crie « ALERTE ! » même si c'est sans danger. Il manque les éléments qui ne ressemblent pas à des motifs mais qui sont pourtant dangereux.
La Méthode du « Cloud » : Elles envoient tous leurs documents à une immense IA intelligente dans le cloud (comme un assistant sur-intelligent chez une grande entreprise technologique) pour les lire. Cette IA est très intelligente et comprend le contexte. Mais, pour l'utiliser, vous devez envoyer vos documents secrets hors de votre bâtiment vers celui de quelqu'un d'autre. Pour une banque ou l'armée, c'est un risque énorme. Ils ne peuvent pas permettre que leurs secrets quittent le bâtiment.

La Solution du Document : L'auteur a construit un système appelé TorchSight. C'est comme engager un garde de sécurité sur-intelligent qui vit à l'intérieur de votre bâtiment. Ce garde est assez intelligent pour comprendre le contexte (contrairement au livre de règles) mais ne quitte jamais le bâtiment (contrairement au service cloud).

Le « Garde » (Le Modèle d'IA)

L'auteur a pris un très grand cerveau d'IA pré-entraîné (appelé Qwen 3.5) et lui a donné un « camp d'entraînement » spécial.

L'Entraînement : Ils ne lui ont pas simplement montré des documents au hasard. Ils lui ont fait ingérer 78 358 exemples de documents. Certains étaient de vraies fuites, d'autres étaient de faux exemples créés par une autre IA, et certains étaient des « pièges » astucieux (des documents qui ressemblent dangereux mais sont en fait sûrs, ou l'inverse).
Le Résultat : Cela a créé une version spécialisée de l'IA appelée Beam. Elle a appris à faire la différence entre un vrai secret et un exemple inoffensif, quelque chose que le « Livre de Règles » et même les IA du « Cloud » avaient du mal à faire.

Le Grand Test : Qui est le Meilleur Garde ?

L'auteur a mis le nouveau garde Beam en compétition avec les meilleurs gardes « Cloud » (comme GPT-5, Claude et Gemini) et les anciens gardes « Livre de Règles ». Il leur a donné à tous les mêmes 1 000 documents à trier.

Les Résultats :

Les Gardes Cloud : Ils ont eu raison environ 75 % à 80 % du temps. Ils étaient corrects, mais ils ont fait beaucoup d'erreurs.
Le Livre de Règles : Il n'a eu raison qu'environ 53 % du temps. Il était trop facilement confus.
Le Garde Beam (Local) : Il a eu raison à 95 %.

Le Problème des « Faux Positifs » :
La partie la plus importante d'un système de sécurité n'est pas seulement d'attraper les méchants, mais de ne pas crier « Au feu ! » quand quelqu'un tient simplement une bougie.

Lorsque les gardes Cloud ont examiné des documents sûrs (comme une recette de cuisine ou un article d'actualité public), ils paniquaient souvent. Ils pensaient que 22 % à 63 % des documents sûrs étaient dangereux. Cela rendrait une équipe de sécurité folle car ils devraient vérifier chaque fichier sûr.
Beam n'a paniqué que sur 2 % des documents sûrs. Il savait faire la différence entre une vraie menace et un fichier inoffensif bien mieux que les autres.

Pourquoi Beam était-il si Bon ?

Le document explique que le secret n'était pas seulement la taille de l'IA, mais la façon dont elle a été enseignée.

L'auteur a créé un ensemble de « règles » spécifique (une taxonomie) avec 51 types différents de secrets (comme « Dossiers Médicaux », « Plans Militaires », « Mots de passe »).
Les IA Cloud ont reçu l'ordre de « trouver des secrets », mais elles inventaient leurs propres catégories ou se perdaient.
Beam a été affiné pour suivre strictement les 51 catégories. Il a appris à parler le même langage que l'équipe de sécurité. C'était comme apprendre à un chien à s'asseoir, rester et rapporter des objets spécifiques, plutôt que de simplement lui dire « sois sage ».

Le Test du « Monde Extérieur »

Pour s'assurer que Beam ne faisait pas que mémoriser le test d'entraînement, l'auteur l'a testé sur un ensemble complètement différent de 500 documents qu'il n'avait jamais vus auparavant (comme de vrais courriels de hameçonnage et des dossiers médicaux provenant de bases de données publiques).

Beam a toujours obtenu 93,8 %.
Les IA Cloud ont chuté de manière significative, certaines obtenant aussi bas que 65 %.
Cela prouve que Beam a réellement appris le concept de sécurité, et non pas seulement les réponses spécifiques du test d'entraînement.

La Conclusion

Le document montre que vous n'avez pas besoin d'envoyer vos secrets dans le cloud pour obtenir une IA intelligente qui les protège. En entraînant une IA locale sur un ensemble de données massif et soigneusement sélectionné, vous pouvez obtenir un système qui est :

Plus Précis : Il trouve plus de vraies menaces.
Moins Agaçant : Il génère beaucoup moins de fausses alarmes sur les fichiers sûrs.
Privé : Les documents ne quittent jamais votre ordinateur.

L'auteur a rendu l'ensemble du système (le code, les données d'entraînement et le modèle d'IA) disponible gratuitement afin que n'importe qui puisse l'utiliser pour construire son propre garde de sécurité « Salle Sûre ».

Résumé technique : Classification de documents de sécurité avec un grand modèle de langage local finement ajusté

Énoncé du problème

Les organisations font face à un dilemme critique dans la prévention de la perte de données (DLP) : les outils existants basés sur des règles (par exemple, expressions régulières, listes de mots-clés) échouent à classer le contenu sensible dépendant du contexte, tandis que les grands modèles de langage (LLM) basés sur le cloud introduisent des risques d'exposition des données en exigeant le téléchargement de documents vers une infrastructure externe. Les solutions actuelles souffrent souvent de taux élevés de faux positifs lors de la distinction entre contenu instructif/inoffensif et véritables menaces, ou elles manquent de la capacité d'opérer dans des environnements stricts de résidence des données et déconnectés d'Internet (air-gapped). Il existe un écart pratique pour un système combinant la compréhension contextuelle des LLM avec les garanties de confidentialité du traitement sur site.

Méthodologie

1. Construction de la taxonomie et du jeu de données

L'étude définit une taxonomie de sécurité hiérarchique comprenant 7 catégories de premier niveau et 51 sous-catégories, s'inspirant de NIST, MITRE ATT&CK, OWASP et des cadres de conformité (RGPD, HIPAA, etc.). Les catégories incluent Malveillant, Confidentiel, Identifiants, Informations Personnellement Identifiables (PII), Sûr, Financier et Médical.

Pour entraîner le modèle, un jeu de données de 78 358 échantillons a été constitué à partir de 13 sources à licence permissive ou du domaine public (par exemple, NVD, SEC EDGAR, Corpus Enron) et augmenté avec des données synthétiques.

Augmentation synthétique : GPT-4 a été utilisé pour générer 33 100 échantillons synthétiques et 6 400 échantillons « faux négatifs difficiles » (par exemple, documents sûrs ayant l'air dangereux) pour tester les cas limites.
Rééquilibrage : Le jeu de données a été rééquilibré pour limiter les sous-catégories à 5 000 échantillons, assurant une couverture sur l'ensemble de la taxonomie.
Format : Les données ont été formatées dans le style d'instruction Alpaca avec un prompt système fixe exigeant une sortie JSON.

2. Architecture du modèle et entraînement

Le système, nommé TorchSight, utilise Qwen 3.5 27B comme modèle de base.

Ajustement fin : Le modèle a été finement ajusté en utilisant LoRA (Adaptation à faible rang) avec un rang $r=128$ et $\alpha=256$ .
Matériel : L'entraînement a utilisé 8× GPU NVIDIA A100. L'inférence est conçue pour le matériel grand public, s'exécutant spécifiquement sur un Mac Apple Silicon de 32 Go avec une quantification q4_K_M (environ 17 Go de mémoire).
Implémentation système : Le scanner est écrit en Rust, prenant en charge environ 50 formats de fichiers. Il interroge une instance Ollama locale via HTTP, garantissant qu'aucune donnée ne quitte l'environnement local. Les sorties sont générées en JSON, SARIF 2.1.0, HTML et PDF.

3. Protocole d'évaluation

L'étude a employé un design comparatif contrôlé utilisant deux benchmarks :

TorchSight-Eval-1000 : Un benchmark synthétique stratifié couvrant les 7 catégories, incluant des cas limites de faux négatifs difficiles.
TorchSight-Eval-500-External : Un ensemble retenu de 500 documents réels issus de jeux de données publics (NVD, NIST, MTSamples, etc.) explicitement exclus de l'entraînement.

Les modèles ont été évalués selon des protocoles de prompt identiques (température = 0 pour une inférence déterministe, sauf pour GPT-5) par rapport à :

Le modèle local finement ajusté (Beam).
Le modèle de base Qwen 3.5 27B (non ajusté).
Des API commerciales (GPT-5, Claude Sonnet/Opus 4, Gemini 2.5 Pro).
Une base de référence basée sur des règles (48 motifs d'expressions régulières compilés).

Résultats clés

Performance sur le benchmark principal (Eval-1000)

Précision : Le Beam q4_K_M finement ajusté a atteint une précision de 95,0 % au niveau des catégories (IC 95 % : 93,5–96,2).
Comparaison : Cela surpasse tous les modèles commerciaux testés de 15 à 20 points de pourcentage (plage commerciale : 75,4 %–79,9 %) et le modèle de base Qwen 3.5 27B de 8,7 points de pourcentage.
Faux positifs : Sur les documents « Sûrs », Beam a maintenu un taux de faux positifs de 2,0 %. En revanche, les modèles commerciaux variaient de 22,4 % à 63,2 %, les rendant opérationnellement difficiles pour le filtrage routinier.
Adhésion aux sous-catégories : Beam a atteint une précision de 48,2 % au niveau des sous-catégories, surperformant significativement le modèle de base (19,0 %) et les modèles commerciaux (11,6 %–23,0 %), indiquant que l'ajustement fin était crucial pour imposer le schéma strict de 51 sous-catégories.

Performance sur la validation externe (Eval-500)

Beam a atteint une précision de 93,8 % sur l'ensemble retenu externe, surperformant la meilleure base de référence commerciale (Claude Sonnet 4 à 86,4 %) de 7,4 points de pourcentage.
Beam a démontré une plus grande stabilité à travers les benchmarks (seulement une baisse de 1,2 % du principal à l'externe), tandis que GPT-5 a montré une baisse de performance significative (11,1 %).

Comparaisons d'ablation et de base de référence

Impact de l'ajustement fin : Le saut de 86,3 % (base) à 95,0 % (ajusté) met en évidence la nécessité d'une adaptation spécifique au domaine pour l'adhésion au schéma.
Regex vs LLM : Une base de référence uniquement regex n'a atteint qu'une précision globale de 52,7 %, échouant complètement sur les catégories « Confidentiel » et « Médical » (0 %), tandis que Beam a atteint 100 % et 68 % respectivement. Cela démontre que la classification dépendante du contexte ne peut pas être résolue par la correspondance de motifs seule.

Importance et revendications

L'article revendique que TorchSight comble avec succès le fossé entre la haute précision des LLM et les exigences de confidentialité des environnements sensibles.

Contrôle local : Le système prouve qu'un modèle local finement ajusté peut atteindre une précision supérieure aux API commerciales de pointe tout en maintenant le traitement des documents entièrement dans l'infrastructure locale, éliminant les risques de sortie de données.
Faisabilité opérationnelle : Le faible taux de faux positifs sur les documents sûrs (2,0 %) suggère que le modèle est pratiquement viable pour le filtrage DLP, un domaine où les LLM commerciaux peinent actuellement en raison d'une sensibilité excessive.
Contribution open-source : L'étude fournit un pipeline complet et reproductible, incluant un jeu de données de 78k échantillons, des poids de modèle et une application CLI/bureau basée sur Rust, répondant au manque d'outils DLP basés sur LLM open-source activement maintenus.

Les auteurs notent modestement des limitations, notamment l'utilisation de données synthétiques pour les catégories manquant de benchmarks publics (identifiants, financiers, confidentiels), l'utilisation d'un seul prompt pour les bases de référence commerciales, et l'accent mis sur la classification en langue anglaise à étiquette unique. Les résultats sont présentés comme une preuve que l'ajustement fin spécifique au domaine est une voie viable pour la classification sécurisée de documents de sécurité sur site.