Resumen Técnico: Clasificación de Documentos de Seguridad con un Modelo de Lenguaje Grande Local Ajustado Finamente

Declaración del Problema

Las organizaciones enfrentan un dilema crítico en la Prevención de Pérdida de Datos (DLP): las herramientas basadas en reglas existentes (por ejemplo, expresiones regulares, listas de palabras clave) no logran clasificar contenido sensible que depende del contexto, mientras que los Modelos de Lenguaje Grande (LLM) basados en la nube introducen riesgos de exposición de datos al requerir la carga de documentos en infraestructura externa. Las soluciones actuales a menudo sufren altas tasas de falsos positivos al distinguir entre contenido instructivo/inofensivo y amenazas reales, o carecen de la capacidad de operar dentro de entornos estrictos de residencia de datos y aislados de la red (air-gapped). Existe una brecha práctica para un sistema que combine la comprensión contextual de los LLM con las garantías de privacidad del procesamiento local.

Metodología

1. Construcción de Taxonomía y Conjunto de Datos

El estudio define una taxonomía de seguridad jerárquica que comprende 7 categorías de nivel superior y 51 subcategorías, basándose en NIST, MITRE ATT&CK, OWASP y marcos de cumplimiento (GDPR, HIPAA, etc.). Las categorías incluyen: Malicioso, Confidencial, Credenciales, Información de Identificación Personal (PII), Seguro, Financiero y Médico.

Para entrenar el modelo, se curó un conjunto de datos de 78,358 muestras procedentes de 13 fuentes con licencia permisiva o de dominio público (por ejemplo, NVD, SEC EDGAR, Corpus Enron) y se aumentó con datos sintéticos.

• Aumento Sintético: Se utilizó GPT-4 para generar 33,100 muestras sintéticas y 6,400 muestras "negativas duras" (por ejemplo, documentos seguros que parecen peligrosos) para probar casos límite.
• Reequilibrio: El conjunto de datos se reequilibró para limitar las subcategorías a 5,000 muestras, asegurando la cobertura en toda la taxonomía.
• Formato: Los datos se formatearon en el estilo de instrucción Alpaca con un prompt de sistema fijo que requiere salida en JSON.

2. Arquitectura del Modelo y Entrenamiento

El sistema, denominado TorchSight, utiliza Qwen 3.5 27B como modelo base.

• Ajuste Fino: El modelo se ajustó finamente utilizando LoRA (Adaptación de Bajo Rango) con rango $r=128$ y $\alpha=256$.
• Hardware: El entrenamiento utilizó 8× GPUs NVIDIA A100. La inferencia está diseñada para hardware de consumo, ejecutándose específicamente en un Mac con Apple Silicon de 32 GB con cuantización q4_K_M (aproximadamente 17 GB de memoria).
• Implementación del Sistema: El escáner está escrito en Rust, soportando ~50 formatos de archivo. Consulta una instancia local de Ollama mediante HTTP, asegurando que ningún dato salga del entorno local. Las salidas se generan en JSON, SARIF 2.1.0, HTML y PDF.

3. Protocolo de Evaluación

El estudio empleó un diseño comparativo controlado utilizando dos puntos de referencia:

1. TorchSight-Eval-1000: Un punto de referencia sintético estratificado que cubre las 7 categorías, incluyendo casos límite de "negativos duros".
2. TorchSight-Eval-500-External: Un conjunto retenido de 500 documentos del mundo real procedentes de conjuntos de datos públicos (NVD, NIST, MTSamples, etc.) explícitamente excluidos del entrenamiento.

Los modelos se evaluaron bajo protocolos de prompt idénticos (temperatura = 0 para inferencia determinista, excepto para GPT-5) frente a:

• El modelo local ajustado finamente (Beam).
• El modelo base Qwen 3.5 27B (sin ajustar).
• APIs comerciales (GPT-5, Claude Sonnet/Opus 4, Gemini 2.5 Pro).
• Una línea base basada en reglas (48 patrones de expresiones regulares compilados).

Resultados Clave

Rendimiento en el Punto de Referencia Principal (Eval-1000)

• Precisión: El Beam q4_K_M ajustado finamente logró una precisión a nivel de categoría del 95.0% (IC 95%: 93.5–96.2).
• Comparación: Esto superó a todos los modelos comerciales probados por 15–20 puntos porcentuales (rango comercial: 75.4%–79.9%) y al modelo base Qwen 3.5 27B por 8.7 puntos porcentuales.
• Falsos Positivos: En documentos "Seguros", Beam mantuvo una tasa de falsos positivos del 2.0%. En contraste, los modelos comerciales oscilaron entre 22.4% y 63.2%, haciéndolos operativamente difíciles para la revisión rutinaria.
• Adherencia a Subcategorías: Beam logró una precisión de subcategoría del 48.2%, superando significativamente al modelo base (19.0%) y a los modelos comerciales (11.6%–23.0%), lo que indica que el ajuste fino fue crucial para hacer cumplir el estricto esquema de 51 subcategorías.

Rendimiento en Validación Externa (Eval-500)

• Beam logró una precisión del 93.8% en el conjunto retenido externo, superando a la línea base comercial más fuerte (Claude Sonnet 4 con 86.4%) por 7.4 puntos porcentuales.
• Beam demostró mayor estabilidad entre los puntos de referencia (solo una caída del 1.2% del principal al externo), mientras que GPT-5 mostró una caída significativa de rendimiento (11.1%).

Comparaciones de Ablación y Línea Base

• Impacto del Ajuste Fino: El salto del 86.3% (base) al 95.0% (ajustado finamente) resalta la necesidad de adaptación específica del dominio para la adherencia al esquema.
• Regex vs. LLM: Una línea base solo de expresiones regulares logró una precisión general del 52.7%, fallando completamente en las categorías "Confidencial" y "Médica" (0%), mientras que Beam logró 100% y 68% respectivamente. Esto demuestra que la clasificación dependiente del contexto no puede resolverse únicamente mediante coincidencia de patrones.

Significado y Afirmaciones

El artículo afirma que TorchSight cierra con éxito la brecha entre la alta precisión de los LLM y los requisitos de privacidad de entornos sensibles.

• Control Local: El sistema demuestra que un modelo local ajustado finamente puede lograr una precisión superior a las APIs comerciales de vanguardia mientras mantiene el procesamiento de documentos enteramente dentro de la infraestructura local, eliminando los riesgos de salida de datos.
• Viabilidad Operativa: La baja tasa de falsos positivos en documentos seguros (2.0%) sugiere que el modelo es prácticamente viable para la revisión DLP, un dominio donde los LLM comerciales actualmente luchan debido a una sobre-sensibilidad.
• Contribución de Código Abierto: El estudio proporciona una pipeline completa y reproducible, incluyendo un conjunto de datos de 78k muestras, pesos del modelo y una aplicación CLI/escritorio basada en Rust, abordando la falta de herramientas DLP basadas en LLM de código abierto activamente mantenidas.

Los autores notan modestamente las limitaciones, incluido el uso de datos sintéticos para categorías que carecen de puntos de referencia públicos (credenciales, financieras, confidenciales), el uso de un solo prompt para las líneas base comerciales y el enfoque en la clasificación de un solo idioma y una sola etiqueta en inglés. Los resultados se presentan como evidencia de que el ajuste fino específico del dominio es un camino viable para la clasificación de documentos de seguridad segura y local.