A Reproducible, License-Aware Distillation Recipe for CPUDeployable Safety Classification

Technische Samenvatting: Een Reproduceerbare, Licentiebewuste Distillatie-recept voor CPU-Inzetbare Veiligheidsclassificatie

Probleemstelling
Het implementeren van veiligheidslagen voor Large Language Models (LLM's) op standaardhardware wordt momenteel beperkt door de beperkingen van bestaande open guard-modellen. State-of-the-art guards, zoals de Llama Guard 3-lijn, variëren doorgaans van 1 tot 9 miljard parameters en zijn geoptimaliseerd voor Graphics Processing Units (GPU's). Wanneer deze gedwongen worden om op Central Processing Units (CPU's) te draaien, vertonen deze modellen latenties in de orde van grootte van seconden per verzoek, wat ze onpraktisch maakt voor veel lokale, kostengevoelige of latency-kritische toepassingen. Hoewel lichtgewicht encoders bestaan, dekken deze vaak slechts smalle segmenten van veiligheidsbeleid (bijv. alleen toxiciteit) in plaats van een uitgebreide multi-hazard taxonomie. Bovereen houdt de huidige veiligheidsbenchmarks vaak geen onafhankelijke gold sets die apart van de geteste systemen zijn gelabeld, en missen ze frequent een "benigne" segment, waardoor het onmogelijk is om "over-defense" (het blokkeren van onschadelijke prompts) te meten.

Methodologie
Het artikel presenteert een reproduceerbare, licentiebewuste kennisdistillatie-pipeline die ontworpen is om veiligheidssignalen over te dragen van een sterke teacher-model naar een vloot van kleinere, CPU-inzetbare student-modellen.

• Selectie en Labeling van de Teacher: De auteurs selecteerden Llama Guard 3 8B als de teacher op basis van een vergelijkende shootout tegen een gold benchmark, waarbij het de hoogste macro-F1 en de laagste benign false-positive rate behaalde onder de kandidaten. De teacher labelde een corpus van ongeveer 97.000 prompts afkomstig uit 24 publieke datasets.
• Taxonomie: De veiligheidscategorieën zijn in kaart gebracht naar een zeven-klasse taxonomie die is afgestemd op de MLCommons AILuminate v1.0 standaard. De klassen dekken fysieke schade, haat/laster, seksuele inhoud, zelfbeschadiging, gevoelige informatie, schadelijk advies en illegale handelingen. De output is multi-label, hoewel de trainingsdata effectief single-label is.
• Data Pipeline en Licentiëring: Een cruciaal methodologisch kenmerk is de partitionering van de trainingscorpus op de licentiegrens.
  • De Commercial Bucket (75.112 rijen) bevat uitsluitend data met permissieve licenties die commercieel gebruik toestaan.
  • De Noncommercial Bucket (22.332 rijen) bevat data onder niet-commerciële of copyleft-voorwaarden.
  • Dit maakt de creatie van twee onderscheidende recepten mogelijk: een "deployable" model getraind op enkel de commercial bucket, en een "research" model getraind op de unie van beide. Dit ontwerp maakt de kosten van de licentiebeperking direct meetbaar.
  • Leakage Control: Strikte deduplicatie (hashing en MinHash) zorgt ervoor dat er geen evaluatiedata in de training lekt.
• Label Overrides: De pipeline bevat auditeerbare, in-memory overrides voor specifieke gevallen waar de teacher blinde vlekken vertoonde (bijv. het niet detecteren van synthetische PII of het misclassificeren van adversariële suites als veilig). Deze overrides worden toegepast tijdens de training maar wijzigen de opgeslagen teacher-labels niet, wat de auditeerbaarheid behoudt.
• Student Fleet: Een diverse vloot van studenten werd getraind om het signaal van de teacher te reproduceren:
  • Lexicaal: TF-IDF + Logistische Regressie baseline.
  • Shallow: TextCNN en BiLSTM (~4M parameters).
  • Encoders: MiniLM-L6 (22M) en DistilBERT (66M).
  • Generatief: Qwen2.5-0.5B met Low-Rank Adaptation (LoRA).
• Trainingsstrategie: Het enige beslissende trainingsingredient dat werd geïdentificeerd, was per-class rebalancing (gebruikmakend van positive-class weights gebaseerd op de vierkantswortel van de negatief-naar-positief ratio) om de ernstige klasse-imbalans aan te pakken, met name voor schaarse categorieën zoals zelfbeschadiging.
• Evaluatieprotocol: Modellen werden geëvalueerd op een onafhankelijke gold benchmark van 6.361 rijen, verdeeld in vier segmenten: dev (ontwikkeling), headline (gebalanceerd, standaard-afgestemd), stress (adversarieel) en benign (onschadelijke prompts). Metrics omvatten macro-F1, per-class F1 en benign false-positive rates, die allemaal gerapporteerd worden met 95% bootstrap betrouwbaarheidsintervallen.

Belangrijkste Resultaten

• Distillatie Gap: De gedistilleerde studenten (variërend van 16x tot ~2.000x kleiner in parameteraantal) komen overeen met de prestaties van de teacher op adversariële tekst binnen overlappende betrouwbaarheidsintervallen, maar overtreffen de teacher statistisch gezien niet op schone referentiedata.
• Reductie van Over-Defense: De generatieve student (Qwen2.5-0.5B) presteert significant beter dan de teachers in het verminderen van valse alarmen op onschadelijke prompts, met een benign false-positive rate van 3,8% vergeleken met 4,8% voor de 8B teacher en 11,5% voor de 1B teacher.
• Latency: Op een commodity CPU (AMD Ryzen 5 5600X) classificeert de gehele student fleet (exclusief het generatieve model) verzoeken in minder dan 28 ms (mediaan), waarbij shallow en lexicale modellen onder de 1,5 ms opereren. Het generatieve model opereert op ~128 ms, wat nog steeds een orde van grootte sneller is dan de multi-seconden latency van de 8B teacher op CPU.
• Optimale Trade-off: De DistilBERT encoder wordt geïdentificeerd als de optimale keuze voor de kwaliteit-latency trade-off, aangezien deze een hogere adversariële macro-F1 biedt dan de generatieve student terwijl hij ongeveer vijf keer sneller is.
• Licentiekosten: Het beperken van de training tot de commercial bucket (het uitsluiten van noncommercial data) resulteert in een verwaarloosbare daling in headline macro-F1 (+0,005 verschil), maar verbetert feitelijk de benign false-positive rate, wat suggereert dat de licentiebeperking "bijna gratis" is in termen van prestatiekosten.
• Taxonomie Beperkingen: Analyse per categorie laat zien dat de categorie "schadelijk advies" slecht presteert over alle modellen heen (inclusief de 8B teacher), met F1-scores rond de 0,20. Dit suggereert dat de beperking in de definitie van de categorie ligt en niet in de modelcapaciteit.

Betekenis en Claims
Het artikel kadert zijn bijdrage expliciet als een resource en benchmark bijdrage in plaats van een claim op state-of-the-art prestaties. Het claimt niet de Llama Guard 3 te overtreffen. De betekenis ligt in:

1. Reproduceerbaarheid en Auditeerbaarheid: Het bieden van een volledig reproduceerbare pipeline waarbij de impact van datalicenties kwantificeerbaar is en waar label-overrides auditeerbaar zijn.
2. CPU Inzetbaarheid: Het demonstreren dat veiligheidsklassificaties van vergelijkbare kwaliteit als grote guards kunnen draaien op commodity CPU-hardware met milliseconde-latency.
3. Meten van Over-Defense: Het vaststellen van een rigoureus evaluatieprotocol dat een benign segment bevat om false positives te meten, een metriek die vaak ontbreekt in de veiligheidsliteratuur.
4. Identificeren van Bottlenecks: Het benadrukken dat de huidige plafond voor specifieke veiligheidscategorieën (zoals schadelijk advies) wordt bepaald door de taxonomie en datadefinities, en niet door de schaal van het model.

De auteurs concluderen dat hoewel distillatie succesvol veiligheidssignalen overdraagt aan kleinere modellen, de "schone" prestaties voor de teacher blijven liggen, en dat de primaire waarde van het werk de methodologie is voor het creëren van auditeerbare, licentie-conforme en latency-efficiënte veiligheidslagen.