CTIGuardian: A Few-Shot Framework for Mitigating Privacy Leakage in Fine-Tuned LLMs

Probleemstelling

Grote Taalmodellen (LLMs) worden steeds vaker fijngefineerd (fine-tuning) op domeinspecifieke data, zoals Cyber Threat Intelligence (CTI), om taken zoals het analyseren van kwetsbaarheden en het identificeren van aanvalstactieken te automatiseren. De datasets die hiervoor worden gebruikt, bevatten vaak gevoelige, proprietaire informatie, zoals interne IP-adressen, e-mailadressen van medewerkers, open poorten en specifieke softwareversies.

Het centrale probleem is dat deze modellen vatbaar zijn voor geheugenopslag (memorization). Onderzoek toont aan dat LLMs zeldzame identifiers uit hun trainingsdata kunnen onthouden en deze onbedoeld kunnen "regurgiteren" (teruggeven) tijdens inferentie. Adversariale gebruikers kunnen via data-extractie-aanvallen (bijvoorbeeld met prefix-based prompting) deze gevoelige informatie uit het model halen, zelfs met alleen black-box toegang. Bestaande verdedigingsmechanismen hebben beperkingen:

• Sanitization (NER): Het verwijderen van entiteiten voorafgaand aan training is lichtgewicht, maar faalt vaak bij verduisterde (obfuscated) data en is niet optimaal voor CTI-specifieke formaten.
• Differential Privacy (DP): Biedt formele garanties, maar degradeert vaak de bruikbaarheid (utility) van het model door ruis toe te voegen.
• Unlearning: Het selectief verwijderen van data uit een getraind model is computatief zeer duur en vereist toegang tot de interne structuur van het model, wat onpraktisch is in gedeelde of black-box scenario's.

Er is dus behoefte aan een praktische oplossing die privacylekkage voorkomt zonder kostbare hertraining en zonder in te leveren op de functionaliteit van het model.

Methodologie: CTIGuardian

De auteurs stellen CTIGuardian voor, een nieuw raamwerk dat het concept van "privacy alignment" introduceert, geïnspireerd op "safety alignment" in LLMs. In plaats van het model te hertrainen, wordt een supervisory laag toegevoegd die werkt via few-shot prompting.

Het systeem bestaat uit twee componenten, beide aangedreven door een onderliggend LLM (in dit onderzoek GPT-4o mini en Mistral-7B-Instruct):

1. Privacy Classifier:

   • Functie: Analyseert de invoer (prompt) om te bepalen of deze gevoelige informatie opvraagt.
   • Werking: Classificeert prompts in vier categorieën: directe verzoeken, indirecte verzoeken, vermomde verzoeken (bijv. "voor academische doeleinden") en onschadelijke verzoeken.
   • Als een prompt als "schadelijk" wordt gelabeld, wordt een weigermelding gegenereerd voordat het verzoek het fine-tuned model bereikt.

2. Privacy Redactor:

   • Functie: Verwerkt de uitvoer van het fine-tuned model na generatie.
   • Werking: Detecteert en verwijdert gevoelige entiteiten (IP's, e-mails, poorten, domeinnamen, softwareversies) uit de gegenereerde tekst.
   • Innovatie: In tegenstelling tot traditionele NER-tools die op vaste patronen (regex) vertrouwen, gebruikt de redactor few-shot voorbeelden om te leren hoe gevoelige data moet worden behandeld. Dit stelt het in staat om verduisterde data (bijv. john[at]gmail.com of 192[.]168[.]1[.]1) te herkennen en de tekst vloeiend te herschrijven zonder dat de structuur van de zin ineenstort.

Experimentele Opzet:

• Datasets: De auteurs hebben een nieuw dataset genaamd APTQA (5.093 records) gecreëerd door APT-rapporten te koppelen aan CVE's en CWE's, aangevuld met het bestaande CTI-MITRE dataset. Deze datasets bevatten realistische, niet-gesanitizeerde gevoelige data.
• Aanval: Een black-box data-extractie-aanval werd uitgevoerd waarbij prefixes werden gebruikt om het model te dwingen gevoelige suffixen te genereren.
• Benchmarks: CTIGuardian werd vergeleken met Presidio (een open-source NER-tool van Microsoft) en geëvalueerd op zowel privacybeveiliging als het behoud van de bruikbaarheid (utility) van de output.

Belangrijkste Bijdragen

1. Nieuwe Dataset (APTQA): Een QA-stijl dataset voor CTI die gevoelige informatie behoudt, specifiek ontworpen om privacylekkage in fine-tuned modellen te evalueren.
2. Validatie van Kwetsbaarheid: Demonstreert dat fine-tuned CTI-modellen gevoelige data (zoals poorten en softwareversies) memoriseren en dat deze data succesvol kan worden geëxtraheerd via geoptimaliseerde prompts.
3. CTIGuardian Framework: Een nieuw, generiek raamwerk voor privacybeveiliging dat geen hertraining vereist. Het combineert een few-shot classifier en een redactor om privacy te waarborgen op het moment van inferentie.
4. Superieure Prestaties: Het bewijst dat few-shot privacy alignment effectiever is dan traditionele NER-methoden, zowel in het detecteren van verduisterde data als in het behoud van de semantische coherentie van de tekst.

Resultaten

De evaluaties werden uitgevoerd met GPT-4o mini en Mistral-7B-Instruct als de onderliggende modellen voor de verdediging:

• Privacy Lekkage:

  • Zonder verdediging lekten de modellen significant gevoelige data (bijv. tot 21,92% lekkage voor domeinnamen in het CTI-MITRE dataset).
  • CTIGuardian (GPT-4o mini) reduceerde de lekkage drastisch. Voor het APTQA dataset werden IP-adressen, e-mails en domeinen volledig (100%) verwijderd, met slechts 1,92% lekkage voor poorten en 6,67% voor softwareversies.
  • CTIGuardian presteerde aanzienlijk beter dan Presidio. Presidio faalde vaak bij verduisterde entiteiten (bijv. IP-adressen met puntjes in brackets) en liet veel data achter. CTIGuardian slaagde erin deze verduisterde patronen te herkennen en te verwijderen.

• Behoud van Utility (Bruikbaarheid):

  • Hoewel Presidio de zinsstructuur behield door placeholders (zoals <IP_Address>) te gebruiken, onthulde dit de type van de verwijderde data, wat een risico blijft voor reconstructie-aanvallen.
  • CTIGuardian herschrijft de tekst volledig, waardoor de gevoelige data en de locatie ervan volledig worden verdoezeld.
  • GPT-4o mini behaalde de hoogste scores voor utility-behoud:
    • Cosine Similarity: 97,6% (APTQA) en 96,07% (CTI-MITRE).
    • Dit toont aan dat de tekst semantisch coherent blijft, ondanks de ingrijpende redactie.
  • Mistral presteerde ook goed, maar met iets lagere scores dan GPT-4o mini.

• Efficiëntie:

  • De latentie voor GPT-4o mini was gemiddeld 2,28 seconden per inferentie (1,05s voor classifier + 1,23s voor redactor), wat acceptabel is voor real-time toepassingen en kosteneffectief is.

Betekenis en Conclusie

CTIGuardian biedt een praktische en schaalbare oplossing voor het privacyprobleem in fine-tuned LLMs, specifiek in de kritieke domeinen van cyberveiligheid. De belangrijkste implicaties zijn:

1. Geen Hertraining Nodig: Organisaties hoeven geen dure en tijdrovende hertraining van hun modellen uit te voeren om privacy te waarborgen.
2. Robuustheid tegen Obfuscatie: Door gebruik te maken van few-shot learning in plaats van vaste regex-patronen, is het systeem veel robuuster tegen verduisterde data en nieuwe aanvalsmethoden.
3. Privacy-Utility Trade-off: Het raamwerk slaagt erin een betere balans te vinden dan bestaande methoden; het biedt sterke privacybescherming zonder de bruikbaarheid van de CTI-analyse significant te verstoren.
4. Generieke Toepasbaarheid: Hoewel getest op CTI, is het framework ontworpen om generiek toegepast te kunnen worden op andere gevoelige domeinen zoals gezondheidszorg, financiën en recht.

Het paper concludeert dat privacybeveiliging in LLMs niet alleen een kwestie is van data-sanitatie vooraf, maar een dynamisch proces vereist tijdens de inferentie, waarbij "privacy alignment" via few-shot prompting een veelbelovende richting is.