Technische Samenvatting: Bedreigingsmodellering met Domein-Geadapteerde Taalmodellen

Probleemstelling

Hoewel Large Language Models (LLM's) veelbelovend zijn voor cybersecurity-toepassingen zoals kwetsbaarheidsdetectie, blijft hun effectiviteit in gestructureerde bedreigingsmodellering onderbelicht. Vorig onderzoek heeft zich grotendeels gericht op algemene LLM's onder beperkte prompt-instellingen. Er bestaat een kritieke kennislacune met betrekking tot de vraag of domein-geadapteerde modellen (specifiek die getraind zijn op corpora voor telecommunicatie en cybersecurity) algemene tegenhangers overtreffen in de context van STRIDE-gebaseerde bedreigingsclassificatie voor 5G-netwerken. Bovendien is de impact van modelgrootte, decodestrategieën (deterministisch versus stochastisch) en prompttechnieken (Zero-Shot versus Few-Shot) op de betrouwbaarheid en validiteit van gestructureerde output niet systematisch geëvalueerd.

Methodologie

De studie presenteert een uitgebreide empirische evaluatie met 52 distincte configuraties over 8 instructie-geoptimaliseerde taalmodellen (variërend van 1B tot 8B parameters). De modellen omvatten algemene LLM's (bijv. Llama-3-varianten) en domein-geadapteerde modellen (Tele-LLM's voor telecommunicatie en Foundation-Sec voor cybersecurity).

Experimentele Opzet

• Taak: Multi-label classificatie van 5G-bedreigingen in de zes STRIDE-categorieën (Spoofing, Tampering, Repudiation, Informatielek, Denial of Service, Privilege-escalatie).
• Dataset: Zes representatieve 5G-bedreigingen die alle STRIDE-categorieën bestrijken, afgeleid van Mahyoub et al. [14].
• Promptstrategieën:
  • Zero-Shot (ZS): Directe taakinstructie zonder voorbeelden.
  • Few-Shot (FS): Opname van contextuele voorbeelden die bedreigingsclassificatie demonstreren.
  • Chat-sjablonen: Evaluatie met en zonder model-specifieke chat-sjablonen om instructievolging te beoordelen.
• Decodestrategieën:
  • Greedy Decoding: Deterministische evaluatie in één doorloop.
  • Stochastische Sampling: 10 onafhankelijke runs per bedreiging (Temperatuur=0.7, Top_p=0.9) om outputconsistentie en onzekerheid te beoordelen.
• Evaluatiemetrics:
  • Standaard classificatiemetrics (Precisie, Recall, F1-score).
  • Rate van Ongeldige Output (IOR): Het aandeel outputs dat niet voldoet aan het vereiste formaat (bijv. lege antwoorden, hallucinatie van labels, tegenstrijdige verklaringen).
  • Gepenaliseerde F1-score: Een samengestelde metric gedefinieerd als $F1 \times (1 - IOR)$, met prioriteit voor zowel nauwkeurigheid als outputvaliditeit.

Belangrijkste Bijdragen

1. Systematische Evaluatie van Domeinadaptatie: Het artikel biedt de eerste vergelijkende analyse van domein-geadapteerde LLM's (Telecommunicatie en Cybersecurity) versus algemene modellen, specifiek voor STRIDE-gebaseerde bedreigingsclassificatie.
2. Analyse van Model Eigenschappen: Het onderzoekt de wisselwerking tussen modelgrootte (1B–8B) en decodestrategieën, en onthult hoe stochastische sampling classificatieonzekerheid en stabiliteitsproblemen bij kleinere modellen blootlegt.
3. Impact van Prompttechnieken: De studie kwantificeert de effecten van Few-Shot prompting en chat-sjablonen op zowel classificatiekwaliteit als instructievolging.
4. Inzichten in Outputbetrouwbaarheid: Naast standaardnauwkeurigheid identificeert en categoriseert het artikel specifieke faalmodi (bijv. gehallucineerde categorieën, tegenstrijdigheden tussen label en verklaring, en gebrek aan gracevolle abstentie) die modeloutput onbruikbaar maken voor geautomatiseerde bedreigingsmodellering.
5. Praktische Promptrichtlijnen: Gebaseerd op empirische observaties stellen de auteurs specifieke promptstrategieën voor die zijn toegespitst op gestructureerde bedreigingsmodellering om de outputbetrouwbaarheid te verbeteren.

Resultaten en Bevindingen

1. Domeinadaptatie is geen Panacee

In tegenstelling tot de hypothese dat domeinspecifieke training superieure prestaties garandeert, presteerden domein-geadapteerde modellen niet consequent beter dan hun algemene tegenhangers. Hoewel modellen zoals Foundation-Sec-8B-Instruct en Tele-it-varianten in specifieke instellingen concurrerende scores behaalden, kwamen algemene modellen (bijv. Llama-3.1-8B-Instruct) vaak overeen met of overtroffen hen, met name onder Few-Shot prompting. Dit suggereert dat taakspecifiek redeneren en instructievolging even kritiek zijn als domeinkennis.

2. Modelgrootte en Decodestrategie

• Grootte: Grotere modellen (8B parameters) behaalden over het algemeen hogere gepenaliseerde F1-scores en grotere stabiliteit in vergelijking met kleinere modellen (1B en 3B). Echter, schaling alleen elimineerde geen classificatiefouten of ongeldige outputs.
• Decoding: Stochastische sampling onthulde aanzienlijke variabiliteit bij kleinere modellen, die vaak faalden om consistente labels te selecteren over verschillende runs heen. In tegenstelling hiermee toonden grotere modellen een stabielere labelselectie.
• Few-Shot Prompting: FS prompting verbeterde over het algemeen de recall en F1-scores voor grotere modellen door hen te helpen multi-label structuren af te leiden. Voor kleinere modellen (specifiek 1B) degradeerde FS prompting echter soms de prestaties of verhoogde het het aantal ongeldige outputs, wat wijst op een capaciteitslimiet bij het interpreteren van contextuele voorbeelden.

3. Outputvaliditeit en Betrouwbaarheid

Een significant deel van de studie richt zich op de Rate van Ongeldige Output (IOR). De resultaten geven aan dat:

• Kleinere modellen en configuraties zonder chat-sjablonen hogere rates van ongeldige outputs produceerden (bijv. verklarende tekst in plaats van labels, gehallucineerde categorieën of codegeneratie).
• Chat-sjablonen niet altijd de classificatienauwkeurigheid verbeterden, maar wel aanzienlijk de instructievolging verbeterden, waardoor de frequentie van misvormde antwoorden afnam.
• Geen van de geëvalueerde modellen het vermogen toonde om "gracefully abstain" (zich elegant terug te trekken) of onzekerheid te uiten wanneer een geldige classificatie niet kon worden bepaald; ze neigden in plaats daarvan naar het hallucineren van labels.

Betekenis en Claims

Het artikel concludeert dat huidige LLM's, zelfs wanneer ze domein-geadapteerd en geschaald zijn, te maken hebben met fundamentele beperkingen in gestructureerde bedreigingsmodellering. De bevindingen challenge de aanname dat het simpelweg toevoegen van meer domeinspecifieke trainingsdata of het vergroten van de modelgrootte voldoende is voor betrouwbare beveiligingsautomatisering.

De auteurs stellen dat:

• Domeinadaptatie alleen onvoldoende is voor gestructureerde bedreigingsmodellering; modellen vereisen uitlijning met specifieke redeneertaken en outputbeperkingen.
• Betrouwbaarheid is onderscheiden van nauwkeurigheid. Een model kan een redelijke F1-score behalen, maar toch operationeel onbetrouwbaar zijn door hoge rates van ongeldige of tegenstrijdige outputs.
• Toekomstige verbeteringen moeten verder gaan dan dataschaling en sterkere taakspecifieke redeneermechanismen en betere verankering in beveiligingsconcepten incorporeren.
• Prompt engineering is een kritieke hefboom voor het verbeteren van betrouwbaarheid, specifiek door het gebruik van Few-Shot voorbeelden voor grotere modellen en strikte formatbeperkingen (chat-sjablonen) om outputvaliditeit te waarborgen.

De studie dient als een waarschuwende empirische baseline, wat suggereert dat hoewel LLM's kunnen assisteren bij bedreigingsmodellering, ze nog niet kunnen worden vertrouwd als autonome agenten zonder aanzienlijk menselijk toezicht en zorgvuldige configuratie van prompt- en decodeparameters.