Tri-LLM Cooperative Federated Zero-Shot Intrusion Detection with Semantic Disagreement and Trust-Aware Aggregation

Technische Samenvatting: Tri-LLM Coöperatieve Federatieve Zero-Shot Intrusion Detectie

Probleemstelling
Huidige op Federated Learning (FL) gebaseerde Intrusion Detection Systems (IDS) kampen met twee kritieke beperkingen in moderne cyber-fysieke en IoT-omgevingen. Ten eerste opereren de meeste onder closed-set aannames, waarbij ze vertrouwen op vaste labelruimtes en statische signatures die falen bij het detecteren van zero-day of voorheen ongeziene aanvalspatronen. Ten tweede missen bestaande frameworks vaak principiële mechanismen voor gekalibreerde onzekerheidsschatting en hebben ze moeite met heterogene, onbetrouwbare clients in non-identically distributed (non-IID) settings. Hoewel Large Language Models (LLMs) sterke semantische redeneerkracht bieden, blijft hun integratie in federatieve pipelines voor open-world beveiliging grotendeels onverkend, met name wat betreft het afhandelen van semantische ambiguïteit en cliëntvertrouwen zonder centrale toegang tot data.

Methodologie
Het artikel stelt een semantisch gedreven federatief IDS-framework voor dat de generatie van semantische kennis ontkoppelt van het federatieve optimalisatieproces. De kernarchitectuur bestaat uit drie hoofdonderdelen:

1. Tri-LLM Semantische Prototype Constructie:
   In plaats van de LLM's te federeren, maakt het framework gebruik van een gecentraliseerd ensemble van drie verschillende modellen — GPT-4o, DeepSeek-V3 en LLaMA-3-8B — om semantische aanvalsprototypes te genereren. Voor elke aanvalscategorie verwerken de modellen drie verschillende tekstuele perspectieven (offensieve doelen, defensieve symptomen en adversariële strategieën) om embeddings te produceren. Deze worden gefuseerd tot een enkel semantisch prototype ($z_a$) dat het aanvalconcept representeert in een gedeelde embedding space. Cruciaal is dat de semantische onenigheid ($D_a$) tussen de drie modellen expliciet wordt berekend als een epistemische onzekheidssignaal.

2. Vertrouwen-bewuste Federatieve Aggregatie:
   Clients trainen lichtgewicht lokale semantische projectiemodellen ($W_i$) om laag-niveau telemetrie-features te mappen naar de gedeelde semantische ruimte gedefinieerd door de LLM-prototypes. Het framework introduceert een vertrouwen-bewust aggregatiemechanisme waarbij client-updates worden gewogen op basis van hun semantische alignment loss. Clients met een lagere loss (betere alignment met globale prototypes) ontvangen hogere vertrouwensscores. Dit proces omvat temporele smoothing om stabiliteit te garanderen en monitort vertrouwen-entropie om convergentie en de concentratie van vertrouwen op betrouwbare participanten te detecteren, waardoor de impact van afwijkende of gecompromitteerde clients wordt gemitigeerd.

3. Zero-Shot Inferentie en Risico-inschatting:
   Tijdens inferentie wordt binnenkomend verkeer geprojecteerd in de semantische ruimte en gematcht tegen taal-afgeleide prototypes via cosine similarity. Het systeem berekent een Zero-Day Score (ZDS) die de semantische gelijkenis-betrouwbaarheid combineert met de inter-LLM semantische onenigheid. Hoge onenigheid en lage gelijkenis resulteren in een hoge ZDS, wat een observatie markeert als een potentieel zero-day dreigingsrisico met gekalibreerde onzekerheid, in plaats van het te dwingen tot een zelfverzekerde maar potentieel incorrecte classificatie.

Belangrijkste Bijdragen

• Tri-LLM Semantische Supervisie: De introductie van een federatief paradigma dat de integratie van taal-afgeleide semantische prototypes mogelijk maakt voor zero-shot attributie onder open-set condities, waarmee verder wordt gegaan dan statistische feature learning.
• Onenigheid-bewuste Risicomodellering: Een nieuwe metriek die inter-LLM semantische onenigheid behandelt als een direct signaal van epistemische onzekerheid, wat gekalibreerde zero-day risico-inschatting mogelijk maakt zonder gelabelde zero-day samples.
• Vertrouwen-bewuste Aggregatie: Een loss-gedreven wegingsmechanisme dat de invloed van clients dynamisch aanpast op basis van de kwaliteit van de semantische alignment, wat de robuustheid tegen non-IID data en onbetrouwbare participanten verhoogt.

Experimentele Resultaten
Het framework werd geëvalueerd tegen protocol-compatibele federatieve baselines (bijv. FedAvg varianten) en representatieve FL-IDS frameworks. Belangrijkste bevindingen zijn:

• Zero-Shot Prestaties: Het volledige framework bereikte meer dan 80% zero-shot detectie-accuratesse op ongeziene aanvalspatronen, wat de similarity-only baselines en closed-set federatieve methoden aanzienlijk overtreft.
• Onzekerheidskalibratie: Er werd een sterke inverse relatie waargenomen tussen semantische onenigheid en detectiebetrouwbaarheid ($\partial C / \partial D_a < 0$). Het systeem identificeerde zero-day risico's succesvol door gebruik te maken van onenigheid, wat de zero-day discriminatie met meer dan 10% verbeterde ten opzichte van de baselines.
• Convergentie en Stabiliteit: Vertrouwen-entropie analyse toonde een monotone daling, wat wijst op stabiele convergentie waarbij vertrouwen zich concentreert op betrouwbare clients. Semantische alignment verbeterde gestaag over federatieve rondes, wat bevestigt dat heterogene clients kunnen convergeren naar een coherente globale semantische ruimte zonder directe uitwisseling van ruwe data.
• Diversiteit als een Activa: De studie vond een zwakke maar positieve correlatie tussen semantische diversiteit (gemeten door vertrouwen-entropie) en detectie-accuratesse, wat suggereert dat gecontroleerde heterogeniteit de generalisatie bevordert in plaats van de prestaties te verslechteren.

Betekenis en Claims
Het artikel claimt een nieuw paradigma te hebben gevestigd voor adaptieve, interpreteerbare en privacy-bewuste IDS. Door LLM's, FL en semantisch redeneren te verenigen, adresseert het framework de "open-world" uitdaging waarbij aanvalslabels incompleet of onbeschikbaar zijn. De auteurs benadrukken dat hun aanpak de focus verschuift van marginale closed-set accuratesse naar gekalibreerd open-world gedrag, waarbij een principiële methode voor zero-day risico-inschatting wordt geboden. Het werk stelt dat semantische diversiteit, wanneer gereguleerd door vertrouwen-bewuste fusie, fungeert als een systemisch voordeel voor generalisatie. Het voorgestelde systeem wordt gepresenteerd als een theoretisch onderbouwde oplossing voor de volgende generatie cybersecurity die effectief opereert onder dynamische dreigingslandschappen zonder dat centrale dataverzameling of hertraining op gelabelde zero-day voorbeelden nodig is.

Beperkingen en Toekomstige Richtingen
De auteurs erkennen dat de huidige implementatie afhankelijk is van vooraf getrainde LLM's die niet specifiek zijn gefinetuned voor netwerkbeveiligingssemantiek en zich richt op semantische in plaats van ruwe packet-level features. Ze merken op dat het vertrouwensmechanisme uitgaat van honest-but-curious clients en niet volledig inspeelt op gerichte vergiftiging (poisoning) van semantische embeddings. Toekomstig werk wordt voorgesteld om adaptieve vertrouwensmodellering via reinforcement learning, multimodale telemetrie-integratie en grootschalige deployment-studies in real-world industriële IoT-omgevingen te verkennen.