Model Multiplicity for Adversarial Detection in Small Language Model Training on Edge Devices

Technische Samenvatting: Model-multipliciteit voor Adversariële Detectie bij het Trainen van Small Language Models op Edge-apparaten

1. Probleemstelling

Het paper behandelt de beveiligingskwetsbaarheden die inherent zijn aan gedistribueerde fine-tuning van Small Language Models (SLM's) op edge-apparaten. Hoewel edge-gebaseerde machine learning voordelen biedt op het gebied van privacy en realtime responsiviteit, introduceert de afhankelijkheid van onbetrouwbare, heterogene en intermittent verbonden nodes aanzienlijke risico's. Specifiek kunnen gecompromitteerde apparaten vergiftigde updates injecteren (bijv. backdoor-triggers, slow-drift aanvallen of geschaalde gradiënten) die de globale modeltoestand stiekem manipuleren.

De auteurs identificeren een kritieke beperking in bestaande verdedigingsmechanismen:

• Robuuste aggregatiemethoden (bijv. Krum, Trimmed Mean) filteren statistische uitschieters, maar falen tegen gecoördineerde of laag-magnitude bias die het gemiddelde verschuift zonder de variantie te verhogen.
• Temporele anomaliedetectoren (bijv. Flanders) analyseren update-sequenties om afwijkingen te detecteren. Deze vertrouwen echter op herhaalde observaties van specifieke cliënten. In realistische edge-omgevingen, gekenmerkt door intermitterende participatie (schaarse en niet-stationaire beschikbaarheid van cliënten), worden de temporele geschiedenissen te schaars voor betrouwbare statistische kracht, waardoor deze detectoren falen.

2. Methodologie: Multi-Model Rotatie (MMR)

De voorgestelde oplossing, Multi-Model Rotatie (MMR), verschuift het verdedigingsparadigma van een enkel globaal model naar een systeemniveau-ensemble van meerdere onafhankelijke modellen.

• Kernmechanisme: In plaats van één globaal model $\theta_t$ te onderhouden, onderhoudt het systeem een pool van $N_m$ lichtgewicht modelinstanties (bijv. DistilGPT-2). In elke ronde selecteert de server disjuncte of gedeeltelijk overlappende subsets van edge-cliënten en wijst deze toe aan het trainen van specifieke modelreplica's onafhankelijk van elkaar.
• Divergentie als Signaal: Omdat elk model wordt getraind op een andere, willekeurig gesamplede subset van cliënten, evolueren ze langs verschillende trajecten. Het systeem monitort de divergentie tussen deze modellen met behulp van twee primaire metrieken:
  1. Parameterdivergentie: De genormaliseerde Euclidische afstand tussen modelparameters ($\theta_i$ en $\theta_j$).
  2. Loss-divergentie: Het verschil in loss-waarden berekend op een gedeelde server-zijde validatie-set (probe set).
• Detectielogica: Als een subset van cliënten kwaadwillend is, zullen de model(len) die op die subset zijn getraind, significant divergeren van het ensemble-gemiddelde. Deze divergentie fungeert als een intrinsiek signaal van vergiftiging.
• Attributie en Respons: Wanneer een model als anomaal wordt gemarkeerd, herleidt het systeem de verantwoordelijke cliënten op basis van de client-naar-model toewijzingsgeschiedenis. Correctieve acties omvatten het isoleren van de gemarkeerde cliënten, het herwegen van hun updates, of het terugdraaien (rollback) van de modeltoestand.
• Adaptieve Drempelwaarden: Het systeem gebruikt datagedreven drempelwaarden (gemiddelde + een veelvoud van de standaarddeviatie) voor divergentie en loss-pieken, om zo vaste hyperparameters te vermijden en natuurlijke trainingsvariabiliteit te accommoderen.

3. Theoretische Fundamenten

Het paper biedt twee theoretische resultaten om de aanpak te rechtvaardigen:

• Stelling 1 (Inter-model divergentie onder vergiftiging): Bewijst dat in de aanwezigheid van kwaadwillende cliënten die additieve bias injecteren, de verwachte gekwadrateerde divergentie tussen twee onafhankelijk getrainde modellen toeneemt. Dit vestigt dat vergiftiging een detecteerbare inconsistentie creëert over modeltrajecten, zelfs als individuele modellen statistisch normaal lijken.
• Stelling 2 (Falen van temporele detectie onder intermitterende participatie): Demonstreert dat per-client temporele detectoren met een hoge waarschijnlijkheid falen wanneer de participatiekans van cliënten ($q$) laag is. De kans op onvoldoende observaties om statistische kracht te bereiken, neemt toe naarmate $q$ afneemt, waardoor geschiedenisgebaseerde detectie onbetrouwbaar wordt in schaarse edge-omgevingen.

4. Experimentele Evaluatie

De auteurs evalueerden MMR tegenover baselines (Flanders, robuuste aggregatie en geen verdediging) met behulp van simulaties van SLM-training (DistilGPT-2) op 100 edge-cliënten met variërende beschikbaarheid ($q \in \{0.2, 0.5, 1.0\}$).

• Aanvalsscenario's: De evaluatie dekte backdoor-aanvallen, slow-drift aanvallen en scaled-gradient aanvallen.
• Belangrijkste Resultaten:
  • Detectieprestaties (AUC): MMR behaalde consistent de hoogste Area Under the Curve (AUC), variërend van 0.75 tot 0.9 over de rondes. In contrast hiermee degradeerde Flanders over tijd (stabiliserend rond 0.55), en bleef Robuust lager (0.65–0.7).
  • Tijdigheid (TTD): MMR demonstreerde bijna onmiddellijke detectie (Time-to-Detection nabij nul) zelfs bij lage beschikbaarheid ($q=0.2$). Baselines vertoonden aanzienlijke vertragingen en variabiliteit.
  • Robuustheid tegen Intermittentie: MMR behield stabiele prestaties terwijl de beschikbaarheid van cliënten daalde, terwijl temporele detectoren (Flanders) leden onder verminderde statistische kracht.
  • Overhead: MMR incorporeerde een bescheiden systeemoverhead. Hoewel het meerdere modellen vereist te onderhouden, waren de runtime en geheugenkosten (RSS) lager dan of vergelijkbaar met Flanders, dat leed onder een hoge overhead tijdens de detectiefase door complexe temporele geschiedenisbeheer.

5. Betekenis en Claims

Het paper claimt dat model-multipliciteit dient als een praktische en effectieve verdedigingsmechanisme voor veilig gedistribueerd leren op hulpbronnenbeperkte edge-apparaten.

• Paradigmaverschuiving: Het werk verplaatst detectie van het "client-update niveau" (het filteren van individuele gradiënten) naar het "model-ensemble niveau" (het monitoren van trajectconsistentie). Dit stelt het systeem in staat om vergiftiging te detecteren via cross-model divergentie in plaats van te vertrouwen op per-client statistieken.
• Schaalbaarheid: De aanpak heeft een computationele complexiteit die onafhankelijk is van het aantal cliënten, aangezien het per-client paargewijze berekeningen vermijdt, wat het schaalbaar maakt naar grote edge-populaties.
• Practicaliteit: Door gebruik te maken van bestaande redundantie (meerdere modellen) voor beveiliging in plaats van alleen voor fouttolerantie, biedt MMR een oplossing met lage overhead die bijzonder effectief is in de schaarse, dynamische participatieregimes die typerend zijn voor edge computing.

De auteurs concluderen dat hoewel MMR een superieure detectiereliabiliteit en snelheid biedt vergeleken met huidige state-of-the-art methoden, het niet exhaustief analyseert van de robuustheid tegen volledig adaptieve, aanval-bewuste adversariën, en dat de schaalbaarheid van zeer grote ensembles verder onderzoek verdient.