🤖 AI

INFA-Guard: Mitigating Malicious Propagation via Infection-Aware Safeguarding in LLM-Based Multi-Agent Systems

Dit artikel introduceert INFA-Guard, een nieuw verdedigingsframework voor op LLM gebaseerde multi-agent systemen dat kwaadaardige propagatie mitigeert door geïnfecteerde agenten te onderscheiden en te rehabiliteren in plaats van te vertrouwen op binaire classificaties, waardoor de succesratio van aanvallen aanzienlijk wordt verminderd terwijl de topologische integriteit behouden blijft.

Oorspronkelijke auteurs: Yijin Zhou, Xiaoya Lu, Dongrui Liu, Junchi Yan, Jing Shao

Gepubliceerd 2026-01-22

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Yijin Zhou, Xiaoya Lu, Dongrui Liu, Junchi Yan, Jing Shao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je een groot team van deskundige robots voor (genaamd Multi-Agent Systemen) die samenwerken om een complex probleem op te lossen, zoals het plannen van het verkeer in een stad of het diagnosticeren van een patiënt. Ze praten met elkaar, delen ideeën en stemmen over de beste oplossing.

Het artikel introduceert een nieuw beveiligingssysteem genaamd INFA-GUARD om deze robotteams te beschermen tegen een specifiek type sabotage.

Het Probleem: Het "Zombie"-virus

In het verleden zochten beveiligers voor deze robotteams alleen naar twee soorten mensen:

De Slechteriken: Robots die vanaf het begin gehackt waren en proberen het plan te verpesten.
De Goedigen: Robots die onschuldig zijn en correct werken.

Het artikel stelt dat dit te simpel is. Het mist een derde, gevaarlijke groep: De Geïnfecteerden.

Denk aan een griepuitbraak op een kantoor:

De Aanvaller: Een persoon die binnenkomt met de griep en begint te hoesten op iedereen.
De Geïnfecteerde: Een collega die gezond was, maar ziek is geworden omdat ze naast de aanvaller zat. Ze zijn niet de oorspronkelijke bron, maar ze zijn nu wel ziek en verspreiden het virus naar anderen.
De Oude Wacht: Het beveiligingsteam zet alleen de persoon eruit die met de griep binnenkwam. Ze laten de "geïnfecteerde" collega ongemoeid. De geïnfecteerde collega blijft het virus verspreiden, en het hele kantoor wordt alsnog ziek.

Het artikel stelt dat in AI-robotteams "aanvallers" overtuigende argumenten gebruiken om onschuldige robots te misleiden in het geloven van valse informatie. Zodra ze misleid zijn, worden deze onschuldige robots "geïnfecteerd". Ze zijn niet van nature slecht, maar ze verspreiden nu de slechte ideeën. Als je alleen de oorspronkelijke aanvaller verwijdert maar de geïnfecteerde robots laat staan, gaat de schade door.

De Oplossing: INFA-GUARD

INFA-GUARD is een nieuw beveiligingsframework dat dit "infectieproces" begrijpt. Het werkt als een slimme gezondheidsinspecteur die niet alleen kijkt naar de persoon die het virus meebracht, maar ook identificeert wie het heeft opgelopen en het verspreidt.

Zo werkt het in drie eenvoudige stappen:

Het Detecteren van de Infectie (De Radar):
In plaats van alleen te controleren of een robot "goed" of "slecht" is, houdt INFA-GUARD in de gaten hoe de robots over een bepaalde tijd met elkaar communiceren. Het zoekt naar het moment waarop een gezonde robot vreemd begint te doen nadat hij met een verdachte een heeft gesproken. Het gebruikt een speciale kaart van de verbindingen binnen het team om te zien wie met wie praat. Als een robot vreemd doet maar geïsoleerd is, kan dit een vals alarm zijn. Maar als een robot vreemd doet en naast een bekende slechte actor zit, markeert het systeem dit als "geïnfecteerd".
Het Herstellen van het Team (De Triage):
Zodra het systeem weet wie wie is, onderneemt het verschillende acties:

Voor de Aanvallers: Het zet ze volledig uit het team en vervangt ze door een verse, gezonde robot. Dit stopt de bron van de vergiftiging.
Voor de Geïnfecteerden: Het zet ze niet eruit! In plaats daarvan "geneest" het hen. Het neemt hun slechte antwoord, herschrijft het om de vergiftiging te verwijderen, en laat hen op het team blijven. Dit houdt de structuur van het team intact en zorgt ervoor dat het team geen waardevolle leden verliest.

De Kaart Intact Houden:
Het systeem is voorzichtig om het communicatienetwerk van het team niet te breken. Door de geïnfecteerde robots te repareren in plaats van ze simpelweg te verwijderen, blijft het team verbonden en kunnen ze nog steeds effectief problemen oplossen.

De Resultaten

De auteurs testten dit systeem tegen verschillende soorten "aanvallen" (zoals het misleiden van robots met valse gegevens of slechte hulpmiddelen). Ze ontdekten dat:

Het werkt beter: Het stopte de verspreiding van slechte ideeën veel effectiever dan eerdere beveiligingsmethoden (het verminderde het succespercentage van aanvallen met gemiddeld ongeveer 33%).
Het is efficiënt: Het vereist geen enorme hoeveelheid extra rekenkracht, wat het praktisch bruikbaar maakt.
Het is flexibel: Het werkt goed, of de robots nu in een cirkel, een lijn of een willekeurige groep zijn opgesteld, en het werkt met verschillende soorten AI-breinen.

Kortom, INFA-GUARD realiseert zich dat "geïnfecteerd" zijn door een slecht idee een ander probleem is dan een "slechte actor" zijn vanaf het begin. Door ze anders te behandelen, redt het het hele team van een instorting.

Technische Samenvatting: INFA-GUARD

Probleemstelling

De snelle evolutie van op Large Language Models (LLM) gebaseerde Multi-Agent Systemen (MAS) heeft significante beveiligingskwetsbaarheden geïntroduceerd waarbij kwaadaardige invloed viraal kan voortplanten via communicatie tussen agenten. Bestaande waarborgen voor MAS opereren doorgaans onder een binair paradigma—waarbij strikt onderscheid wordt gemaakt tussen "welwillende" agenten en "aanval"-agenten—maar houden geen rekening met een cruciale derde categorie: geïnfecteerde agenten.

Geïnfecteerde agenten zijn welwillende entiteiten die zijn overtuigd of misleid door aanvallende agenten, waardoor hun interne logica is aangetast. Zij produceren vervolgens onjuiste conclusies en blijven schadelijke informatie verspreiden, zelfs als de oorspronkelijke aanvallende agenten zijn verwijderd. Huidige verdedigingen negeren deze geïnfecteerde agenten vaak, wat leidt tot twee primaire tekortkomingen:

Voortdurende Propagatie: Geïnfecteerde agenten fungeren als secundaire verspreiders, waardoor de aanval in stand wordt gehouden zelfs nadat de bron is afgesneden.
Verlies van Topologische Informatie: Bestaande methoden maken geen gebruik van de structurele relatie waarbij geïnfecteerde agenten zeer waarschijnlijk nabij aanvalbronnen liggen, wat een belangrijke indicator voor lokalisatie is.

Methodologie: INFA-GUARD

Het artikel stelt INFA-GUARD (Infection-Aware Guard) voor, een verdedigingsframework dat expliciet onderscheid maakt tussen de oorspronkelijke aanvallende agenten en de overtuigde geïnfecteerde agenten. Het framework werkt via drie kernmechanismen:

1. Infectie-bewuste Detectie

Het systeem modelleert de MAS als een graaf $G=(V, E)$ en behandelt detectie als een grafische anomaliedetectie-taak.

Temporele Dynamiek: Het legt de dynamische overgang van agenten van een welwillende naar een geïnfecteerde staat vast door de temporele embeddings van agent-uitspraken te modelleren. Een gespecialiseerde functie $\Psi$ destilleert deze dynamiek door zelf-antwoorden en berichtuitwisselingen over iteraties heen te analyseren.
Turn-Adaptive GNN: Om aan te sluiten bij de evoluerende aard van infecties, gebruikt de detector een Graph Neural Network (GNN) met turn-adaptive parallelle takken. Dit stelt het model in staat om parameters specif te optimaliseren voor verschillende stadia van de multi-agent dialoog.
Dual-Head Classificatie: Het model maakt gebruik van een dual-head architectuur om gelijktijdig de waarschijnlijkheid te voorspellen dat een agent een aanvaller ( $V_{atk}$ ) of een geïnfecteerde agent ( $V_{inf}$ ) is, waarbij ze als afzonderlijke bedreigingscategorieën worden behandeld.

2. Ruimtelijke Aanpassing via Topologische Beperkingen

Het framework incorporeert topologische beperkingen afgeleid van de observatie dat infectie een structureel beperkt proces is, en geen willekeurig proces.

Guilt-by-Association: Het systeem dwingt een beperking af waarbij de aanwezigheid van een geïnfecteerde agent de waarschijnlijkheid van een aanvalbron in de directe nabijheid aanzienlijk vergroot.
Verliesfunctie: Een topologie-bewuste verliesterm ( $L_{topo}$ ) wordt toegevoegd tijdens de training om de identificatie van "geïsoleerde" geïnfecteerde agenten die geen naburige aanvals- of geïnfecteerde agenten hebben, te bestraffen, waardoor fout-positieven worden verminderd.
Post-Adaptatie: Tijdens remediatie verfijnt het systeem voorspellingen door temporele trends en buurtrelaties te analyseren. Als een agent als geïnfecteerd wordt voorspeld maar geïsoleerd is, concludeert het systeem het bestaan van ongedetecteerde buren en past het de classificatie van buren dienovereenkomstig aan.

3. Gerichte Remediatie

INFA-GUARD hanteert onderscheidende strategieën voor de twee bedreigingscategorieën om de topologische integriteit van het systeem te bewaren:

Aanvallende Agenten: Deze worden vervangen door welwillende agenten (geselecteerd op basis van de laagste aanvals-waarschijnlijkheid) om de generatie van kwaadaardige reacties te stoppen terwijl de grafstructuur behouden blijft.
Geïnfecteerde Agenten: Deze worden gerehabiliteerd in plaats van verwijderd. Het systeem gebruikt een reactie-niveau remediatiefunctie ( $R_F$ ) die een LLM gebruikt om de reactie van de agent te controleren en te herschrijven, waarbij de kwaadaardige context wordt verwijderd terwijl de nuttige semantiek behouden blijft. Dit stelt de agent in staat om te herstellen als een welwillende informatiebron in opeenvolgende iteraties.

Belangrijkste Bijdragen

Nieuwe Bedreigingscategorisering: Het artikel is de eerste die geïnfecteerde agenten expliciet definieert en adresseert als een aparte bedreigingscategorie in MAS-beveiliging, waarmee het verder gaat dan het binaire welwillend/aanval-paradigma.
Infectie-bewust Framework: Het introduceert een verdedigingsmechanisme dat zowel aanvalbronnen als geïnfecteerde agenten gezamenlijk detecteert en lokaliseert met behulp van temporele dynamiek en topologische beperkingen.
Behoud van Topologie: In tegenstelling tot methoden die knopen verwijderen (wat de connectiviteit van het systeem verstoort), vervangt INFA-GUARD aanvallers en rehabiliteert het geïnfecteerde agenten, waardoor de structurele integriteit en de diversiteit van de reacties van de MAS behouden blijven.
Empirische Validatie: Het framework wordt gevalideerd over diverse aanvalsscenario's (Prompt Injection, Tool Attacks, Memory Attacks), verschillende LLM-backbones (GPT-4o-mini, Qwen3) en diverse topologieën (keten, boom, ster, willekeurig).

Experimentele Resultaten

Uit uitgebreide experimenten blijkt dat INFA-GUARD een state-of-the-art prestatie levert:

Attack Success Rate (ASR): Het framework vermindert de ASR met gemiddeld 33% vergeleken met baselines. In specifieke scenario's presteert het beter dan de beste bestaande baseline (Inspector) met marges van meer dan 3% tot 12,9%. Zo bereikte het bij Tool Attacks (TA) een ASR@3 van 2,1% op GPT-4o-mini, wat aanzienlijk lager is dan die van concurrenten.
Defense Success Rate (MDSR): Het behaalt consistent de hoogste MDSR over alle taken, waarbij het herstelt naar 98,3% in Tool Attacks en 96,7% in Memory Attacks.
Schaalbaarheid: De methode vertoont een robuuste generalisatie naar grootschalige systemen (tot 50 agenten) zonder hertraining, waarbij het "zelfhelende" capaciteiten vertoont waarbij de ASR afneemt over communicatierondes.
Efficiëntie: INFA-GUARD bereikt een superieur evenwicht tussen kosten en prestaties. Het brengt slechts een toename van 7,2% in prompt-tokens en 9,3% in completion-tokens teweeg, wat aanzienlijk lager is dan baselines zoals AgentXposed (die meer dan 200% overhead kunnen hebben).

Betekenis en Claims

Het artikel beweert dat INFA-GUARD een methodologische oplossing biedt om de voortplanting van aanvallen vanaf de wortel te beperken door de "infectie"-dynamiek aan te pakken die eerdere binaire verdedigingen negeerden. Door de overgang van welwillende naar geïnfecteerde staten expliciet te modelleren en topologische beperkingen te gebruiken, beveiligt het framework de MAS effectief zonder de collaboratieve connectiviteit in gevaar te brengen.

De auteurs positioneren dit werk als een noodzakelijke stap naar het ontwikkelen van betrouwbare collaboratieve AI-ecosystemen, waarbij zij stellen dat het overstijgen van binaire detectieparadigma's cruciaal is voor het bestrijden van onethische en kwaadaardige activiteiten in geavanceerde multi-agent omgevingen. Het werk benadrukt dat het negeren van geïnfecteerde agenten systemen kwetsbaar laat voor residuele beveiligingsrisico's, terwijl INFA-GUARD een allesomvattende aanpak biedt voor zowel detectie als rehabilitatie.