AegisUI: Behavioral Anomaly Detection for Structured User Interface Protocols in AI Agent Systems

Dit paper introduceert AegisUI, een framework dat structurele en semantische afwijkingen in UI-protocol-payloads detecteert om gedragsmatige manipulaties te identificeren die traditionele schema-validaties ontlopen, waarbij een Random Forest-model de beste prestaties boekte op een dataset van 4000 gelabelde payloads.

De kern

Stel je voor dat je een zeer slimme, digitale assistent hebt die voor jou een website of een app-interface bouwt. Je vraagt: "Maak een formulier om een hotel te boeken," en de assistent pakt zijn digitale bouwstenen: knoppen, tekstvakken, tabellen. Hij legt ze neer volgens een strak plan (een "protocol") en je ziet een mooie, werkende pagina.

Het probleem? Wat als die assistent niet meer alleen maar bouwt, maar bedriegt?

Stel je voor dat de assistent een knop maakt met de tekst "Betaal de rekening", maar als je erop klikt, wordt in plaats daarvan je hele bankrekening leeggemaakt. Of hij toont een formulier dat eruitziet als een normale login, maar in het geheim je wachtwoord naar een hacker stuurt.

De huidige beveiliging kijkt alleen of de bouwstenen wel op de juiste plek zitten (is het een knop? Ja. Is het een tekstveld? Ja.). Maar ze kijken niet of wat er staat overeenkomt met wat er gebeurt.

Hier komt AegisUI in beeld. Dit is een nieuw systeem dat als een super-scherpe inspecteur fungeert voordat de pagina überhaupt voor jou wordt getoond.

Hoe werkt AegisUI? (De Analogie van de Valspeurder)

Stel je voor dat AegisUI een veiligheidscontroleur op een luchthaven is, maar dan voor digitale bouwplannen.

1. De Bouwplannen (Payloads): De AI-agent levert een bouwplan aan. Normaal gesproken is dit een lijst met instructies: "Hier een knop, daar een tekstvak."
2. De Valstrikken (Aanvallen): Kwaadwillenden kunnen dit plan manipuleren. Ze kunnen:
   • Verborgen laden toevoegen: Een knop die eruitziet als "Verder", maar in feite je creditcardgegevens steelt.
   • Geheime schakelaars: Een widget die normaal je saldo toont, maar nu per ongeluk (of opzettelijk) je salarisgegevens van een ander laat zien.
   • De "Verkeerde" Knop: Een knop met de tekst "Bevestig", die in de achtergrond je account verwijdert.
3. De Inspectie (AegisUI): Voordat het plan naar de gebruiker gaat, pakt AegisUI het bouwplan en kijkt niet alleen naar de vorm, maar naar het gedrag.
   • Vraag: "Waarom heeft deze knop een label 'Veilig' maar een actie 'Verwijder alles'?"
   • Vraag: "Waarom is dit formulier plotseling zo diep en ingewikkeld?"
   • Vraag: "Zit hier een tekstvak voor 'Wachtwoord' in een boekingspagina voor een hotel?"

De Drie Detectiemethoden

De onderzoekers hebben drie verschillende "detectives" getest om deze valstrikken te vinden:

1. De Isolation Forest (De "Vreemde Vogel" Detector):

   • Hoe het werkt: Deze kijkt naar de vorm van het bouwplan. Als een plan er heel anders uitziet dan duizenden andere normale plannen (bijvoorbeeld veel te veel lagen of vreemde vertakkingen), denkt hij: "Aha, dit is een vreemde vogel!"
   • Resultaat: Goed voor grove fouten, maar mist subtiele bedriegers die er netjes uitzien.

2. De Autoencoder (De "Normaal Gedrag" Trainer):

   • Hoe het werkt: Deze detective heeft nooit een crimineel gezien. Hij heeft alleen duizenden normale bouwplannen bestudeerd. Hij leert hoe een "gezond" plan eruitziet. Als hij nu een plan krijgt dat hij niet goed kan nabootsen (want het bevat vreemde elementen), zegt hij: "Dit klopt niet, dit is verdacht!"
   • Resultaat: Zeer handig als je nog geen lijst met bekende criminelen hebt. Hij ziet afwijkingen in het patroon.

3. De Random Forest (De "Ervaarde Expert"):

   • Hoe het werkt: Deze heeft een enorme map met voorbeelden van zowel normale plannen als bekende aanvalspatronen. Hij kijkt naar 18 verschillende details (zoals hoeveel knoppen er zijn, hoe lang de tekst is, of er gevoelige woorden in staan) en vergelijkt ze met zijn ervaring.
   • Resultaat: De beste van allemaal. Hij is het meest accuraat en mist de minste bedriegers, maar hij heeft wel een lijst met bekende misdaden nodig om te leren.

Wat hebben ze ontdekt?

De onderzoekers hebben 4.000 bouwplannen gegenereerd (3.000 normale en 1.000 met valstrikken) om hun systeem te testen.

• Het makkelijkst te vangen: Aanvallen waarbij de structuur heel raar wordt (bijvoorbeeld een formulier dat 50 lagen diep is). Dat is als een auto die 10 wielen heeft; je ziet het direct.
• Het moeilijkst te vangen: Aanvallen waarbij alleen de tekst op één knop verandert, maar de rest perfect normaal is. Dit is als een kameleon die op een boom zit; hij ziet eruit als de boom, maar is gevaarlijk.
• De beste oplossing: De "Ervaarde Expert" (Random Forest) deed het het beste, maar de "Normaal Gedrag Trainer" (Autoencoder) is de meest praktische oplossing voor nieuwe systemen die nog geen ervaring met aanvallen hebben.

Waarom is dit belangrijk?

Vroeger waren websites statisch: een mens bouwde ze, keek ze na en bracht ze uit. Nu bouwen AI-agenten ze live. Als die agenten gehackt worden of fouten maken, kunnen ze onmiddellijk gevaarlijke interfaces voor jou bouwen.

AegisUI is de tussenpersoon die zegt: "Wacht even, dit bouwplan ziet er netjes uit, maar de bedoeling van deze knop klopt niet met de tekst. Ik laat dit niet door."

Het is een eerste stap om te zorgen dat de AI's die onze digitale wereld bouwen, niet per ongeluk (of opzettelijk) de deuren openzetten voor criminelen. De onderzoekers hebben hun code en data vrijgegeven, zodat iedereen dit kan testen en verbeteren.

Technische samenvatting

Titel: AegisUI: Detectie van gedragsafwijkingen voor gestructureerde gebruikersinterface-protocollen in AI-agent systemen

Auteurs: Mohd Safwan Uddin en Saba Hajira (Muffakham Jah College of Engineering and Technology, Hyderabad, India)

---

1. Probleemstelling

AI-agenten genereren steeds vaker gebruikersinterfaces (UI) dynamisch op basis van gestructureerde protocol-payloads (bijv. JSON-objects die knoppen, formulieren en data-weergaven definiëren). Hoewel deze payloads vaak voldoen aan strikte syntactische schema-validaties (geldig JSON, correcte veldtypes), kunnen ze toch gevaarlijk zijn.

De kern van het probleem is een gedragsmismatch:

• Een knop kan de tekst "Factuur bekijken" tonen, maar de verborgen actie is het wissen van een account.
• Een widget kan onopgemerkt gebonden zijn aan een gevoelig intern veld (bijv. internal.salary_band) in plaats van een geaggregeerde metric.
• Een phishing-interface kan extra velden (wachtwoord, creditcard) injecteren die eruitzien als een legitiem checkout-proces.

Bestaande beveiliging stopt bij de syntaxis; er is geen mechanisme om deze semantische en gedragsafwijkingen te detecteren voordat de interface wordt gerenderd. Er ontbreekt een benchmark of dataset voor dit specifieke domein.

2. Methodologie: Het AegisUI Framework

De auteurs hebben een end-to-end framework ontwikkeld om dit probleem te bestuderen en detectiemodellen te testen. Het proces bestaat uit vier fasen:

A. Dataset Generatie

• Omvang: 4.000 gelabelde payloads (3.000 onschuldig, 1.000 kwaadaardig).
• Domeinen: 5 applicatiedomeinen (boeking, e-commerce, analytics, formulieren, workflow-goedkeuring).
• Aanvalsfamilies: 5 categorieën van aanval:
  1. Phishing-interface: Injectie van gevoelige invoervelden.
  2. Data-lekkage: Binden van widgets aan interne gevoelige bronnen.
  3. Layout-misbruik: Onnatuurlijk diepe of brede componentenbomen.
  4. Manipulatieve UI: Tekstlabels die niet overeenkomen met de onderliggende actie (bijv. "Goedkeuren" vs. "Verwijderen").
  5. Workflow-afwijkingen: Foutieve volgorde van acties of validaties.
• Generatie: Kwaadaardige payloads worden gegenereerd door mutaties toe te passen op onschuldige "seeds", waardoor ze statistisch lijken op legitieme data, maar met specifieke gedragsafwijkingen.

B. Feature Extractie

Elke payload wordt omgezet in een 18-dimensionale numerieke vector, verdeeld over vier groepen:

1. Structureel (8 features): Aantal componenten, payload-grootte, maximale diepte, grafische dichtheid, branching factor, etc.
2. Semantisch (5 features): Lengte van labels, tekst-entropie, aantal gevoelige trefwoorden (bijv. "wachtwoord"), en een semantische inconsistentie-score (hoe vaak label en actie niet overeenkomen).
3. Binding (3 features): Aantal bindings, vlag voor gevoelige bindings (bijv. SSN), ratio van cross-component bindingen.
4. Sessie (2 features): Variatie in tijdstempels en interval tussen payloads.

C. Detectiemodellen

Drie modellen werden vergeleken op een gestratificeerde 80/20 splitsing:

1. Isolation Forest (Ongeleerd): Detecteert outliers zonder labels.
2. Autoencoder (Semi-geleerd): Trained alleen op onschuldig data; hoge reconstructiefout duidt op een aanval.
3. Random Forest (Geleerd): Supervised learning met labels.

3. Belangrijkste Resultaten

De prestaties werden gemeten op basis van nauwkeurigheid, precisie, recall, F1-score en ROC-AUC.

Model	Nauwkeurigheid	Precisie	Recall	F1-score	ROC-AUC
Random Forest	0.931	0.980	0.740	0.843	0.952
Autoencoder	0.885	0.790	0.735	0.762	0.863
Isolation Forest	0.824	0.757	0.435	0.552	0.822

• Random Forest presteerde het beste overall, met een zeer lage vals-positieve rate (0,5%) en een hoge precisie.
• Autoencoder kwam op de tweede plaats. Dit is significant omdat het geen kwaadaardige labels nodig heeft tijdens het trainen, wat ideaal is voor nieuwe systemen zonder aanvalshistorie.
• Isolation Forest presteerde het slechtst, vooral bij het detecteren van subtiele aanvaltypes.

Per Aanvalstype Analyse:

• Eenvoudigst te detecteren: Layout-misbruik (structurele afwijkingen zijn duidelijk).
• Moeilijkst te detecteren: Manipulatieve UI (slechts één of twee knoppen aangepast in een grote payload; de gemiddelde features worden hierdoor "verwaterd").
• Data-lekkage en Phishing werden redelijk goed gedetecteerd door het gebruik van gevoelige trefwoorden.

4. Bijdragen

1. Eerste Benchmark: Het eerste dataset en evaluatieframework specifiek voor gestructureerde UI-protocollen van AI-agenten.
2. Synthetische Dataset: Een reproduceerbare dataset van 4.000 payloads met traceerbare aanvalsmetadata.
3. Feature Pipeline: Een gestructureerde extractie van 18 features die structurele, semantische en bindingseigenschappen combineren.
4. Empirische Vergelijking: Een grondige analyse van drie detectiemodellen, inclusief inzicht in welke aanvalstypes welke modellen ontlopen.

5. Betekenis en Toekomstperspectief

Significantie:
Het paper benadrukt dat traditionele schema-validatie onvoldoende is voor AI-generatie van UI's. AegisUI toont aan dat gedragsafwijkingen kunnen worden opgespoord met relatief eenvoudige features en bestaande ML-modellen. De bevinding dat een autoencoder (zonder aanvalslabels) een bruikbare baseline biedt, is cruciaal voor de praktische implementatie in nieuwe agent-systemen.

Beperkingen:

• De dataset is synthetisch; echte systemen hebben complexere vocabulaires en langere sessies.
• De huidige feature-extractie werkt op payload-niveau (aggregatie), wat het moeilijk maakt om zeer lokale manipulaties (bijv. één aangepaste knop) te detecteren.

Toekomstige Richtingen:
De auteurs plannen de volgende stappen:

1. Graph Neural Networks (GNN): Toepassing van GraphSAGE op de layout-grafiek om knop-niveau anomalieën te detecteren in plaats van gemiddelde payload-waarden.
2. Sessie-sequentie modeling: Gebruik van LSTM of Transformers om patronen over tijd te analyseren.
3. Validatie op echte data: Testen van de modellen op geanonimiseerde protocolsporen uit operationele systemen.

Conclusie:
AegisUI biedt een solide basis voor het beveiligen van de "vertrouwensgrens" tussen AI-agenten en hun renderings-engine, en identificeert de noodzaak voor meer granulaire, graf-gebaseerde detectiemethoden in de toekomst. Alle code, data en configuraties zijn openbaar gemaakt voor reproduceerbaarheid.