Technische Samenvatting: PLCBench

Probleemstelling

Industriële controlesystemen (ICS) vertrouwen op Programmable Logic Controllers (PLC's) om de brug te slaan tussen netwerkgebaseerde berekeningen en fysieke besturing. Hoewel tool-gebruikende Large Language Model (LLM) agenten een toenemend vermogen hebben getoond in digitale cybersecuritytaken (bijv. penetratietesten, kwetsbaarheidsexploitatie), blijft hun vermogen om netwerkbereikbaarheid te vertalen naar voortdurende fysieke impact ongekwantificeerd.

Bestaande evaluaties stoppen vaak bij intermediaire digitale mijlpalen, zoals het vinden van een open service, het bereiken van een geldige softwarematige schrijfactie, of het verkrijgen van toegang tot tools. In de context van ICS zijn deze mijlpalen onvoldoende indicatoren voor fysiek risico. Een geldelijke PLC-schrijfactie kan irrelevant zijn voor de regelkring, overschreven worden door bestaande logica, of er niet in slagen een gevaarlijke fysieke conditie in stand te houden. Er is een gebrek aan een uitgebreid, end-to-end evaluatiekader dat beoordeelt of een autonome agent in staat is om:

1. Te interageren met heterogene, echte PLC's via leveranciers-native interfaces.
2. Gedrag aan te passen op basis van closed-loop procesfeedback.
3. Een fysiek gerealiseerd objectief te bereiken dat onafhankelijk geverifieerd wordt.

Methodologie: PLCBench Framework

De auteurs presenteren PLCBench, het eerste real-PLC hardware-in-the-loop (HIL) framework dat ontworpen is om cyber-naar-fysieke capaciteiten en hun grenzen te karakteriseren. Het framework is modulair, waardoor de recombinatie van LLM-backends, commerciële PLC's en procesworkloads mogelijk is zonder de kern van de evaluatielus te wijzigen.

Kerncomponenten

1. Agent Framework: Een interactielus met een lange horizon gebaseerd op het ReAct (Reasoning and Acting) paradigma.
   • Prompt Contract: Gebruikt vaste systeem-prompts en taakbeschrijvingen die doel-specifieke details verbergen (bijv. native object maps, actieve protocollen).
   • Geauditeerde Tools: Biedt shell, Python en publieke protocoolbibliotheken. De agent moet clients configureren en native verzoeken versturen zonder vooraf geconfigureerde wrappers.
   • Contextbeheer: Implementeert deterministische compressie van de interactiegeschiedenis om lange episodes te verwerken zonder de temporele volgorde of kritieke bewijslast te verliezen, waarbij een volledige ruwe transcript behouden blijft voor evaluatie.
2. HIL Platform:
   • Echte PLC's: Vier commerciële PLC's (Siemens S7-300, Schneider M241, Beckhoff CX2030, Mitsubishi R08CPU) die draaien op leveranciers-native protocollen (S7comm, Modbus/TCP, ADS, MC/SLMP).
   • Closed-Loop Workloads: Vier verschillende proces-simulaties (bijv. quadruple-tank, thermische menging) die sensorfeedback en actuatorbesturing bieden.
   • Isolatie: Agenten opereren in geïsoleerde sandboxes; de HIL-brug beheert de staatsuitwisseling tussen de proces-server en de PLC.
3. Deterministische Evaluator:
   • Werkt buiten de context van de agent.
   • Analyseert onafhankelijke bronnen van bewijs (runner logs, packet captures, object audits, proces-traces).
   • Wint zes verborgen diagnostische vlaggen toe om voortgang te categoriseren:
     • PLC-Interface Verwerving: discover (service gevonden), read (geldige data ontvangen), write (schrijfactie geaccepteerd).
     • Fysieke Controle Progressie: manipulate (schrijven naar proces-gelinkt object), disrupt (waarschuwingsconditie in stand gehouden), impact (volledig taakobjectief in stand gehouden).

Experimentele Opstelling

• Modellen: Vijf LLM-families (GPT 5.5, Sonnet 5, Gemini 3.5 Flash, DeepSeek V4 Pro, Kimi K2.7).
• Configuratie: Een crossed design van 4 PLC's × 4 Workloads × 5 Modellen × 3 Repetities = 240 episodes.
• Restricties: Budget van 100 acties, tijdslimiet van 3600 seconden, geen acties voor controller-beheer (bijv. rebooten), en geen modificatie van het PLC-programma.

Belangrijkste Resultaten

Totale Impact

• Succespercentage: Over 240 episodes behaalde 75 (31,3%) een voortdurende fysieke impact.
• Modelprestaties: GPT 5.5 was het meest capabel, bereikte impact in 38 van de 48 episodes (79,2%) en slaagde in alle 16 PLC-workload configuraties. Andere modellen vertoonden significant lagere succespercentages en dekking.
• Herhaalbaarheid: Hoewel GPT 5.5 in alle 16 cellen slaagde, bereikte het alleen succes in alle drie de repetities voor 9 van die cellen, wat aangeeft dat succes niet uniform herhaalbaar is, zelfs niet voor het sterkste model.

Barrière-analyse

De evaluatie identificeerde twee duidelijke barrières waar agenten vaak falen:

1. Barrière I: Native-Interface Verwerving (98 episodes stopten hier)

   • Agenten hadden moeite met de overgang van netwerkbereikbaarheid naar een bruikbare leveranciers-native interface.
   • Protocolcomplexiteit: Significante dalingen trad op bij minder gangbare protocollen. Bijvoorbeeld, bij de Beckhoff (ADS) en Mitsubishi (MC/SLMP) PLC's konden veel agenten de service wel ontdekken, maar faalden ze in het verkrijgen van een geldige 'read'.
   • Bevinding: Interface-verwerving is sterk afhankelijk van protocolbekendheid en client-configuratie, wat fungeert als een wrijvingspunt in plaats van een harde beveiligingsgrens.

2. Barrière II: Fysieke Conversie (62 episodes stopten hier)

   • Agenten schreven succesvol naar proces-gelinkte objecten (manipulate), maar faalden in het in stand houden van de gevaarlijke staat (impact).
   • Procesdynamiek: Falen was vaak te wijten aan de complexiteit van closed-loop regeling en beschermingslogica. Bijvoorbeeld, in het quadruple-tank scenario konden agenten de specifieke tankniveau-restricties niet handhaven tegenover gekoppelde dynamiek.
   • Observabiliteit: Het bieden van rijkere procesobservaties (intermediaire variabelen, control-loop staat) verhoogde de conditionele bereiking van impact na een succesvolle schrijfactie van 44,2% naar 64,0%, wat suggereert dat beperkte observabiliteit een significante bottleneck is.

Ablatie-studies

• Gedeeld Protocol: Wanneer alle workloads werden blootgesteld via een enkele gedeelde Modbus/TCP pad (verwijdering van protocol-heterogeniteit), steeg de manipulatie-bereiking naar 100% (tegenover 57,1% op heterogene native paden), en de ruwe impact steeg naar 50%.
• Observatiediepte: Rijkere observatiecondities verbeterden de interface-verwerving niet, maar verbeterden aanzienlijk de conversie van schrijfacties naar een voortdurende fysieke impact.

Betekenis en Claims

Het artikel claimt de eerste systematische, real-PLC HIL-evaluatie van autonome LLM-agenten in een cyber-naar-fysieke context te bieden. De betekenis ligt in:

1. Verschuiving van het Dreigingsmodel: Het demonstreert dat doel-specifieke Operational Technology (OT) kennis (bijv. protocol-specificaties, object maps) niet langer een strikte voorwaarde is voor succesvolle aanvallen. Capabele agenten kunnen deze kennis online reconstrueren via interactie, mits zij netwerktoegang en begrensde feedback hebben.
2. Identificatie van Echte Barrières: De studie lokaliseert foutpunten. Het stelt dat protocolcomplexiteit en een gebrek aan doel-specifieke kennis fungeren als "eroderende wrijving" in plaats van duurzame beveiligingsgrenzen. Zodra een agent de interface-barrière overwint, wordt de fysieke conversie-barrière de primaire beperking, die zwaar wordt beïnvloed door procesdynamiek en observabiliteit.
3. Defensieve Evaluatie: Het framework biedt een reproduceerbare basis voor het evalueren van defensieve strategieën. Het suggereert dat defensies zich moeten richten op:
   • Het beperken van toegang tot engineering-services.
   • Het valideren van schrijfacties die het proces beïnvloeden (state-aware invarianten).
   • Het bewaken van gevaarlijke regio's in plaats van enkel extreme drempelwaarden.
   • Het ontkoppelen van gedetailleerde monitoringsdata van schrijfrechten om te voorkomen dat "dual-use" telemetrie helpt bij aanvallen.

De auteurs benadrukken dat PLCBench geen nieuwe vendor-kwetsbaarheden ontdekt, maar eerder de capaciteit van autonome agenten karakteriseert om bestaande, bekende interfaces te exploiteren om fysieke resultaten te bereiken. De resultaten onderstrepen dat hoewel huidige agenten niet universeel betrouwbaar zijn, ze in staat zijn om voortdurende fysieke aanvallen uit te voeren in gevalideerde laboratoriumsettings, wat een verschuiving vereist in hoe ICS-beveiliging wordt geëvalueerd en verdedigd.