기술 요약: PLCBench

문제 정의

산업 제어 시스템(ICS)은 네트워크 연산과 물리적 제어를 연결하는 가교 역할을 하는 프로그래머블 로직 컨트롤러(PLC)에 의존한다. 도구를 사용하는 대규모 언어 모델(LLM) 에이전트가 디지털 사이버 보안 작업(예: 침투 테스트, 취약점 악용)에서 증가하는 능력을 입증해 왔으나, 네트워크 도달 가능성을 지속적인 물리적 영향으로 변환하는 능력은 아직 정량화되지 않았다.

기존의 평가들은 열린 서비스 발견, 유효한 소프트웨어 쓰기 달성, 또는 도구 접근 권한 획득과 같은 중간 단계의 디지털 마일스톤에서 멈추는 경우가 많다. ICS의 맥락에서 이러한 마일스톤은 물리적 위험의 충분한 지표가 될 수 없다. 유효한 PLC 쓰기는 제어 루프와 무관하거나, 기존 로직에 의해 덮어쓰여지거나, 혹은 위험한 물리적 상태를 지속시키는 데 실패할 수 있기 때문이다. 자율 에이전트가 다음을 수행할 수 있는지 평가하는 포괄적인 엔드 투 엔드(end-to-end) 평가 프레임워크가 부족하다:

1. 벤더 고유 인터페이스를 통해 이질적인 실제 PLC와 상호작용할 수 있는가.
2. 폐루프(closed-loop) 프로세스 피드백에 따라 행동을 적응시킬 수 있는가.
3. 독립적으로 검증된 물리적으로 실현된 목표를 달성할 수 있는가.

방법론: PLCBench 프레임워크

저자들은 사이버-물리 역량과 그 경계를 특성화하기 위해 설계된 최초의 실제 PLC 하드웨어 인 더 루프(HIL) 프레임워크인 PLCBench를 제시한다. 이 프레임워크는 모듈식으로 구성되어, 핵심 평가 루프를 변경하지 않고도 LLM 백엔드, 상용 PLC, 프로세스 워크로드를 재조합할 수 있다.

핵심 구성 요소

1. 에이전트 프레임워크: ReAct(Reasoning and Acting) 패러다임에 기반한 장기적 상호작용 루프.
   • 프롬프트 계약(Prompt Contract): 대상 특정 세부 정보(예: 네이티브 오브젝트 맵, 활성 프로토콜)를 숨기는 고정된 시스템 프롬프트와 작업 설명을 사용한다.
   • 감사된 도구(Audited Tools): 쉘(shell), 파이썬(Python), 공용 프로토콜 라이브러리를 제공한다. 에이전트는 사전 구성된 래퍼(wrapper) 없이 클라이언트를 구성하고 네이티브 요청을 발행해야 한다.
   • 컨텍스트 관리: 시간적 순서나 결정적 증거를 잃지 않으면서 긴 에피소드를 처리하기 위해 결정론적 압축(deterministic compaction)을 구현하며, 평가를 위해 전체 원시 트랜스크립트를 보존한다.
2. HIL 플랫폼:
   • 실제 PLC: 벤더 고유 프로토콜(S7comm, Modbus/TCP, ADS, MC/SLSP)을 실행하는 4개의 상용 PLC(Siemens S7-300, Schneider M241, Beckhoff CX2030, Mitsubishi R08CPU).
   • 폐루프 워크로드: 센서 피드백과 액추에이터 제어를 제공하는 4개의 별도 프로세스 시뮬레이션(예: 4중 탱크, 열 혼합).
   • 격리: 에이전트는 격리된 샌드박스 내에서 작동하며, HIL 브릿지가 프로세스 서버와 PLC 간의 상태 교환을 관리한다.
3. 결정론적 평가기(Deterministic Evaluator):
   • 에이전트의 컨텍스트 외부에서 작동한다.
   • 독립적인 증거 소스(러너 로그, 패킷 캡처, 오브젝트 감사, 프로세스 트레이스)를 분석한다.
   • 진행 상황을 분류하기 위해 6개의 숨겨진 진단 플래그를 할당한다:
     • PLC-인터페이스 획득: discover(서비스 발견), read(유효 데이터 반환), write(쓰기 수락).
     • 물리적 제어 진행: manipulate(프로세스 연결 오브젝트에 쓰기), disrupt(경고 조건 지속), impact(전체 작업 목표 지속).

실험 설정

• 모델: 5개의 LLM 제품군 (GPT 5.5, Sonnet 5, Gemini 3.5 Flash, DeepSeek V4 Pro, Kimi K2.7).
• 구성: 4 PLCs × 4 Workloads × 5 Models × 3 Repetitions = 240 에피소드의 교차 설계.
• 제약 조건: 100-액션 예산, 3600초 시간 제한, 컨트롤러 관리 작업(예: 재부팅) 금지, PLC 프로그램 수정 금지.

주요 결과

전반적 영향

• 성공률: 240개 에피소드 중 **75개(31.3%)**가 지속적인 물리적 영향을 달성했다.
• 모델 성능: GPT 5.5가 가장 유능했으며, 48개 에피소드 중 38개(79.2%)에서 임팩트에 도달했고 16개의 PLC-워크로드 구성 모두에서 성공했다. 다른 모델들은 현저히 낮은 성공률과 커버리지를 보였다.
• 재현성: GPT 5.5는 16개 셀 모두에서 성공했지만, 그중 9개 셀에서만 3번의 반복 실험 모두 성공했다. 이는 가장 강력한 모델에서도 성공이 균일하게 재현되지 않음을 나타낸다.

장벽 분석

평가는 에이전트가 자주 실패하는 두 가지 뚜-렷한 장벽을 식별했다.

1. 장벽 I: 네이티브 인터페이스 획득 (98 에피소드가 여기서 중단됨)

   • 에이전트들은 네트워크 도달 가능성에서 유효한 벤더 네이티브 인터페이스로 전환하는 데 어려움을 겪었다.
   • 프로토콜 복잡성: 덜 흔한 프로토콜에서 상당한 드롭오프가 발생했다. 예를 들어, Beckhoff (ADS) 및 Mitsubishi (MC/SLSP) PLC의 경우, 많은 에이전트가 서비스를 발견했음에도 불구하고 유효한 읽기를 얻는 데 실패했다.
   • 발견: 인터페이스 획득은 프로토콜 친숙도와 클라이언트 구성에 크게 의존하며, 이는 강력한 보안 경계라기보다는 마찰 지점으로 작용한다.

2. 장벽 II: 물리적 전환 (62 에피소드가 여기서 중단됨)

   • 에이전트들은 프로세스 연결 오브젝트에 성공적으로 기록(manipulate)했지만, 위험 상태를 지속(impact)하는 데는 실패했다.
   • 프로세스 역학: 실패는 주로 폐루프 제어 및 보호 로직의 복잡성 때문이었다. 예를 들어, 4중 탱크 시나리오에서 에이전트들은 결합된 역학 관계에 맞서 특정 탱크 레벨 제약 조건을 유지하지 못했다.
   • 관측 가능성: 더 풍부한 프로세스 관측값(중간 변수, 제어 루프 상태)을 제공했을 때, 성공적인 쓰기 이후의 조건부 임팩트 달성도가 44.2%에서 64.0%로 증가했다. 이는 제한된 관측 가능성이 중요한 병목 현상임을 시사한다.

절제 연구(Ablation Studies)

• 공유 프로토콜: 모든 워크로드가 단일 공유 Modbus/TCP 경로를 통해 노출되었을 때(프로토콜 이질성 제거), 조작 달성도는 100%(이질적 네이티브 경로에서의 57.1% 대비)로 상승했고, 원시 임팩트는 50%로 상승했다.
• 관측 깊이: 더 풍부한 관측 조건은 인터페이스 획득을 개선하지는 않았지만, 쓰기를 지속적인 물리적 임팩트로 전환하는 데는 유의미한 개선을 가져왔다.

의의 및 주장

본 논문은 사이버-물리 맥락에서 자율 LLM 에이전트에 대한 최초의 체계적인 실제 PLC HIL 평가를 제공한다고 주장한다. 그 의의는 다음과 같다:

1. 위협 모델의 변화: 대상 특정 OT 지식(예: 프로토콜 상세 사항, 오브젝트 맵)이 더 이상 공격 성공의 엄격한 전제 조건이 아님을 입증한다. 유능한 에이전트는 네트워크 접근 권한과 유계된 피드백이 있다면 상호작용을 통해 온라인으로 이러한 지식을 재구성할 수 있다.
2. 실제 장벽 식별: 연구는 실패 지점을 국지화한다. 저자들은 프로토콜 복잡성과 대상 특정 지식의 부재가 지속적인 보안 경계라기보다 "침식하는 마찰(eroding friction)" 역할을 한다고 주장한다. 에이전트가 인터페이스 장벽을 극복하면, 물리적 전환 장벽이 주요 제약 사항이 되며, 이는 프로세스 역학 및 관측 가능성에 크게 영향을 받는다.
3. 방어 평가: 이 프레임워크는 방어 전략을 평가하기 위한 재현 가능한 기초를 제공한다. 연구는 방어가 다음 사항에 집중해야 함을 시사한다:
   • 엔지니어링 서비스에 대한 접근 제한.
   • 프로세스에 영향을 미치는 쓰기 검증(상태 인식 불변성).
   • 극단적인 임계값뿐만 아니라 위험 영역을 감시.
   • 공격을 돕는 "이중 용도" 텔레메트리를 방지하기 위해 상세 모니터링 데이터와 쓰기 권한의 분리.

저자들은 PLCBench가 새로운 벤더 취약점을 발견하는 것이 아니라, 자율 에이전트가 기존의 알려진 인터페이스를 악용하여 물리적 결과를 달성하는 능력을 특성화하는 것임을 강조한다. 결과는 현재의 에이전트들이 보편적으로 신뢰할 수 있는 수준은 아니지만, 검증된 실험실 환경에서 지속적인 물리적 공격을 수행할 능력이 있음을 보여주며, 이는 ICS 보안을 평가하고 방어하는 방식의 변화가 필요함을 시사한다.