From Incomplete Architecture to Quantified Risk: Multimodal LLM-Driven Security Assessment for Cyber-Physical Systems

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 사이버 - 물리 시스템 (CPS) 은 소프트웨어 아키텍처를 기반으로 기능, 성능, 보안을 유지합니다. 그러나 레거시 기술, 지식 관리의 부재, 다양한 서브시스템의 통합 복잡성, 그리고 긴 운영 수명 주기 등으로 인해 아키텍처 문서화가 불완전하거나 구식인 경우가 많습니다.
• 핵심 문제: 아키텍처 정보의 불완전성은 시스템 의존성, 공격 표면 (Attack Surface), 위험 전파 경로를 식별하는 것을 방해하여 신뢰할 수 있는 보안 평가를 불가능하게 만듭니다. 기존 보안 평가 프레임워크는 포괄적인 아키텍처 문서화를 전제로 하므로, 문서가 부재할 경우 적용이 어렵습니다.
• 목표: 불완전한 문서나 아키텍처가 존재하지 않는 환경에서도 CPS 의 아키텍처를 재구성하고, 이를 기반으로 위협을 식별하며 정량적인 위험을 추정할 수 있는 새로운 접근법 개발.

2. 제안된 방법론: ASTRAL (Methodology)

저자들은 ASTRAL(Architecture-Centric Security Threat Risk Assessment using LLMs) 이라는 멀티모달 LLM 기반 도구를 제안합니다. 이 도구는 세 가지 주요 단계를 거쳐 불완전한 아키텍처에서 정량화된 위험까지 도출합니다.

1 단계: 아키텍처 재구성 (Architectural Reconstruction)

• 입력: 데이터 흐름도 (DFD), 네트워크 토폴로지 다이어그램 (이미지), 비정형 텍스트 등 파편화된 아티팩트.
• 프로세스: 멀티모달 LLM 을 사용하여 이미지와 텍스트를 분석하고, 프롬프트 체이닝 (Prompt Chaining) 과 Few-shot 학습을 활용합니다.
• 제약 조건 (Guardrails): LLM 의 환각 (Hallucination) 을 방지하기 위해 IEC 62443(산업 보안 표준) 및 퍼듀 모델 (Purdue Model) 같은 도메인 특화 온톨로지를 '시맨틱 가드레일'로 적용합니다. 이를 통해 논리적으로 타당하고 표준에 부합하는 아키텍처 내러티브 (구조화된 텍스트 설명) 를 생성합니다.
• 출력: 신뢰 영역 (Trust Boundaries), 주요 구성 요소, 데이터 흐름, 공격 진입점 등을 포함한 구조화된 아키텍처 모델.

2 단계: 보안 모델링 (Security Modelling)

• 프로세스: 재구성된 아키텍처를 기반으로 LLM 이 STRIDE-LM 프레임워크 (Spoofing, Tampering, Repudiation, Information Disclosure, Denial of Service, Elevation of Privilege, Lateral Movement) 를 적용하여 위협을 식별합니다.
• 산출물: 구체적인 위협 시나리오와 이를 시각화한 공격 트리 (Attack Tree) 를 생성합니다. 이 과정에서 CVE(공통 취약점 식별자) 와 같은 실제 취약점 정보도 매핑됩니다.

3 단계: 확률적 분석 (Probabilistic Analysis)

• 모델링: 생성된 위협 및 공격 트리 정보를 베이지안 네트워크 (Bayesian Network, BN) 로 변환합니다.
• 정량화: CVSS 점수, EPSS(공격 예측 점수) 등을 기반으로 노드 (자산, 취약점, 위험) 간의 확률적 의존성을 계산합니다.
• 결과: 공격 성공 확률 (Exposure), 심각한 영향 (Severe Impact) 의 확률, 그리고 이를 종합한 정량적 위험 점수 (Risk Score) 와 시스템 가용성 점수를 산출합니다.

3. 주요 기여 (Key Contributions)

1. 아키텍처 불완전성 해결: CPS 보안 평가의 핵심 장벽인 문서 부재 문제를 해결하기 위해, 멀티모달 LLM 을 활용한 아키텍처 재구성 및 통합 평가 워크플로우를 최초로 제안했습니다.
2. 새로운 평가 접근법 (ASTRAL): 단순한 위협 모델링을 넘어, 아키텍처 재구성부터 정량적 위험 분석까지 이어지는 통합 프레임워크를 개발했습니다. 이는 기존 LLM 기반 연구들이 위협 모델링의 일부 단계에만 적용되었던 점과 차별화됩니다.
3. 실무자 중심 프로토타입 도구 개발: 실제 CPS 환경에서 불완전한 아키텍처를 가진 시스템을 대상으로 적응형 보안 평가와 의사결정을 지원하는 프로토타입 도구를 구현했습니다.
4. 실증적 검증: 3 가지 다른 CPS 사례 (FrostyGoop 공격 시나리오, 의료 CPS, 분산형 태양광 발전 시스템) 에 대한 사례 연구와 14 명의 사이버 보안 전문가 (CISO 포함) 를 대상으로 한 사용자 평가를 통해 유효성을 입증했습니다.

4. 연구 결과 (Results)

4.1 사례 연구 및 사례 분석

• FrostyGoop (난방 시스템): 불완전한 DFD 를 기반으로 아키텍처를 재구성하여, 공격 성공 확률 34.04%, 심각한 영향 확률 62.04%, 종합 위험 점수 21.12% 를 도출했습니다.
• 의료 CPS (MCPS): 높은 위험 점수 (39.15%) 와 낮은 시스템 가용성 (14.01%) 을 보이며, 환자 안전에 미치는 중대한 영향을 정량화했습니다.
• 태양광 인버터: 상대적으로 낮은 위험 점수 (4.95%) 와 높은 가용성 (38.65%) 을 보였으며, 분산형 아키텍처의 특성을 반영한 결과를 제공했습니다.
• 결론: ASTRAL 은 다양한 도메인과 아키텍처 불완전성 유형에 대해 일관되게 적용 가능함을 입증했습니다.

4.2 제거 실험 (Ablation Study)

• 다중 모달성 (Multimodality) 의 중요성: 텍스트만 입력한 경우, 아키텍처 재구성의 정확도 (신뢰 영역 식별 등) 가 크게 저하되었습니다. 다이어그램 이미지가 필수적임을 확인했습니다.
• 가드레일 (Guardrails) 의 효과: 가드레일을 제거하면 LLM 이 물리적으로 불가능한 공격 경로를 생성하거나 구조적 무결성이 깨지는 경우가 발생했습니다.
• 샘플링 파라미터: 적절한 온도 (Temperature) 와 Top-p 설정이 LLM 의 창의성과 정확성 사이의 균형을 맞추는 데 중요함을 확인했습니다.

4.3 전문가 평가 (Practitioner Evaluation)

• 사용성 및 유용성: 14 명의 전문가로부터 높은 평점 (유용성 4.64/5, 사용 용이성 4.29/5) 을 받았습니다.
• 신뢰도: 출력 결과의 신뢰성은 4.00/5로 평가되었으며, 체계적인 방법론과 표준 프레임워크 기반이라는 점이 신뢰를 주었습니다.
• 피드백: 전문가들은 "첫 번째 시도 (First-cut)" 도구로서 가치가 높다고 평가했으나, 더 높은 투명성, 설명 가능성 (Explainability), 그리고 실시간 운영 데이터와의 통합을 요구했습니다.

5. 의의 및 결론 (Significance)

• 실무적 가치: CPS 보안 평가에서 가장 큰 병목 현상인 '문서 부재' 문제를 해결하여, 실무자가 불완전한 정보 하에서도 체계적이고 정량적인 위험 관리 결정을 내릴 수 있게 지원합니다.
• 기술적 혁신: 멀티모달 LLM 의 추론 능력을 보안 공학 (보안 모델링, 위험 정량화) 과 결합하여, 기존 정적 평가 방법론의 한계를 극복하는 새로운 패러다임을 제시했습니다.
• 미래 방향: 투명성 강화, 인간 - LLM 협업 (Human-in-the-loop) 메커니즘 도입, 실시간 위협 인텔리전스 통합 등을 통해 도구의 신뢰성과 실용성을 더욱 높여야 함을 시사합니다.

이 연구는 불완전한 아키텍처 정보에서도 LLM 을 활용하여 정밀한 사이버 위험을 정량화할 수 있음을 입증함으로써, 복잡한 CPS 환경의 보안 태세를 강화하는 데 중요한 기여를 합니다.