💻 computer science

Network and Device Level Cyber Deception for Contested Environments Using RL and LLMs

이 논문은 클라우드 및 컨테이너 환경에서 RL 과 LLM 을 융합하여 동적이고 비용 효율적인 네트워크 및 장치 수준의 사이버 기만 전략을 학습하고, 이를 OT 시스템의 은밀한 공격에 대한 유효성을 검증하는 AI 기반 솔루션을 검토합니다.

원저자: Abhijeet Sahu, Shuva Paul, Richard Macwan

게시일 2026-03-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Abhijeet Sahu, Shuva Paul, Richard Macwan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 **"해커를 속여 시간을 벌고, 실제 시스템을 지키는 똑똑한 방어 시스템"**에 대한 이야기입니다.

기존의 사이버 보안은 마치 성벽을 높이 쌓거나 문에 자물쇠를 거는 것과 같습니다. 하지만 해커는 그 성벽을 뚫거나 자물쇠를 따는 방법을 계속 찾아냅니다. 이 논문은 **"성벽을 지키는 대신, 해커가 들어오면 '가짜 성'을 만들어 속여 시간을 끄는 전략"**을 제안합니다. 그리고 이 가짜 성을 더 현실적으로 만들기 위해 인공지능 (AI) 두 가지 종류를 합쳤습니다.

이 복잡한 기술을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 문제: 해커는 너무 똑똑하고, 우리는 바쁘다

전력망이나 공장 같은 중요한 시설 (OT 시스템) 을 지키는 것은 매우 어렵습니다. 해커는 밤낮없이 시설을 살피고 (정찰), 약점을 찾아내지만, 우리는 해커가 공격하기 전에 바로 알아차려야 합니다.

비유: 도둑이 집 안을 훑어보는 동안, 집주인은 1 초 만에 "저 도둑은 가짜야!"라고 알아차려야 합니다. 하지만 도둑은 몇 시간, 몇 날 며칠을 걸릴 수도 있죠.

2. 해결책: 해커를 속이는 '가짜 성' (사이버 디셉션)

이 논문은 해커가 들어오면 진짜 시설 대신 **완벽하게 똑같은 '가짜 시설 (Honeypot)'**으로 유도하는 방법을 말합니다.

전통적인 방법: 가짜 시설을 미리 만들어두는 건데, 해커가 조금만 살펴보면 "아, 이건 가짜야"라고 눈치챕니다. (너무 단순하고 사람이 일일이 설정해야 함)
이 논문의 방법: **인공지능 (AI)**이 가짜 시설을 실시간으로 만들어내고, 해커가 무엇을 물어보든 현실적인 대답을 해줍니다.

3. 핵심 기술 1: "길 안내자" (강화 학습, RL)

해커가 어디로 갈지 결정하는 **라우터 (길 안내자)**에게 AI 를 심었습니다.

비유: 해커가 "전력망 어딨어?"라고 물어보면, AI 길 안내자는 해커가 진짜 시설로 가지 못하도록 가짜 시설이 있는 길로 자연스럽게 유도합니다.
학습 방식: 해커가 가짜 시설로 갈 때마다 보상을 주고, 진짜 시설로 갈 때는 벌점을 줍니다. 해커가 더 오래 속아넘어가도록 AI 가 스스로 길을 바꾸는 법을 배웁니다.
진화: 처음엔 한 명의 AI 가 전체 길을 관리했지만, 너무 복잡해져서 라우터 하나하나가 독립적인 AI가 되어 서로 협력하게 만들었습니다. (여러 명이 팀을 이뤄 길을 안내하는 것)

4. 핵심 기술 2: "배우" (대형 언어 모델, LLM)

가짜 시설에 들어온 해커와 대화하는 **가짜 기기 (RTU)**의 역할을 하는 AI 입니다.

비유: 해커가 "전압이 얼마야?"라고 물어보면, 이 AI 는 실제 전력망 기사처럼 답변합니다.
특이점: 기존 가짜 기기는 정해진 답변만 했지만, 이 AI 는 **LLM(대형 언어 모델)**을 써서 해커의 질문 맥락에 맞춰 새롭고 자연스러운 답변을 만들어냅니다.
역할: 해커가 "이거 가짜 아니야?"라고 의심할 때, AI 가 너무 자연스럽게 대답하면 해커는 "아, 진짜구나"라고 믿고 더 깊은 곳까지 들어오게 됩니다.

5. 두 AI 의 협력: "길 안내자"와 "배우"의 팀워크

이 두 AI 는 따로 놀지 않고 서로 대화하며 작동합니다.

**길 안내자 (RL)**가 해커를 가짜 시설로 유도합니다.
**배우 (LLM)**가 해커와 대화하며 현실감을 줍니다.
만약 배우가 답변이 너무 어색하면, 길 안내자는 "저기 가짜 시설은 믿을 수 없으니 다른 곳으로 유도하자"라고 판단합니다.
반대로 배우가 아주 잘 연기하면, 길 안내자는 그 가짜 시설로 더 많은 해커를 보냅니다.

6. 실험 결과: 해커를 얼마나 오래 속일 수 있을까?

연구진은 이 시스템을 전력망 시뮬레이션에서 테스트했습니다.

결과: AI 가 가짜 시설을 더 잘 연기할수록, 해커는 진짜 시설을 공격하기 전에 훨씬 더 오래 가짜 시설에 갇히게 되었습니다.
의미: 해커가 시간을 낭비하는 동안, 우리는 해커의 공격 패턴을 분석하고 진짜 시스템을 안전하게 지킬 수 있게 됩니다.

7. 요약: 왜 이 연구가 중요할까요?

이 논문은 **"해커를 잡기 위해 AI 가 서로 협력하여 완벽한 가짜 세상을 만들어낸다"**는 것을 보여줍니다.

기존: 가짜 성을 만들어두면 해커가 금방 알아챔.
이제: AI 가 실시간으로 가짜 성을 만들고, 해커의 질문에 맞춰 연기까지 하며, 해커가 어디로 갈지 AI 가 길을 바꿔줍니다.

마치 해커가 들어오면, AI 가 "가짜 보물상자"를 만들어 해커를 그 안으로 유인하고, 그 상자가 해커의 질문마다 현실적인 보물을 주는 척하며 시간을 끄는 것과 같습니다. 그 사이 진짜 보물 (전력망) 은 안전하게 보호되는 셈이죠.

이 기술은 앞으로 전력망, 공장, 병원 등 우리 생활의 핵심 인프라를 해커로부터 지키는 데 큰 역할을 할 것으로 기대됩니다.

1. 문제 정의 (Problem Statement)

비대칭적 위협 환경: 사이버 보안에서 공격자는 장기간에 걸쳐 정보 수집 (Reconnaissance) 및 침투를 시도하는 반면, 방어자는 수 분 내로 대응해야 하는 시간적 비대칭성이 존재합니다. 특히 운영 기술 (OT, Operational Technology) 환경 (예: 전력망) 에서는 지연된 대응이 물리적 시스템 파괴로 이어질 수 있어 치명적입니다.
기존 기만 기술의 한계: 기존 허니팟 (Honeypot) 이나 IP 무작위화 등의 기만 기술은 정적 (Static) 이거나 인간 개입이 많아 비용이 많이 듭니다. 또한, 산업 제어 시스템 (ICS) 의 복잡한 프로토콜 (예: DNP3) 의 타이밍, 상태 일관성, 명령어 검증 로직을 정확히 모사하기 어렵습니다.
OT 환경의 특수성: DNP3 와 같은 레거시 프로토콜은 암호화나 인증이 부재하여 중간자 (MITM) 공격에 취약하며, 기존 IT 환경용 기만 기술은 OT 의 엄격한 실시간성 (Real-time) 과 결정론적 (Deterministic) 타이밍 요구사항을 충족하지 못합니다.

2. 제안된 방법론 (Methodology)

저자는 **강화 학습 (RL)**과 **대규모 언어 모델 (LLM)**을 융합한 계층적 사이버 기만 아키텍처를 제안합니다.

A. 계층적 아키텍처 (Hierarchical Architecture)

네트워크 제어 계층 (RL 기반):
- 목적: 공격자의 트래픽을 실제 RTU(원격 단말 장치) 가 아닌 허니팟 (Deception Node) 으로 우회 (Rerouting) 시킵니다.
- 모델: 마르코프 의사결정 과정 (MDP) 또는 다중 에이전트 강화 학습 (MARL) 을 사용합니다.
- 에이전트: 라우터가 독립적인 에이전트로 작동하여 패킷 손실률, 인터페이스 사용률, 의심 트래픽 지표 등을 관측하고 라우팅 정책을 동적으로 변경합니다.
호스트 모방 계층 (LLM 기반):
- 목적: 공격자가 허니팟과 상호작용할 때, 실제 DNP3 Outstation 과 구별할 수 없는 현실적인 응답을 생성합니다.
- 기술: LLM 을 사용하여 DNP3 프로토콜 구조, 타이밍 제약, 상태 전이를 준수하는 응답을 생성합니다.
- 개선: RAG(검색 증강 생성) 및 '성격 파일 (Personality File)' 업데이트를 통해 공격자의 행동 패턴에 맞춰 LLM 의 응답 정확도를 지속적으로 향상시킵니다.
피드백 루프:
- LLM 의 응답 품질 (기만 확률 $P_{dec}$ ) 이 RL 에이전트의 보상 (Reward) 함수에 반영됩니다. 즉, 허니팟이 더 현실적일수록 RL 에이전트는 해당 노드로 트래픽을 유도하는 것을 장려받습니다.

B. 보상 함수 설계 (Reward Engineering)

사이버 보상 ( $R_c$ ): 허니팟으로 유도된 패킷 수 증가, 실제 RTU 로 향하는 패킷 수 감소, 네트워크 저하 최소화.
물리적 보상 ( $R_p$ ): 전력망의 부하 (Load) 복구 상태 및 물리적 손상 방지.
결합 보상 ( $R_{cp}$ ): 사이버와 물리적 목표가 모두 달성되었을 때 최대 보상을 받도록 설계하여, 한쪽 목표만 달성했을 때의 보상을 제한합니다.

C. 공격자 모델

공격자는 네트워크에 초기 진입 (Initial Foothold) 한 후, DNP3 Master 와 RTU 사이에서 MITM(Man-in-the-Middle) 역할을 수행하며, 수동 감시, 능동 쿼리, 악성 명령어 주입, 행동 지문 분석 등을 시도한다고 가정합니다.

3. 주요 기여 (Key Contributions)

공식화된 RL 프레임워크: 네트워크 수준 기만을 위한 단일 및 다중 에이전트 RL 프레임워크를 정의하고, 경계 조건이 있는 복합 보상 (Bounded Composite Reward) 을 설계했습니다.
프로토콜 인식형 LLM 허니팟: DNP3 Outstation 을 모방하는 최초의 프로토콜 인식형 LLM 기반 허니팟을 개발했습니다. 이는 ICS 의 타이밍 시맨틱스와 상태 일관성을 유지하며, 기존 IT 프로토콜 (SSH, HTTP) 중심의 LLM 허니팟과 차별화됩니다.
RL-LLM 통합 아키텍처: 네트워크 수준 (라우팅) 과 호스트 수준 (응답 생성) 의 기만 전략을 조율하는 통합 아키텍처를 제시했습니다.
실시간 OT 환경 고려: 계산 오버헤드 분석 및 실시간 배포를 위한 훈련/배포 단계 분리 전략을 제시했습니다.

4. 실험 결과 및 분석 (Results and Analysis)

실험 환경: IEEE 123-bus 배전 계통을 기반으로 한 사이버 - 물리 (Cyber-Physical) 시뮬레이션 환경.
RL 에이전트 성능 비교:
- 단일 에이전트 vs 다중 에이전트 (MARL): MARL(PettingZoo 프레임워크 사용) 이 단일 에이전트보다 더 빠른 수렴과 안정적인 보상을 보였습니다. 특히 트래픽 혼잡 상황에서도 MARL 이 더 우수한 성능을 발휘했습니다.
- 알고리즘 비교: PPO(Proximal Policy Optimization) 와 A2C(Advantage Actor-Critic) 를 비교한 결과, PPO 가 복잡한 환경에서 더 안정적으로 학습되었습니다.
LLM 통합 효과:
- 성능 향상: LLM 기반 호스트 기만을 RL 보상 함수에 통합한 경우 (RL + LLM), 순수 RL(CP) 환경에 비해 공격자가 목표를 달성하기까지 걸린 에피소드 수 (Episode Length) 가 감소하고, 보상 값이 더 빠르게 안정화되었습니다.
- 정확도 지표: LLM 응답의 퍼플렉시티 (Perplexity) 점수가 낮아질수록 (더 현실적일수록) 기만 확률 ( $P_{dec}$ ) 이 증가하여 RL 에이전트의 학습 효율이 향상됨을 확인했습니다.
- 시뮬레이션 결과: LLM 의 성격 파일 (Personality File) 을 반복 업데이트하며 응답을 개선한 결과, 초기에는 비현실적이었던 응답이 실제 RTU 와 유사한 수준으로 발전했습니다.

5. 의의 및 결론 (Significance and Conclusion)

OT 보안의 새로운 패러다임: 이 연구는 기존 IT 중심의 기만 기술을 넘어, 산업 제어 시스템 (ICS) 의 엄격한 프로토콜 제약 (DNP3 등) 을 준수하는 지능형 기만 전략을 제시했습니다.
적응형 방어: 정적 허니팟이 아닌, 공격자의 행동에 실시간으로 적응하며 학습하는 동적 기만 시스템을 구현하여, 공격자의 자원 소모를 극대화하고 방어자의 대응 시간을 확보합니다.
향후 과제: 현재는 시뮬레이션 환경 (OpenAI Gym) 에서 검증되었으나, 향후 NREL 의 사이버 레인지 (Cyber Range) 와 같은 고충실도 (High-fidelity) 실증 환경으로 확장하고, Sim-to-Real 전이 학습 (Transfer Learning) 을 통해 실제 OT 환경에 적용하는 것이 필요하다고 결론지었습니다.

요약: 본 논문은 강화 학습 (RL) 이 네트워크 라우팅을 최적화하고, 대규모 언어 모델 (LLM) 이 장치 수준의 현실적인 응답을 생성하는 상호 보완적 기만 시스템을 제안함으로써, OT 환경의 사이버 공격에 대한 방어 효율성을 획기적으로 높일 수 있음을 입증했습니다.