In-Context Autonomous Network Incident Response: An End-to-End Large Language Model Agent Approach

1. 문제 정의 (Problem Definition)

사이버 공격의 급속한 진화에 따라, 변화하는 위협에 자율적으로 학습하고 적응할 수 있는 사고 대응 (Incident Response, IR) 시스템이 요구됩니다. 기존 연구들은 주로 **강화 학습 (Reinforcement Learning, RL)**을 활용하여 사고 시뮬레이션을 통해 대응 전략을 학습하는 방식을 취해 왔습니다. 그러나 이 방식에는 다음과 같은 한계가 존재합니다:

• 수동 모델링의 필요성: 시뮬레이터 구축을 위해 복잡한 수동 모델링이 필요하며, 이는 시스템 로그와 경고 (Alert) 에서 중요한 의미 (Semantics) 를 추출하는 과정을 억제합니다.
• 구조화된 데이터의 한계: 로그와 경고를 간소화된 수치 데이터로 변환하는 과정에서 유용한 정보가 손실됩니다.

또한, 최근 등장한 대형 언어 모델 (LLM) 기반 에이전트는 텍스트 처리 능력이 뛰어나지만, 일반적인 프롬프트 엔지니어링에 의존할 경우 다음과 같은 문제를 겪습니다:

• 할루시네이션 (Hallucination): 그럴듯하지만 부적절한 대응 행동을 생성함.
• 장기적 컨텍스트 손실: 긴 시간의 대응 과정에서 이전 맥락을 잊어버려 일관성 없는 전략을 수립함.

2. 제안 방법론 (Methodology)

저자들은 RL 의 계획 원리를 부분 관측 마르코프 결정 과정 (POMDP) 에 적용하여, 140 억 파라미터 (14B) 의 경량화된 LLM에 통합된 엔드 - 투 - 엔드 에이전트 솔루션을 제안합니다. 이 에이전트는 **지각 (Perception), 추론 (Reasoning), 계획 (Planning), 행동 (Action)**의 네 가지 기능을 통합하며, 오프라인 파인튜닝과 온라인 컨텍스트 적응을 통해 작동합니다.

핵심 구성 요소

1. 지각 (Perception):

   • 시스템 로그와 보안 경고를 처리하여 네트워크의 현재 복구 상태 (Recovery State) 를 추정합니다.
   • 복구 상태는 6 가지 차원의 불리언 벡터로 정의됩니다: (1) 격리 (Containment), (2) 평가 (Assessment), (3) 증거 보존 (Preservation), (4) 추방 (Eviction), (5) 강화 (Hardening), (6) 복구 (Restoration).
   • **LoRA (Low-Rank Adaptation)**를 사용하여 50,000 개의 지시 - 답변 쌍으로 파인튜닝하여 정확한 상태 추정을 학습합니다.

2. 추론 (Reasoning):

   • 내부 '세계 모델 (World Model)'을 구축하여 공격 전술 (Tactics) 을 추론하고 미래의 경고 (Alert) 를 예측합니다.
   • MITRE ATT&CK 프레임워크를 기반으로 공격 전술을 가정하고, 이에 따른 시스템 상태 변화를 시뮬레이션합니다.

3. 계획 (Planning):

   • 온라인 컨jectural Lookahead Planning (가상 선행 계획): RL 의 몬테카를로 트리 서치 (MCTS) 개념을 차용합니다.
   • 현재 상태에서 N 개의 후보 행동을 생성하고, 각각에 대해 M 개의 복구 경로 (Trajectory) 를 시뮬레이션합니다.
   • 시뮬레이션된 경로들의 누적 비용 (시간) 을 계산하여 (Q 함수), 가장 효율적인 행동을 선택합니다.
   • 이 과정에서 할루시네이션된 행동은 시뮬레이션 단계에서 필터링됩니다.

4. 행동 (Action) 및 컨텍스트 적응 (In-Context Adaptation):

   • 선택된 행동을 실행한 후, 실제 발생한 경고와 예측된 경고를 비교합니다.
   • 차이점 분석: 실제 경고와 예측이 크게 다르다면, 이는 공격 전술에 대한 가정이 틀렸음을 의미합니다.
   • 보정 (Calibration): Frontier LLM (예: GPT-5.2) 의 API 를 활용하거나 에이전트 자체적으로 외부 위협 인텔리전스를 참조하여 공격 전술 가설을 수정 (Calibrate) 하고, 이를 바탕으로 계획을 재수립합니다. 이는 장기적인 대응에서 일관성을 유지하게 합니다.

3. 주요 기여 (Key Contributions)

• 모델링 없는 엔드 - 투 - 엔드 솔루션: RL 기반 접근법의 수동 모델링 필요성을 제거하고, 원시 로그와 경고를 직접 처리하여 대응 행동 시퀀스를 생성합니다.
• 경량화된 단일 에이전트: 14B 파라미터 규모의 경량 LLM 하나로 지각, 추론, 계획, 행동을 모두 수행하여 상용 하드웨어 (Commodity Hardware) 에서 실행 가능합니다.
• 할루시네이션 및 컨텍스트 손실 해결: 오프라인 파인튜닝된 추론 능력과 온라인 계획 (Lookahead) 을 결합하여 할루시네이션을 필터링하고, 실시간 경고 비교를 통한 컨텍스트 적응으로 장기 계획의 일관성을 보장합니다.
• POMDP 기반의 LLM 에이전트 설계: 부분 관측 환경에서의 불완전한 정보를 처리하기 위해 RL 의 계획 원리를 LLM 워크플로우에 성공적으로 통합했습니다.

4. 실험 결과 (Results)

저자들은 CTU-Malware-2014, CIC-IDS-2017 등 4 가지 다양한 실제 사고 로그 데이터셋을 사용하여 모델을 평가했습니다.

• 성능 비교: 제안된 에이전트는 DeepSeek-R1, Gemini 2.5 Pro, OpenAI O3 와 같은 최첨단 (Frontier) LLM 들과 비교되었습니다.
  • 복구 시간: 제안된 에이전트는 기존 최첨단 모델들보다 약 23% 빠르게 시스템을 복구하는 대응 계획을 생성했습니다.
  • 정확도: 상태 추정 (Perception) 및 경고 예측 (Reasoning) 에서 높은 F1 점수 (0.95 이상) 를 기록하여 정확한 상황 인식을 입증했습니다.
• Ablation Study:
  • **파인튜닝 (지각/추론)**과 계획 (Planning) 기능이 전체 성능에 가장 결정적인 역할을 했습니다.
  • **컨텍스트 적응 (Context Adaptation)**은 성능을 추가로 향상시켰으나, 짧은 테스트 시나리오 (평균 5 단계 행동) 에서는 그 영향력이 상대적으로 작았으며, 더 긴 시퀀스에서는 더 큰 효과를 발휘할 것으로 예상됩니다.
• 실패율: 모든 모델의 실패율은 유사했으나, 제안된 모델이 성공적인 복구 시나리오에서 가장 효율적이었습니다.

5. 의의 및 한계 (Significance & Limitations)

• 의의:
  • 사이버 사고 대응 분야에서 자동화 및 지능화의 새로운 패러다임을 제시합니다.
  • 복잡한 시뮬레이션 모델링 없이도 LLM 의 사전 지식과 컨텍스트 학습 능력을 활용해 신속하고 정확한 대응이 가능함을 증명했습니다.
  • 상용 하드웨어에서 실행 가능한 경량 모델을 제안하여 실제 배포 가능성을 높였습니다.
• 한계 및 향후 과제:
  • 확장성 (Scalability): 몬테카를로 트리 서치 기반의 시뮬레이션으로 인해 계산 비용이 높습니다. 복잡한 네트워크 환경이나 긴 대응 시퀀스에서는 생성 시간이 길어질 수 있습니다.
  • 평가 지표: 현재 평가는 이산적인 시간 단위를 사용했으나, 실제 운영 환경에 더 부합하는 정교한 시간 비용 및 행동 평가 기준이 필요합니다.

결론

이 논문은 LLM 의 언어 이해 능력과 RL 의 계획 능력을 결합하여, 수동 모델링 없이도 자율적으로 사이버 사고에 대응하고 적응하는 에이전트를 성공적으로 구현했습니다. 이는 기존 강화 학습 기반 접근법의 한계를 극복하고, 실제 사이버 보안 환경에 적용 가능한 효율적인 사고 대응 솔루션을 제시한다는 점에서 중요한 의의를 가집니다.