Multi-Agent LLM Governance for Safe Two-Timescale Reinforcement Learning in SDN-IoT Defense

1. 연구 배경 및 문제 정의 (Problem)

소프트웨어 정의 네트워킹 (SDN) 기반 IoT 환경의 보안 위협과 제어 불안정성

• 배경: IoT 장치의 급증으로 인해 SDN 이 중앙 집중식 제어와 프로그래밍 가능한 포워딩을 통해 IoT 네트워크 보안을 강화하는 데 널리 사용되고 있습니다.
• 핵심 문제: SDN-IoT 방어는 단순한 트래픽 분류가 아닌 폐루프 제어 (Closed-loop Control) 문제입니다.
  • 공격 완화 조치 (예: 패킷 드롭, 속도 제한) 는 컨트롤러의 워크로드, 큐 동역학, 규칙 설치 지연에 직접적인 영향을 미칩니다.
  • 공격적인 완화 조치는 컨트롤러 과부하를 유발하여 서비스 품질 (QoS) 을 저하시키고 시스템적 위험을 증폭시킬 수 있습니다.
• 기존 접근법의 한계:
  • 기존 학습 기반 방법론은 탐지 정확도 (Detection Accuracy) 에만 집중하여 컨트롤러의 결합 (Coupling) 을 모델링하지 못했습니다.
  • 강화학습 (RL) 기반 시스템은 단기 목표만 최적화하여 복잡한 트래픽 하에서 불안정한 동작을 보일 수 있으며, 정책의 진화가 구조화되지 않고 감사 (Audit) 가 불가능합니다.
  • 시스템 불안정 발생 시 모델 재학습이나 수동 규칙 조정에 의존하여 비용이 많이 들고 확장성이 떨어집니다.

2. 제안된 방법론 (Methodology)

자가 반영형 2-타임스케일 (Two-Timescale) 제어 아키텍처
이 논문은 빠른 완화 (Fast Mitigation) 와 느린 정책 거버넌스 (Slow Policy Governance) 를 분리한 새로운 아키텍처를 제안합니다.

A. 2-타임스케일 구조

1. 빠른 타임스케일 (Fast Timescale): 분산형 RL 에이전트
   • 각 스위치마다 독립적인 PPO (Proximal Policy Optimization) 에이전트가 배치됩니다.
   • 실시간 테lemetry(대기열, 트래픽 부하 등) 를 기반으로 즉각적인 완화 조치 (RATE_LIMIT, DROP_FLOW 등) 를 수행합니다.
   • 안전 제약 (Safety Constraints): 컨트롤러의 상태 (백로그, 지연) 를 고려하여 행동을 마스킹 (Masking) 하거나 제한합니다.
2. 느린 타임스케일 (Slow Timescale): 멀티 에이전트 LLM 거버넌스 엔진
   • 글로벌 정책 헌법 (Global Policy Constitution, $\Pi$): 시스템의 안전 제약, 허용 가능한 행동 마스크, 컨트롤러 인지 임계값, 보상 우선순위를 인코딩하는 명시적 구조체입니다.
   • LLM 에이전트 역할:
     • Critic: 시스템 궤적 (Trajectory) 을 분석하여 실패 모드 (예: 컨트롤러 포화) 를 진단하고 수정안을 제안합니다.
     • Compiler: 제안된 수정안을 기계가 파싱 가능한 구조화된 델타 ($\Delta\Pi$) 로 변환합니다.
     • Red-Team: 제안된 정책이 새로운 공격 시나리오에서 취약점이 없는지 테스트합니다.
     • Judge: 안전성 검증과 비퇴행 (Non-regression) 조건을 만족하는지 최종 승인 여부를 결정합니다.
   • 핵심 메커니즘: LLM 은 RL 모델의 가중치 ($\theta$) 를 직접 수정하지 않고, 정책 헌법 $\Pi$ 만을 수정합니다. 이를 통해 학습된 행동은 유지하면서 안전 구조만 진화시킵니다.

B. 위험 민감형 다목적 보상 (Risk-Sensitive Multi-Objective Reward)

• 목표 함수: 평균 보상 최대화가 아닌 조건부 가치 위험 (CVaR) 을 최소화하여 최악의 시나리오 (컨트롤러 붕괴, 지속적 큐 폭발) 를 방지합니다.
• 보상 구성: 보안 효과성, 지연 시간 (QoS), 컨트롤러 부하, 운영 비용을 균형 있게 고려합니다.
• 지연된 작동 모델링: 컨트롤러의 처리 지연과 규칙 설치 지연을 명시적으로 모델링하여, 완화 조치가 즉각적인 효과가 없음을 인식하게 합니다.

3. 주요 기여 (Key Contributions)

1. 자가 반영형 2-타임스케일 아키텍처: 분산형 RL 을 통한 빠른 대응과 LLM 기반 거버넌스를 통한 느린 정책 진화를 결합하여, 국지적 반응성과 전역적 안정성을 동시에 확보했습니다.
2. 감사 가능한 정책 헌법 및 구조화된 LLM 업데이트: RL 파라미터 수정 대신 명시적인 정책 헌법 ($\Pi$) 을 편집합니다. Critic-Compiler-RedTeam-Judge 파이프라인을 통해 구조화된 델타 ($\Delta\Pi$) 를 생성하고, 엄격한 검증 (스트레스 테스트, 비퇴행 테스트) 을 거쳐 배포함으로써 감사 가능성 (Auditability) 과 재현성을 보장합니다.
3. 현실적인 SDN 동역학을 반영한 위험 민감형 방어: 컨트롤러 백로그, 지연된 규칙 활성화, 플로우 테이블 압력 등을 명시적으로 모델링하여, 완화 조치가 미래 네트워크 상태에 미치는 영향을 고려한 최적화를 수행합니다.

4. 실험 결과 (Results)

실험은 이질적인 IoT 트래픽과 적대적 스트레스 하에서 폐루프 시스템 연구로 수행되었습니다.

• 성능 향상:
  • 제안된 방법은 제약 없는 PPO 대비 Macro-F1 을 9.1%, 정적 임계값 기반 완화 대비 15.4% 향상시켰습니다.
  • 최악의 경우 에이전트 성능 저하 (Worst-case degradation) 는 36.8% 감소했습니다.
• 안정성 및 QoS:
  • 컨트롤러 백로그 피크는 42.7% 감소했습니다.
  • 고강도 공격 중 RTT p95(95 백분위수 지연) 인플레이션은 5.8% 미만으로 유지되었습니다.
  • 모든 독립 실행에서 진동 불안정성 (Oscillatory instability) 이나 컨트롤러 붕괴가 관찰되지 않았습니다.
• 거버넌스 수렴:
  • 거버넌스 주도 정책 진화는 5 회 반성 주기 (Reflection cycles) 내에 수렴했습니다.
  • RL 파라미터를 재학습하지 않고도 치명적인 과부하 사건 발생률을 11.6% 에서 2.3% 로 감소시켰습니다.
• 안전성 검증:
  • 제안된 정책 업데이트 중 44% 만이 승인되었으며, 승인된 업데이트는 탐지율 향상과 지연 시간 증가 사이의 균형을 잘 유지했습니다. 거절된 업데이트는 대부분 안전성 위반이나 성능 퇴행이 확인되었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: SDN-IoT 보안을 단순한 '탐지 및 대응'에서 '정책 관리 (Policy Management)' 문제로 재정의했습니다.
• 안전한 적응형 학습: RL 에이전트가 학습하는 동안 시스템이 붕괴되지 않도록, LLM 이 안전 구조 (Constitution) 를 점진적으로 조정함으로써 안전 실패 (Fail-safe) 와 감사 가능한 진화를 실현했습니다.
• 실용적 가치: 대규모 IoT 네트워크에서 컨트롤러 과부하로 인한 시스템적 위험을 줄이면서도, 적응형 방어 능력을 유지할 수 있는 실용적인 솔루션을 제시했습니다.
• 미래 지향성: 이 연구는 AI 기반 사이버 방어 시스템이 단순히 성능을 극대화하는 것을 넘어, 운영상의 제약과 안전성을 고려한 구조적 거버넌스를 어떻게 통합할 수 있는지에 대한 중요한 통찰을 제공합니다.

이 논문은 분산형 강화학습의 민첩성과 LLM 기반 거버넌스의 통제력을 결합하여, 복잡하고 동적인 SDN-IoT 환경에서 안전하고 견고한 사이버 방어를 가능하게 하는 획기적인 접근법을 제시했습니다.