Agentic AI for Cybersecurity: A Meta-Cognitive Architecture for Governable Autonomy

앤드레이 코주코프와 아르카디 보브쇼버가 집필한 논문 "거버넌 가능한 자율성을 위한 메타인지 아키텍처를 활용한 사이버보안 에이전트 AI"에 대한 상세한 기술 요약은 다음과 같습니다.

1. 문제 제기

이 논문은 진화하는 사이버 위협의 성격과 기존 사이버보안 아키텍처의 한계 사이에 존재하는 치명적인 격차를 지적합니다.

• 적대적 불확실성: 현대 사이버 환경은 불완전하고 모호하며 상충되는 신호들로 특징지어지며, 이는 종종 적대적 AI 에 의해 조작됩니다.
• 기존 시스템의 한계: 전통적인 보안 오케스트레이션, 자동화 및 대응 (SOAR) 시스템은 결정론적 파이프라인과 임계값 기반 트리거에 의존합니다. 이러한 선형 워크플로우는 AI 를 고립된 도구들의 집합으로 취급하여, 불확실성 하에서의 신뢰할 수 있는 의사결정, 설명 가능성의 부재, 그리고 의미 있는 인간-AI 협업을 지원하지 못합니다.
• 인지적 격차: 기존 시스템은 탐지 정확도 최적화에 초점을 맞추지만, 고위험 적대적 시나리오에서 자율적 행동을 거버넌하기 위해 필요한 추론 과정 (가설 형성, 맥락화, 정당화) 을 모델링하지는 못합니다.

2. 방법론: 메타인지 에이전트 프레임워크

저자들은 선형 자동화에서 분산 인지 시스템으로의 패러다임 전환을 제안합니다. 핵심 방법론은 사이버보안 기능을 메타인지 판단 메커니즘에 의해 조정되는 상호작용 에이전트들로 분해하는 것을 포함합니다.

A. 아키텍처 구성 요소

이 프레임워크는 생성형 AI 를 시맨틱 조정 기저로 활용하는 다중 에이전트 시스템 (MAS) 을 사용합니다. 에이전트에는 다음이 포함됩니다:

1. 탐지 에이전트: 원시 텔레메트리를 수집하고 확률적 신호를 표출합니다.
2. 가설 에이전트: 귀납적 추론을 수행하여 관측된 이상 현상에 대한 경쟁적 설명들을 생성하고 수정합니다.
3. 맥락 에이전트: 조직적, 시간적, 위협 인텔리전스 데이터를 통합하여 해석을 지원합니다.
4. 설명 가능성 에이전트: 기계적 추론을 인간 분석가가 해석하고 실행 가능한 형식으로 변환합니다.
5. 거버넌스 에이전트: 허용 가능한 행동에 정책, 윤리 및 규제 제약을 부과합니다.
6. 메타인지 판단 에이전트 (핵심 혁신): 이들은 도메인별 에이전트보다 상위 수준에서 작동합니다. 탐지 정확도를 최적화하는 것이 아니라 의사결정 준비도를 최적화합니다. 이들은 다음을 평가합니다:
   • 불확실성 수준과 에이전트 간 불일치.
   • 맥락화의 완전성.
   • 거버넌스 제약에 대한 설명의 충분성.
   • 출력: 행동을 실행할지, 인간에게 에스컬레이션할지, 더 많은 데이터를 위해 유보할지, 아니면 가설을 정교화할지에 대한 규제적 결정.

B. 운영 논리

• 거버넌 가능한 자율성: 자율성을 극대화하는 대신, 이 시스템은 자율성을 수정 가능한 속성으로 간주합니다. 메타인지 계층은 인식적 조건 (예: 높은 불확실성 $\rightarrow$ 낮은 자율성/에스컬레이션) 에 기반하여 시스템 독립성 수준을 동적으로 보정합니다.
• 시맨틱 조정: 생성형 AI 는 이질적인 에이전트와 인간 분석가 간의 대화를 촉진하여 단순한 데이터 전달이 아닌 시맨틱 협상과 정렬을 가능하게 합니다.

3. 주요 기여

1. 이론적 재정의: 이 논문은 사이버보안 오케스트레이션을 기술적 파이프라인이 아닌 인공 및 인간 에이전트가 관여하는 분산 인지 과정으로 재정의합니다.
2. 1 차 함수로서의 메타인지 판단: 설명 가능성과 거버넌스를 사후 보고에서 의사결정 루프의 능동적이고 구조적인 구성 요소로 격상시킵니다.
3. 의사결정 준비도 메커니즘: '예측 정확도'와 '절차적 정당성'을 구분하며, 언제 그리고 어떤 권한 하에 행동을 취할지를 규제하는 구체적인 메커니즘을 도입합니다.
4. 거버넌 가능한 자율성 모델: 자율성이 신뢰도와 증거의 질에 비례하는 프레임워크로, 책임 있는 AI 원칙과 부합합니다.

4. 경험적 평가 및 결과

이 프레임워크는 적대적 교란 (신호 누락, 상충 증거, 노이즈, 시간적 불일치) 이 추가된 벤치마크 데이터셋 (CICIDS2017 및 NSL-KDD) 을 사용하여 평가되었습니다.

비교 기준선:

1. 결정론적 SOAR 파이프라인 (규칙 기반).
2. 단일 에이전트 ML 시스템 (중앙 집중식 분류기).
3. 제안된 에이전트 오케스트레이션 프레임워크.

주요 발견 사항:

• 노이즈에 대한 강건성: 높은 노이즈 조건 (30% 노이즈) 에서 결정론적 파이프라인의 정확도는 0.93 에서 0.61로 하락했습니다. 단일 에이전트 모델은 0.74로 하락했습니다. 제안된 프레임워크는 0.84 이상의 정확도를 유지했습니다.
• 오탐지 감소: 제안된 프레임워크는 조기 행동을 방지하는 메타인지 게이팅 메커니즘 덕분에 기준선보다 현저히 낮은 오탐지율 (0.06–0.08) 을 달성했습니다.
• 적응형 의사결정 행동: 즉각적인 행동을 선호하는 (~82%) SOAR 기준선과 달리, 제안된 프레임워크는 행동, 에스컬레이션, 유보, 정교화에 걸쳐 의사결정을 분산시켜 인간 분석가의 행동을 모방했습니다.
• 신뢰도 보정: 이 프레임워크는 실제 정확도와 밀접하게 일치하는 잘 보정된 신뢰도 추정을 산출한 반면, 단일 에이전트 모델은 체계적인 과신 경향을 보였습니다.
• 절제 연구: 메타인지 판단이나 불일치 모델링을 제거하면 정확도가 즉시 저하되고 오탐지가 증가하여 각 구성 요소의 필요성이 확인되었습니다.

5. 중요성 및 함의

• 자동화에서 오케스트레이션으로의 전환: 이 논문은 사이버보안의 미래가 더 빠른 탐지 모델이 아니라, 자신의 지식과 불확실성에 대해 추론할 수 있는 시스템에 있다고 주장합니다.
• 책임 있는 자율성: 거버넌스와 설명 가능성을 아키텍처에 내장함으로써, 이 프레임워크는 AI 행동이 투명하고 정당화 가능하며 규제 제약과 일치하도록 보장하는 '반성적 자율성'을 가능하게 합니다.
• 인간-AI 협업: 이 프레임워크는 의사결정 준비도 수준에서 인간 분석가가 개입할 수 있도록 점진적 자율성을 지원하여, 단순한 출력 검토를 넘어 더 효과적인 사회기술적 파트너십을 조성합니다.
• 고위험 환경에서의 책임 있는 AI: 오류가 심각한 결과를 초래하는 적대적 영역에서 책임 있는 AI 원칙 (투명성, 추적 가능성, 인간 통제) 을 구현하기 위한 구체적인 아키텍처 청사진을 제공합니다.

결론적으로, 이 논문은 사이버보안을 메타인지적 다중 에이전트 과정으로 취급하는 것이 불확실하고 적대적인 환경에서 기존 결정론적 파이프라인보다 훨씬 뛰어난 성과를 보이며, 더 회복력 있고 해석 가능하며 거버넌 가능한 AI 기반 방어 시스템으로 나아가는 길을 제시함을 입증합니다.