A Sociotechnical, Practitioner-Centered Approach to Technology Adoption in Cybersecurity Operations: An LLM Case

논문 요약: 사이버 보안 운영 (SOC) 을 위한 LLM 도입의 사회기술적, 실무자 중심 접근

이 연구는 보안 운영 센터 (SOC) 에서 대규모 언어 모델 (LLM) 기반 도구의 도입이 왜 지연되어 왔는지, 그리고 어떻게 실무자와의 긴밀한 협업을 통해 이를 성공적으로 통합할 수 있는지를 탐구합니다. 연구진은 6 개월 동안 한 다국적 기업의 SOC 에 박사 과정 연구원 2 명을 파견하여 민족지학적 현장 연구 (Ethnographic Fieldwork) 를 수행하고, 분석가들과 직접 협력하여 LLM 동반자 (Companion) 도구를 공동 개발 (Co-creation) 했습니다.

1. 문제 정의 (Problem)

• 신뢰와 신뢰성 부족: SOC 는 새로운 기술, 특히 LLM 에 대해 "환각 (Hallucination)", 불일치한 출력, 그리고 기존 워크플로우 교란에 대한 우려로 인해 도입을 꺼려왔습니다.
• 학문과 실무의 괴리: 기존 연구는 종종 분석가의 경험적 지식과 반복적 추론 과정을 고려하지 않은 채 도구를 설계하여, 실제 운영 환경에서는 채택이 제한되거나 포기되는 결과를 초래했습니다.
• 워크플로우 비효율: SOC 분석가들은 반복적인 작업, 단편화된 데이터, 여러 플랫폼 간의 데이터 통합, 복잡한 쿼리 작성, 그리고 근본 원인 분석 (RCA) 과 같은 시간 소모적인 업무에 직면해 있습니다.

2. 방법론 (Methodology)

이 연구는 노이카 (Nonaka) 의 SECI 모델 (사회화, 외현화, 결합, 내면화) 을 사이버 보안 현장 작업에 적용한 도구 지향적 SECI (Tool-Oriented SECI) 프레임워크를 기반으로 합니다.

• 참여 관찰 및 현장 연구: 연구진 2 명이 SOC 에 6 개월간 상주하며 분석가들의 업무, 도구 사용 패턴, 의사소통 방식을 관찰했습니다.
• SECI 기반 개발 프로세스:
  1. 사회화 (Socialization): 연구진이 SOC 팀에 합류하여 암묵적 지식 (Tacit Knowledge) 을 공유하고 신뢰를 구축했습니다.
  2. 외현화 (Externalization): 분석가들의 워크플로우, 통증 지점 (Pain points), 그리고 암묵적인 요구사항을 명시적 지식 (Explicit Knowledge) 으로 변환했습니다.
  3. 결합 (Combination): 수집된 통찰을 바탕으로 LLM 기반 도구 (RCA, 쿼리 빌더, 자산 발견 도구 등) 를 공동 개발했습니다.
  4. 내면화 (Internalization): 개발된 도구를 배포하고 분석가들의 피드백을 통해 반복적으로 개선하여 실제 업무 흐름에 통합했습니다.
• 기술적 스택:
  • RAG (검색 증강 생성): 조직 내부의 플레이북, 쿼리 예시, RCA 보고서 등을 벡터 스토어에 저장하여 LLM 이 조직 특화 컨텍스트를 기반으로 답변하도록 구성했습니다.
  • 에이전트 아키텍처: ReAct(Reasoning and Acting) 체인을 사용하여 LLM 이 적절한 도구 (자산 발견, 쿼리 빌더, MCP 서버 등) 를 호출하도록 설계했습니다.
  • 모델: Mistral 7B, Llama 3.2, Qwen 등 다양한 모델을 비교 평가하여 조직의 제한된 GPU 환경 (16GB NVIDIA A10) 에서 최적의 성능을 보이는 모델을 선정했습니다.

3. 개발된 주요 도구 (Key Tools)

분석가들의 요구에 따라 세 가지 주요 도구가 개발되었습니다.

1. 근본 원인 분석 (RCA) 도구:
   • 기능: JSON/YAML 또는 원시 로그와 같은 이질적인 사고 아티팩트를 구조화된 SOC 보고서로 변환합니다.
   • 특징: RAG 를 통해 조직의 플레이북과 정책을 참조하며, 환각을 방지하기 위해 "제공된 데이터에 없음"으로 명시하도록 프롬프트를 제한했습니다.
2. 쿼리 빌더 (Query Builder):
   • 기능: SIEM(보안 정보 및 이벤트 관리) 을 위한 복잡한 쿼리 문장을 생성합니다.
   • 특징: 분석가들이 직접 작성한 쿼리 예시를 벡터 스토어에 축적하여, 시간이 지남에 따라 공유된 경험 기반의 지식 베이스가 성장하도록 설계했습니다.
3. 자산 발견 (Asset Discovery) 도구:
   • 기능: 보안 벤더 플랫폼에 정상적으로 보고되지 않는 자산 (Blindspots) 을 식별하고, 해당 자산 소유자에게 이메일을 자동 초안 작성합니다.
   • 특징: 내부 API 와 MCP(Model Context Protocol) 를 통해 데이터를 수집하고 통합합니다.

4. 주요 결과 및 발견 (Results & Findings)

• 점진적 신뢰 구축: 초기에는 도구가 워크플로우를 방해하고 신뢰할 수 없다는 비판을 받았으나, 분석가들의 피드백을 반영하여 반복적으로 개선 (Iterative Refinement) 한 결과, 도구에 대한 신뢰가 형성되고 지속적인 채택으로 이어졌습니다.
• 실무자 중심의 설계: 벤더 주도형 도구가 아닌, 분석가들이 직접 요구사항을 정의하고 개발 과정에 참여함으로써 도구의 유용성과 수용성이 크게 향상되었습니다.
• 신뢰 보정된 내면화 (Trust-Calibrated Internalization): 분석가들은 LLM 의 출력을 즉시 신뢰하기보다, 해석 가능성 (Interpretability), 신뢰성 (Reliability), 워크플로우 적합성 (Workflow Fit) 을 기준으로 검증한 후 업무에 통합했습니다.

5. 이론적 기여 및 확장 (Contributions & Significance)

이 연구는 기존 Tool-Oriented SECI 모델을 LLM-Oriented SECI 프레임워크로 확장했습니다.

• 생성적 재조합 (Generative Recombination): 기존 도구가 명시적 지식을 저장하고 실행하는 데 그쳤다면, LLM 은 RAG 를 통해 저장된 명시적 아티팩트 (로그, 문서, 예시) 를 재조합하여 새로운 명시적 아티팩트를 생성합니다. 이는 도구가 단순한 실행기가 아닌 '공동 생산자'가 됨을 의미합니다.
• 신뢰 보정된 내면화: LLM 에 의해 생성된 명시적 지식은 분석가의 검증과 인간 판단을 거친 후에야 암묵적 지식으로 내면화됩니다. 이는 AI 도입이 단순한 자동화가 아니라, 인간과 AI 간의 신뢰를 기반으로 한 역동적인 지식 변환 과정임을 보여줍니다.
• 사회기술적 접근의 중요성: 기술적 성능뿐만 아니라 조직 문화, 신뢰, 워크플로우 정렬을 고려한 사회기술적 공동 창작 (Co-creation) 이 사이버 보안 분야에서 AI 도입의 성공을 결정짓는 핵심 요소임을 입증했습니다.

6. 결론

이 논문은 LLM 기반 도구가 SOC 에 성공적으로 통합되기 위해서는 기술적 우수성뿐만 아니라, 실무자와의 지속적인 협력, 신뢰 구축, 그리고 워크플로우에 맞는 점진적인 통합 전략이 필수적임을 강조합니다. 연구진은 이를 통해 사이버 보안 운영을 위한 새로운 패러다임, 즉 실무자 중심의 사회기술적 공동 창작 모델을 제시했습니다.