Like a Hammer, It Can Build, It Can Break: Large Language Model Uses, Perceptions, and Adoption in Cybersecurity Operations on Reddit

이 논문은 Reddit 의 사이버보안 포럼 데이터를 분석하여 보안 실무자들이 LLM 을 생산성 향상 도구로 활용하면서도 신뢰성 부족과 보안 위험으로 인해 자율적 사용을 제한하는 복잡한 양상을 규명하고, 이를 위한 안전한 도입 방안을 제시합니다.

핵심

해커들의 새로운 조력자: "해머" 같은 AI 가 보안 세계를 어떻게 바꾸고 있는가?

이 논문은 사이버 보안 전문가들 (SOC 운영자) 이 Reddit 같은 온라인 커뮤니티에서 **거대 언어 모델 (LLM, 예: ChatGPT 등)**을 어떻게 사용하고 있는지, 그리고 그들에 대해 무엇을 생각하는지 조사한 연구입니다.

제목처럼 이 AI 는 **"해머"**와 같습니다. 잘 쓰면 건물을 지어주지만 (생산성 향상), 잘못 쓰면 건물을 무너뜨릴 수도 (보안 위협) 있기 때문입니다.

이 연구의 핵심 내용을 쉬운 비유와 함께 설명해 드리겠습니다.

---

1. 연구 배경: 왜 이 연구를 했을까요?

보안 센터 (SOC) 는 마치 24 시간 돌아가는 감시실과 같습니다. 매일 수천 개의 경보 (알림) 가 쏟아지는데, 전문가들은 이 중 진짜 해킹인지, 그냥 실수인지 (거짓 경보) 를 구별하느라 밤을 새웁니다. 사람들은 너무 지쳐서 "화재 경보가 너무 자주 울려서 진짜 불이 났을 때 무시하게 될까 봐 걱정"합니다.

이때 등장한 것이 **AI(LLM)**입니다. "AI 가 경보를 대신 봐주고, 해킹 수사를 도와주면 얼마나 좋을까?"라는 기대가 생겼죠. 하지만 실제로 전문가들은 이 AI 를 어떻게 쓰고 있을까요? 이 연구는 그 현실을 파악하기 위해 보안 전문가들이 모여 있는 온라인 커뮤니티의 대화 892 건을 분석했습니다.

2. 주요 발견: 전문가들은 무엇을 하고 있을까?

① "전문가용 도구"보다 "일반용 도구"를 더 많이 쓴다

• 비유: 보안 전문가들은 전용으로 만든 고급 보안용 드릴보다는, 누구나 쓰는 **일반용 전동 드릴 (ChatGPT 등)**을 더 많이 사용합니다.
• 사실: 연구 결과, 보안 전용 AI(예: Microsoft Security Copilot) 보다는 범용 AI 가 훨씬 더 자주 언급되었습니다. 보안 전용 도구들은 아직 생태계가 작고 잘 알려지지 않았습니다.

② 어디에 쓰나? "위험한 일"보다 "안전한 일"에 먼저 쓴다

• 비유: AI 를 새로운 인턴으로 고용했다고 상상해 보세요.
  • 잘하는 일: 서류 정리, 보고서 작성, 간단한 코드 짜기, 복잡한 로그 해석하기. (이건 인턴에게 시켜도 괜찮죠.)
  • 못하는 일: 직접 해커를 막거나, 시스템을 끄거나, 중요한 결정을 내리는 것. (이건 인턴에게 맡기면 망할 수 있죠.)
• 사실: 전문가들은 AI 를 보고서 작성이나 스크립트 작성 같은 생산성 향상 용도로는 적극 쓰지만, **실제 해킹 대응 (Incident Response)**이나 경보 차단 같은 중요한 결정은 AI 가 내리게 하지 않습니다. "AI 가 먼저 생각해보고, 내가 최종 확인한다"는 방식입니다.

③ AI 의 자율성은 "제한적"이다

• 비유: AI 는 완벽한 조수가 아니라 잘못된 정보를 말할 수 있는 유능한 조수입니다.
• 사실: 전문가들은 AI 가 **환각 (Hallucination, 없는 사실을 있는 것처럼 말함)**을 할까 봐 매우 두려워합니다. 보안 세계에서는 "틀린 정보"가 치명적이기 때문입니다. 그래서 AI 가 "이건 해킹이야!"라고 해도, 인간이 다시 한 번 확인하지 않고는 절대 믿지 않습니다.

3. 전문가들의 감정: "좋지만, 아직 믿을 수는 없다"

전문가들의 감정은 기대와 불안이 섞여 있습니다.

• 좋아하는 점 (기대):

  • 속도: AI 가 로그를 분석하는 속도는 인간보다 훨씬 빠릅니다.
  • 이해: 복잡한 기술 용어를 "5 살 아이도 이해할 수 있게" 설명해 줍니다.
  • 피로도 감소: 단순 반복 업무를 AI 가 대신해주니, 인간은 더 중요한 일에 집중할 수 있습니다.

• 싫어하는 점 (불안):

  • 신뢰성 부족: AI 가 가끔 엉뚱한 소리를 해서, 다시 확인하는 데 시간이 더 걸릴 수도 있습니다.
  • 보안 위험: 회사 기밀 정보를 AI 에게 입력하면, 그 정보가 유출될까 봐 무섭습니다. (예: "우리 회사 비밀번호를 AI 에게 물어보지 마세요!")
  • 비용: AI 를 많이 쓰면 비용이 많이 듭니다. "AI 에게 돈을 쓰는 게, 직원 한 명을 더 뽑는 것보다 비싸다"는 의견도 있습니다.

4. 미래의 우려: "인턴이 해고될까?"

가장 무서운 질문은 **"AI 가 우리 일자리를 빼앗을까?"**입니다.

• 현실: AI 가 초급 보안 전문가 (L1) 들이 하던 단순한 경보 확인 업무를 대신하게 되면, 초급 전문가가 성장할 기회를 잃게 됩니다.
• 비유: 요리사가 "요리 연습"을 안 하고, AI 가 요리를 다 해준다면, 나중에 AI 가 고장 났을 때 직접 요리를 할 수 있는 요리사는 더 이상 나오지 않게 됩니다.
• 결론: 연구진은 "AI 를 단순히 인턴처럼 쓰지 말고, 인간과 AI 가 함께 배우는 파트너로 키워야 한다"고 조언합니다. 초급 전문가들은 AI 가 해낸 일을 검토하고 가르치는 '감독자' 역할을 해야 하는데, 이를 위해선 여전히 인간이 직접 해킹 수사를 경험해 봐야 합니다.

5. 요약: 결론은 무엇인가?

이 논문은 **"AI 는 보안 세계의 강력한 해머 (도구) 이지만, 아직은 인간이 손잡이를 꼭 쥐고 있어야 한다"**고 말합니다.

1. 사용: AI 는 문서 작성, 코드 생성 등 위험하지 않은 업무에 많이 쓰이고 있습니다.
2. 신뢰: AI 가 내린 결론은 반드시 인간이 다시 확인해야 합니다. (완전 자동화는 아직 이르다.)
3. 위험: AI 가 거짓말을 하거나, 기밀 정보를 유출할 수 있다는 불안이 여전히 큽니다.
4. 미래: AI 가 초급 업무를 대신하면, 인간 전문가를 키우는 과정이 사라질 수 있어 새로운 교육 방식이 필요합니다.

한 줄 요약:

"AI 는 보안 전문가에게 아주 유용한 '비서'가 될 수 있지만, 아직은 '사장님'이 될 수 없습니다. 인간이 항상 감시하고 통제해야만, 이 강력한 도구가 건물을 짓는 데 쓰이지 무너뜨리는 데 쓰이지 않을 것입니다."

기술 요약

논문 개요

이 연구는 사이버보안 운영 센터 (SOC) 에서 대규모 언어 모델 (LLM) 이 어떻게 사용되고, 인식되며, 채택되고 있는지에 대한 실증적 이해의 공백을 메우기 위해 수행되었습니다. 벤더들이 자율형 AI 솔루션을 마케팅하고 있지만, 실제 보안 실무자들의 경험과 인식을 다각도로 분석한 연구는 부족했습니다. 저자들은 Reddit 의 사이버보안 관련 포럼에서 수집된 방대한 데이터를 통해 LLM 의 실제 활용 양상, 장단점, 그리고 미래 전망을 분석했습니다.

1. 연구 문제 (Problem)

• SOC 의 과부하: 현대 SOC 는 매일 수천 개의 경보 (alert) 를 처리하며, 잘못된 경보 (false positives) 로 인한 피로, 스트레스, 번아웃이 심각한 상태입니다.
• LLM 의 잠재력과 불확실성: LLM 은 생성적 추론 능력을 통해 SOC 워크플로우를 보완할 수 있는 잠재력이 있지만, 실제 현장에서 어떻게 활용되는지, 실무자들이 이를 어떻게 신뢰하고 수용하는지에 대한 체계적인 연구가 부족합니다.
• 기존 연구의 한계: 기존 연구는 특정 도구나 작업에 국한되거나 기술적 측면에 치중하여, 다양한 SOC 사용 사례와 실무자들의 광범위한 인식 (수용, 장벽, 기대 효과) 을 포괄적으로 다루지 못했습니다.

2. 연구 방법론 (Methodology)

• 데이터 수집: 2022 년 12 월부터 2025 년 9 월까지 Reddit 의 세 가지 주요 사이버보안 포럼 (r/cybersecurity, r/Information_Security, r/ciso) 에서 수집된 892 개의 관련 게시물을 분석 대상으로 삼았습니다.
• 혼합 방법론 (Mixed-Methods Analysis):
  • 정성적 분석: 포스트를 코딩 (coding) 하여 주제, 도구, 사용 사례, 인식 (장단점) 등을 추출했습니다. 코딩 간 신뢰도 (Inter-rater reliability, Krippendorff's Alpha) 를 확보하기 위해 다수의 코더가 참여하고 코딩 가이드라인을 정립했습니다.
  • 정량적 분석: 도구 사용 빈도, 사용 사례의 분포, 그리고 요인별 (신뢰성, 비용 등) 감정 분석을 위해 카이제곱 검정 (Chi-square test) 및 비율 동질성 검정 (Two-sample test for equality of proportions) 을 수행했습니다.
• 윤리적 고려: 공개된 데이터를 사용했으나, 사용자 익명화 및 개인정보 보호를 위해 모든 식별 정보를 제거하고 IRB(기관생명윤리위원회) 승인을 받았습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 사용 도구 및 사용 사례 (Tools & Use Cases)

• 범용 LLM 의 우세: 보안 특화 상용 도구 (Microsoft Security Copilot 등) 보다 ChatGPT, Microsoft Copilot과 같은 범용 LLM 이 훨씬 더 자주 언급되고 실제로 사용되었습니다. 보안 특화 도구는 생태계가 파편화되어 있어 인지도가 낮았습니다.
• 주요 사용 사례:
  1. 사고 대응 및 트라이지 (Triage & IR): 가장 빈번하게 논의된 영역으로, 경보 분석, 상관관계 파악, 대응 계획 수립에 활용됩니다.
  2. 스크립팅 및 쿼리 지원: Python, PowerShell 스크립트 생성 및 SIEM 쿼리 (KQL, SQL) 작성/수정.
  3. 보고서 작성 및 문서화: 기술적 내용을 비즈니스 언어로 변환하거나 요약.
  4. 지식 지원: 복잡한 기술 개념 설명 및 정보 검색.
• 자율성 수준: LLM 은 주로 의사결정 지원 도구로 사용되며, 인간이 개입하는 (Human-in-the-loop) 트라이지 파이프라인에는 일부 통합되지만, **완전 자율적인 대응 (Autonomous Mitigation)**은 매우 드뭅니다.

나. 인식 및 평가 (Perceptions)

실무자들은 LLM 에 대해 **능력 (Capabilities)**과 효율성 (Efficiency) 측면에서는 긍정적이지만, 신뢰성 (Reliability), 보안/프라이버시, 자율성, 비용 측면에서는 심각한 우려를 표명했습니다.

• 긍정적 측면:
  • 경보의 맥락화 (Contextualization) 및 저가시성 신호 탐지 능력 향상.
  • 분석 시간 단축 (예: 트라이지 시간 45 분 → 2 분).
  • 복잡한 로그 데이터를 인간이 읽기 쉬운 형태로 요약 및 설명.
• 부정적 측면 (주요 장벽):
  • 할루시네이션 (Hallucination) 및 비결정성: 잘못된 정보를 확신 있게 생성하거나, 동일한 입력에 대해 다른 출력을 내는 비결정적 행동이 보안 환경에서는 치명적입니다.
  • 검증 오버헤드: LLM 의 출력을 검증하고 수정하는 데 드는 시간이 실제 사고 처리 시간을 상쇄할 수 있습니다.
  • 보안 및 프라이버시 리스크: 민감한 조직 데이터를 공개 LLM 에 입력할 경우 유출 위험이 있으며, LLM 도구 자체가 새로운 공격 표면 (Attack Surface) 이 될 수 있습니다.
  • 비용 문제: 대규모 데이터 처리를 위한 추론 비용 (Inference cost) 이 매우 비싸며, ROI(투자 대비 수익) 가 불명확합니다.

다. 채택 현황 (Adoption)

• 이중적 채택 패턴:
  • 개인/분석가 수준: 범용 LLM 을 저위험, 생산성 중심 작업 (스크립팅, 보고서 작성) 에 독립적으로 적극 채택.
  • 조직/기업 수준: 보안 특화 엔터프라이즈 도구에 대한 관심은 높으나, 실제 도입은 신중하게 이루어지고 있으며, "자율형 SOC"라는 벤더의 마케팅 주장에 대한 회의론이 존재합니다.
• 채택의 장벽: 벤더의 과장된 마케팅, 기존 자동화 솔루션의 충분함, 조직 내 데이터 유출 방지 정책, 그리고 LLM 에 대한 이념적 거부감 등이 채택을 저해합니다.

4. 의의 및 시사점 (Significance)

이 연구는 LLM 이 SOC 에 통합되는 과정이 단순한 기술 도입이 아니라 사회기술적 (Sociotechnical) 과정임을 강조합니다.

1. 신뢰성과 자율성의 딜레마: LLM 의 자율성은 기술적 능력보다는 출력의 신뢰성과 검증 가능성에 의해 제한받습니다. 신뢰할 수 없는 출력은 오히려 위험을 초래하므로, 현재는 인간 감독 하의 의사결정 지원 도구로 제한적으로 사용되어야 합니다.
2. SOC 인력 개발의 위기: LLM 이 초급 (L1) 업무를 자동화하면서, 초급 분석가들이 실무 경험을 쌓고 전문성을 기를 기회가 사라질 수 있습니다. 이는 숙련된 분석가 (LLM 을 감독할 수 있는 사람) 를 양성하는 데 악순환을 초래할 수 있습니다.
3. 미래 연구 방향:
   • 신뢰할 수 있는 시스템 설계: LLM 이 불확실성을 어떻게 표현하고, 분석가가 이를 실시간으로 평가할 수 있는 인터페이스 개발 필요.
   • 공동 학습 (Co-learning) 모델: 인간과 AI 가 상호 적응하며 학습하는 새로운 교육 및 훈련 패러다임의 필요성 제기.
   • 이해관계자 관점: 관리자 (조직 차원의 도입) 와 분석가 (개인 차원의 활용) 의 관점 차이를 고려한 연구 필요.

결론

LLM 은 사이버보안 운영에 강력한 도구가 될 수 있지만, 현재는 "망치"처럼 양날의 검과 같습니다. 생산성을 높일 수 있지만, 신뢰성 부족과 보안 리스크로 인해 완전한 자율성을 부여하기에는 아직 이르다는 것이 이 연구의 핵심 결론입니다. 성공적인 도입을 위해서는 기술적 발전과 함께 인간 감독 체계, 윤리적 가이드라인, 그리고 인력 육성 전략이 병행되어야 합니다.