Detecting Cryptographically Relevant Software Packages with Collaborative LLMs

이 논문은 프라이버시를 보호하면서 오프라인 환경에서 여러 대규모 언어 모델 (LLM) 을 협업시켜 암호화 관련 소프트웨어 패키지를 효율적으로 탐지하고 양자 내성 암호화 전환을 지원하는 새로운 프레임워크를 제안합니다.

핵심

이 논문은 **"방대한 컴퓨터 프로그램들 속에서 암호화 기술이 쓰인 '보안 핵심 부품'을 찾아내는 새로운 방법"**을 소개합니다.

기존에는 이 작업을 사람이 일일이 하거나, 딱딱한 규칙을 가진 자동화 프로그램으로 했는데요. 이 논문은 **"여러 명의 AI 비서 (LLM) 를 한 팀으로 모아, 서로의 의견을 모아 투표하는 방식"**으로 이 문제를 해결했다고 합니다.

이 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

---

🏭 비유: 거대한 공장의 부품 검사

상상해 보세요. 여러분은 **수만 개의 부품이 들어있는 거대한 공장 (IT 시스템)**을 관리하고 있습니다. 이 공장에는 모든 종류의 부품이 섞여 있는데, 그중에는 **'보안 잠금장치 (암호화 기술)'**가 들어간 특수 부품들이 숨어 있습니다.

이제 이 공장 전체를 뒤져서 '잠금장치'가 들어간 부품들을 찾아내야 합니다. 하지만 문제는 다음과 같습니다:

1. 부품이 너무 많습니다: 사람이 일일이 하나하나 열어봐서 확인하는 건 불가능합니다.
2. 규칙이 복잡합니다: 어떤 부품은 겉보기엔 평범해 보이지만 속엔 잠금장치가 있고, 어떤 건 이름만 봐도 알 수 있습니다.

❌ 기존 방법의 한계

• 수동 검사: 사람이 일일이 확인하면 시간이 너무 오래 걸려서 공장 가동이 멈춥니다.
• 기존 자동화 도구: "이름에 '암호'가 들어간 것만 찾아라" 같은 단순한 규칙을 쓰면, 진짜 필요한 걸 놓치거나 (위험) 필요 없는 걸 잡는 (오류) 경우가 많습니다.

✅ 이 논문이 제안한 새로운 방법: "AI 비서 팀의 투표"

이 연구팀은 **"여러 명의 똑똑한 AI 비서 (대규모 언어 모델, LLM) 를 고용해서, 각자 부품 설명서를 보고 '이거 보안 부품이야?'라고 물어본 뒤, 다수결로 결정하자"**고 제안했습니다.

1. 비밀 유지가 최우선 (온프레미스)
보안 부품 목록은 회사의 치명적인 비밀일 수 있습니다. 그래서 이 방법은 인터넷에 연결된 외부 AI (클라우드) 를 쓰지 않고, 회사 내부 서버에서 직접 실행되는 AI를 사용합니다. 마치 외부에 문의하지 않고 회사 내부의 전문가들만 모아서 회의하는 것과 같습니다.

2. 여러 명의 AI 비서 (LLM Ensemble)
단 한 명의 AI 가 실수할 수도 있으니, 5 명의 서로 다른 AI 비서를 고용했습니다.

• 각 비서는 부품의 이름, 설명, 다른 부품과의 연결 관계 등을 보고 판단합니다.
• 예를 들어, "이 부품은 암호화 기능을 쓸 것 같아"라고 5 명 중 3 명 이상이 말하면, 그 부품은 '보안 부품'으로 확정합니다.

3. 투표의 힘 (다수결)
한 명은 실수할 수 있지만, 5 명이서 서로 다른 관점에서 보고 3 명 이상이 동의하면 그 확률은 매우 높아집니다. 마치 배심원 5 명이 유죄/무죄를 투표할 때, 3 명이 유죄라고 하면 유죄로 인정하는 것과 비슷합니다.

4. 실수 교정 (프롬프트 엔지니어링)
처음에는 AI 들이 답변을 JSON(데이터 형식) 으로 잘 못 써서 고생했습니다. 연구팀은 AI 들에게 **"이렇게 딱딱한 형식으로만 답해!"**라고 더 명확하게 지시하는 방법 (프롬프트 엔지니어링) 을 다듬었습니다. 마치 학생들에게 시험지 답안지를 어떻게 써야 하는지 더 자세히 가르쳐 주는 것과 같습니다.

---

📊 결과는 어땠나요?

• 초기 결과: 처음엔 AI 들이 서로 의견이 맞지 않거나 실수를 많이 했습니다.
• 최종 결과: 지시 사항을 다듬고, 가장 잘하는 3 명의 AI 를 뽑아 조합하자 정확도가 80% 이상으로 크게 향상되었습니다.
• 비교: 외부의 최신 AI(클라우드 기반) 와 비교해도, 내부에서 실행한 이 방법이 거의 비슷한 성능을 내면서 보안 (비밀 유지) 을 지키는 데 훨씬 유리했습니다.

💡 핵심 takeaway (한 줄 요약)

"수만 개의 소프트웨어를 일일이 검사할 수 없다면, 여러 명의 AI 비서를 내부에 두고 서로의 의견을 모아 투표하게 하면, 빠르고 정확하게 암호화 관련 보안 부품을 찾아낼 수 있다."

이 방법은 기업이 양자 컴퓨터 시대에 대비하거나, 보안 위협에 빠르게 대응할 때 필요한 '보안 부품 목록'을 자동으로 만드는 데 큰 도움이 될 것입니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 양자 컴퓨팅의 발전과 지속적 사이버 공격 위협으로 인해, 기존 암호화 방식에서 양자 내성 암호 (PQC) 로의 전환 (Crypto-agility) 이 필수적입니다. 이를 위해서는 이기종 IT 환경 내의 모든 암호화 자산 (키, 알고리즘, 프로토콜 등) 을 파악하는 것이 선행되어야 합니다.
• 문제점:
  • 수백만 개의 소프트웨어 패키지가 존재하는 현대 환경에서 암호화 관련 패키지를 수동으로 식별하는 것은 불가능합니다.
  • 기존의 정적 코드 분석 (Static Code Analysis) 이나 지식 기반 패턴 매칭 방법은 프로그래밍 언어의 다양성, 전이적 의존성 (transitive dependencies), 오프라인/임베디드 환경의 한계로 인해 확장성이 부족하고 오탐 (False Positive) 이 많습니다.
  • 기업 환경에서는 데이터 기밀성 유지 차원에서 외부 클라우드 LLM 사용에 제약이 있어, 사내 (On-premises) 에서 작동할 수 있는 솔루션이 필요합니다.

2. 제안된 방법론 (Methodology)

이 연구는 대규모 언어 모델 (LLM) 을 휴리스틱 도구로 활용하여 암호화 관련 소프트웨어를 탐지하는 협업형 프레임워크를 제안합니다.

• 데이터 수집: Fedora Linux 배포판의 65,295 개 패키지를 대상으로 이름, 설명, 1 차 의존성 정보를 수집했습니다.
• 모델 구성: 프라이버시 보호를 위해 5 개의 로컬 LLM(GPT4All 프레임워크 및 Ollama 서버 기반) 을 운영했습니다.
  • 사용 모델: phi, deepseek-r1, llama, mistral, gpt4all 등.
  • 하드웨어: NVIDIA A100 GPU 7 개가 탑재된 DGX 머신에서 병렬 실행.
• 프롬프트 엔지니어링:
  • 각 패키지의 메타데이터 (이름, 설명, 의존성) 를 포함하여 LLM 에 질의합니다.
  • 일관된 JSON 형식 출력을 위해 Few-shot prompting 및 지시 프롬프트 (Instruction prompting) 기법을 적용했습니다.
  • 모델별 특성에 맞춰 프롬프트를 최적화했습니다 (예: 대형 모델은 상세한 프롬프트, 소형 모델은 간결한 프롬프트).
• 결과 집계 (Collaborative Reasoning):
  • 다수결 투표 (Majority Voting): 5 개 모델 중 과반수 이상 (3 개 이상) 이 "암호화 관련"으로 판단할 경우 해당 패키지를 최종적으로 암호화 관련으로 분류합니다.
  • 데이터 전처리: JSON 파싱 오류를 처리하는 커스텀 파서를 사용하여 유효하지 않은 응답을 보정하거나 제거했습니다.
• 검증 과정:
  • 390 개의 패키지를 무작위 층화 표본 추출 (Stratified Sampling) 하여 수동으로 라벨링 (Ground Truth) 을 생성했습니다.
  • 이를 기반으로 정밀도 (Precision), 재현율 (Recall), F1 점수 등을 평가하고 모델을 반복적으로 최적화했습니다.

3. 주요 기여 (Key Contributions)

1. 프라이버시 중심의 온프레미스 솔루션: 외부 서버 의존 없이 로컬 LLM 만으로 암호화 자산 인벤토리를 생성할 수 있는 프레임워크를 제시했습니다.
2. 협업형 추론 전략: 단일 모델의 한계를 극복하기 위해 이질적인 다수의 LLM 을 결합하고 다수결 투표를 통해 신뢰도를 높이는 방법을 입증했습니다.
3. 실용적인 최적화 가이드라인:
   • 프롬프트 엔지니어링이 모델 성능에 결정적 영향을 미친다는 점 (모델 크기와 성능은 비례하지 않음) 을 규명했습니다.
   • 모델 간 상관관계 (Design Effect) 를 분석하여, 모델 수를 무한히 늘리는 것보다 3~5 개의 이질적인 모델을 선택하는 것이 효율적임을 보였습니다.
4. 오픈 소스 공개: 연구에 사용된 코드와 데이터 (OTH-AMiQuaSy) 를 공개하여 재현성을 보장했습니다.

4. 실험 결과 (Results)

• 초기 성능: 초기 실험에서 다수결 투표 전략의 F1 점수는 약 72% 였으며, 개별 모델 중 llama 가 가장 좋았습니다 (F1 77%).
• 프롬프트 최적화 후: 프롬프트 조정 및 파싱 로직 개선 후 성능이 크게 향상되었습니다.
  • 최종 다수결 투표 (Majority Vote): F1 점수 86% 달성.
  • 최고 개별 모델: deepseek (F1 84%), llama (F1 78%).
  • 재현율 (Recall) 중시: 암호화 관련 패키지를 누락하지 않는 것이 중요하므로 재현율에 가중치를 두어 최적화한 결과, 재현율이 95% 까지 상승했습니다.
• 온라인 vs 오프라인 비교: 최신 클라우드 기반 모델 (GPT-5, Gemini 등) 과 비교했을 때, 최적화된 로컬 LLM ensemble 은 온라인 모델과 유사한 성능 (F1 86% 대 85~86%) 을 보여주어 프라이버시 보호가 필요한 환경에서도 경쟁력 있음을 입증했습니다.
• 통계적 분석: 모델 간 응답은 완전히 독립적이지 않음 (상관관계 $\rho \approx 0.52$) 이 확인되었으나, 다수결 투표는 여전히 유효한 집계 방법으로 작용했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실무 적용 가능성: 이 방법은 대규모 소프트웨어 스택에서 암호화 관련 요소를 빠르게 필터링하여, 이후 PQC 전환을 위한 코드 리뷰 및 의존성 스캔의 우선순위를 정하는 데 효과적인 '1 차 필터' 역할을 할 수 있습니다.
• 기술적 통찰: 모델의 크기 (파라미터 수) 가 성능을 보장하지 않으며, 적절한 프롬프트 엔지니어링과 모델 간 다양성 (Heterogeneity) 확보가 협업형 LLM 시스템의 핵심 성공 요인임을 강조합니다.
• 미래 전망: 본 연구는 암호화 자산 인벤토리 (Crypto-BOM) 생성의 기초를 마련했으며, 향후 구체적인 암호화 원시 (Primitives) 추출 및 자동화된 CBOM 생성 도구 개발로 이어질 예정입니다.

이 논문은 복잡한 IT 환경에서 암호화 자산의 가시성을 확보하기 위해 LLM 을 활용한 새로운 패러다임을 제시하며, 특히 데이터 기밀성이 중요한 기업 환경에서의 실용성을 입증했다는 점에서 의의가 큽니다.