LLMs for Qualitative Data Analysis Fail on Security-specificComments in Human Experiments

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 소프트웨어 공학 및 보안 실험에서 인간 참여자의 자유 형식 텍스트 (Free-text) 설명을 분석하는 주제 분석 (Thematic Analysis, TA) 은 중요한 통찰을 제공하지만, 신뢰할 수 있는 주석을 달기 위해 여러 도메인 전문가가 필요하여 비용이 많이 들고 시간이 소요됩니다.
• 가정: 대규모 언어 모델 (LLM) 은 인간 주석가를 대체하여 정성적 데이터를 자동으로 분석하는 이상적인 후보로 여겨집니다.
• 문제: 일반적인 감정 분석 (Sentiment Analysis) 과 달리, 보안 특화적 코드 (Security-specific codes) 를 추출하는 작업은 더 깊은 문맥 이해를 요구합니다. 예를 들어, 특정 취약점 유형이 언급되었는지, 코드 식별자 (Variable/Method identifiers) 가 포함되었는지, 보안 키워드가 있는지 등을 식별해야 합니다.
• 연구 질문 (RQ):
  • RQ1: LLM 이 보안 기술적 주석 (Security technical annotations) 에서 인간 주석가를 대체할 수 있는가?
  • RQ2: 주석 작성의 최선 사례 (Best practices) 를 모방한 다양한 프롬프트 (코드 정의, 예시, 상충되는 사례 등) 가 LLM 의 성능에 어떤 영향을 미치는가?

2. 연구 방법론 (Methodology)

• 데이터셋: Papotti et al. [37] 의 연구팀으로부터 제공받은, 아직 공개되지 않은 실험 데이터 (263 개의 인간 생성 코멘트) 를 사용했습니다. 이 데이터는 취약점이 포함된 코드 스니펫을 분석한 CS 석사 과정 학생들의 응답이며, 4 명의 인간 주석가와 리뷰어에 의해 9 가지 보안 관련 코드 (예: 변수 식별자 언급, 줄 번호 언급, 보안 키워드, 취약점 유형, 잠재적 악용 등) 로 주석 처리되었습니다.
• 평가 모델: LiveBench 벤치마크에서 성능이 우수한 4 가지 LLM 을 선정하여 실험했습니다.
  • Proprietary: GPT-5, Claude-4
  • Open Source: DeepSeek-V3.2, Qwen3-Max
• 프롬프트 전략 (Prompt Engineering): 인간의 주석 작성 프로세스를 모방하여 점진적으로 정보를 제공하는 4 단계 프롬프트를 설계했습니다.
  • P1: 작업 설명 및 코드 이름만 제공.
  • P2: 각 코드에 대한 공식적 정의 (Codebook) 와 예시 추가.
  • P3: 다른 주석가들의 레이블 (Few-shot examples) 추가.
  • P3+: 상충되는 예시 (Conflicting examples) 와 연구자의 명확한 설명 (Clarification) 추가.
• 평가 지표:
  • 단순 정확도 (Accuracy) 는 불균형 데이터셋의 특성상 왜곡될 수 있으므로, Cohen's Kappa ($\kappa$) 를 주된 지표로 사용했습니다. 이는 우연에 의한 일치를 보정한 정확도 (Chance-corrected accuracy) 로, 인간 주석가 간의 일치도 수준과 비교하여 LLM 의 대체 가능성을 판단했습니다.

3. 주요 결과 (Key Results)

• RQ1 결과 (LLM 의 대체 가능성):
  • 전반적 실패: 모든 LLM 은 인간 주석가를 신뢰할 수 있게 대체하지 못했습니다.
  • 성능 차이: 오픈 소스 모델 (DeepSeek-V3.2, Qwen3-Max) 이 상용 모델 (GPT-5, Claude-4) 보다 전반적으로 더 좋은 성능을 보였습니다.
  • 코드별 편차:
    • 성공: '변수/메서드 식별자 언급 (Var)', '줄 번호 언급 (Lin)', '취약점 부재 (NoVul)'와 같은 비교적 명확한 코드는 일부 모델이 인간 수준에 근접했습니다.
    • 실패: '불명확한 답변 (Unclr)', '모호한 표현', '잠재적 악용 (Exp)'과 같은 해석이 필요한 코드는 모든 모델에서 성능이 매우 낮았습니다.
  • 치수 (Kappa) 평가: 대부분의 모델이 '제한적 (Limited, 0.2~0.4)' 또는 '불사용 (Unusable, <0.2)' 수준에 머물렀으며, 인간 주석가를 대체할 수 있는 '실질적 (Substantial, >0.6)' 수준에 도달한 모델은 없었습니다.
• RQ2 결과 (프롬프트의 영향):
  • 한계: 프롬프트를 정교하게 다듬는 것 (P1 $\to$ P3+) 은 성능을 일부 개선시켰으나, 통계적으로 유의미한 차이를 만들어내지는 못했습니다.
  • 초기 개선: 코드에 대한 공식적 정의 (P2) 를 제공하는 단계에서 성능이 가장 크게 향상되었으나, 이후 상충되는 예시나 추가 설명을 더하는 것은 성능 향상을 가져오지 못하거나 오히려 모델을 혼란스럽게 만들었습니다.
  • 토큰 비용: 프롬프트의 복잡도 (토큰 수) 를 늘리는 것이 반드시 성능 향상으로 이어지지 않았습니다.

4. 주요 기여 및 결론 (Contributions & Conclusion)

• 부정적 결과의 명확화: 보안 특화적 정성적 데이터 분석에서 LLM 이 인간 주석가를 대체할 수 있다는 일반적인 낙관론에 대해 경고합니다. 보안 맥락의 미묘한 뉘앙스 (Nuance) 와 문맥적 이해는 현재 LLM 의 능력을 벗어납니다.
• 평가 방법론 제안: 보안과 같은 도메인 특화적 태스크에서 단순 정확도 대신 Cohen's Kappa(우연 보정 정확도) 를 사용하여 LLM 의 실제 대체 가능성을 평가해야 함을 강조합니다.
• 실용적 제언:
  • 현재 LLM 은 보안 관련 정성적 분석에서 자율적 (Autonomous) 주석가가 될 수 없으며, 보조적 (Assistive) 역할 (예: 초안 작성, 인간 검토 대상 선별) 에만 적합합니다.
  • 프롬프트 엔지니어링만으로는 보안 특화적 추론의semantic gap 을 해결하기 어렵고, 모델 아키텍처의 조정 (Fine-tuning 등) 이나 하이브리드 워크플로우가 필요합니다.

5. 의의 (Significance)

이 논문은 AI 기반 소프트웨어 공학 도구 개발에 있어 중요한 경계선을 제시합니다. 보안과 같은 고위험 도메인에서는 LLM 의 '할루시네이션'이나 문맥 오해가 치명적일 수 있으므로, 인간 전문가의 검증 없이는 LLM 을 주석 도구로 자동화하는 것은 위험할 수 있음을 실증적으로 증명했습니다. 이는 향후 보안 AI 연구에서 인간 - AI 협업 (Human-in-the-loop) 의 필요성을 다시 한번 강조하는 근거가 됩니다.