Leveraging Large Language Models for Trustworthiness Assessment of Web Applications

1. 연구 배경 및 문제 정의 (Problem)

• 신뢰성 평가의 한계: 웹 애플리케이션의 보안은 중요하지만, 기존 평가 방식은 알려진 취약점 탐지 (Vulnerability Detection) 에만 집중하거나 전문가의 수동 코드 리뷰에 의존합니다. 이는 확장성 (Scalability) 이 부족하고, 잠재적 약점 (Latent weaknesses) 을 놓치기 쉽습니다.
• 수동 검증의 비효율성: 안전한 코딩 관행 (Secure Coding Practices) 에 대한 준수 여부를 확인하는 과정은 시간 소모가 크고 주관적이며, 현대적인 CI/CD 파이프라인에 통합하기 어렵습니다.
• 기존 도구의 결함: 정적 분석 (SAST) 은 문맥 부족으로 인한 오탐지 (False Positives) 가 많고, 동적 분석 (DAST) 은 실행 경로 누락 문제가 있습니다.
• 연구 목표: 대규모 언어 모델 (LLM) 을 활용하여 소스 코드가 OWASP 와 같은 안전한 코딩 표준을 준수하는지 자동으로 평가하고, 이를 기반으로 웹 애플리케이션의 신뢰성 점수 (Trustworthiness Score) 를 산출하는 체계적인 방법론을 제시하는 것입니다.

2. 연구 방법론 (Methodology)

연구는 5 단계의 실험적 방법론을 따르며, OWASP 입력 유효성 검사 (Input Validation) 도메인을 중심으로 16 가지 코딩 관행을 평가했습니다.

A. 데이터셋 및 모델

• 데이터셋: 웹 서비스 취약점 벤치마크인 WSVD-Bench를 사용했습니다. (TPC-App, TPC-C, TPC-W 기반의 21 개 서비스, 80 개 작업, 158 개 SQL 인젝션 취약점 포함).
• Ground Truth: 전문가가 수동으로 코드를 분석하여 각 함수와 16 가지 관행에 대해 '적용됨 (1)', '미적용 (0)', '해당 없음 (NA)'으로 라벨링한 데이터를 구축했습니다.
• 사용 모델: 5 가지 LLM (gpt-3.5-turbo, gpt-4o-mini, gpt-4.1-mini, gpt-4.1, gemini-2.5-flash) 을 API 를 통해 실행 (Temperature=0.2) 했습니다.

B. 프롬프트 전략 (Prompt Strategies)

LLM 의 성능을 비교하기 위해 4 가지 프롬프트 전략을 설계했습니다:

1. P1 (Baseline): 제로샷 (Zero-shot) 방식. 관행 설명과 함수 코드만 제공.
2. P2 (CWE + Bad Examples): 관행에 대한 CWE(공통 약점 목록) 매핑과 위반 사례 (Bad Examples) 를 Few-shot 으로 제공.
3. P3 (Function Call Context): Joern 도구를 사용하여 호출된 헬퍼 함수의 소스 코드를 포함하여 구조적 문맥을 제공.
4. P4 (Rule-Based): 명확한 이진 조건 (If-then 규칙) 을 정의하여 해석의 모호성을 제거.

C. 신뢰성 점수 산출 (Trustworthiness Assessment)

• QM 과 LSP 활용: Lemes et al. [16] 이 제안한 위계적 품질 모델 (Quality Model, QM) 을 확장하여 사용했습니다.
• LSP (Logic Score of Preference): 단순 가중 평균 대신, 모든 필수 보안 기준이 동시에 만족되어야 함을 의미하는 '동시성 (Simultaneity)' 논리 연산자를 사용하여 점수를 집계합니다. 이는 "시스템은 가장 약한 고리만큼만 강력하다"는 원칙을 반영합니다.
• 평가 방식:
  1. LLM 이 각 관행에 대한 이진 분류 (1/0) 를 수행한 후, 이를 LSP 공식에 대입하여 점수를 계산.
  2. LLM 이 직접 0~1 사이의 신뢰성 점수를 생성하는지 평가 (Direct Estimation).

3. 주요 결과 (Experimental Results)

A. RQ1: 베이스라인 성능

• 모델 간 편차: 고사양 모델 (gpt-4.1) 은 높은 정밀도 (Precision ≈0.98) 와 F1 점수 (0.89) 를 보였으나, 경량 모델 (gpt-3.5-turbo) 은 정밀도가 낮아 (≈0.54) 표면적인 키워드 매칭에 그치는 경향이 있었습니다.
• 성능 한계: 제어 흐름 (Control-flow) 이나 데이터 출처 (Data provenance) 가 필요한 복잡한 관행 (예: Practice 6, 15) 에서는 성능이 급격히 하락했습니다.

B. RQ2: 프롬프트 전략의 영향

• P2 (Few-shot): 고사양 모델 (gpt-4.1) 에서는 성능이 향상되었으나, 경량 모델은 정보 과부하로 인해 오히려 성능이 저하되었습니다.
• P3 (구조적 문맥): 가장 나쁜 결과를 보였습니다. 헬퍼 함수 코드를 추가하면 정보 노이즈가 증가하여 오탐지 (False Negative) 가 크게 늘어났습니다. 모든 모델에서 정밀도와 재현율이 하락했습니다.
• P4 (Rule-Based): 가장 효과적이었습니다. 명확한 규칙 기반 지시는 경량 모델의 성능을 크게 향상시켰습니다. 특히 gpt-4o-mini 는 P4 를 사용하여 F1 점수가 0.61 에서 0.74 로 크게 개선되었습니다.
• 결론: 과도한 구조적 문맥은 노이즈를 유발하지만, 명확한 규칙 기반 프롬프팅은 신뢰성 있는 평가를 가능하게 합니다.

C. RQ3: 신뢰성 점수 생성

• 직접 점수 생성 (Direct Estimation): LLM 이 직접 점수를 생성하는 방식은 MAE(평균 절대 오차) 가 0.4~0.6 으로 매우 불안정하여 신뢰할 수 없었습니다.
• QM 기반 집계 (Analytical Aggregation): LLM 의 이진 분류 결과를 LSP 공식에 대입하여 점수를 계산하는 방식은 안전한 코드와 취약한 코드를 통계적으로 유의미하게 구분 (Discrimination) 했습니다.
• 통계적 검증: Mann-Whitney U 검정 결과, P4(규칙 기반) 를 사용한 모델들은 안전한 코드와 취약한 코드의 점수 분포가 명확히 분리되었습니다.

4. 주요 기여 (Key Contributions)

1. 프롬프트 엔지니어링 전략의 체계적 비교: 보안 코딩 관행 평가에 있어 의미적 풍부화 (Semantic enrichment), 구조적 문맥, 명시적 규칙의 효과를 다양한 LLM 에서 비교 분석했습니다.
2. 확장 가능한 자동화 가능성 입증: LLM 을 활용한 신뢰성 평가의 실현 가능성을 실증했으며, 특히 규칙 기반 프롬프팅이 경량 모델의 성능을 고사양 모델 수준으로 끌어올릴 수 있음을 보였습니다.
3. QM 과 LSP 의 확장: LLM 출력을 활용하여 자동화된 신뢰성 점수 산출 파이프라인을 구축했습니다. 이는 수동 검사의 확장성 한계를 해결하고 CI/CD 환경에 통합 가능한 접근법을 제시합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 확장성 해결: 수동 코드 리뷰의 비효율성을 해결하고, 현대적인 DevSecOps 환경에서 지속적인 신뢰성 평가를 가능하게 합니다.
• 실용적 통찰: "더 많은 문맥 (Context)"이 항상 좋은 것은 아니며, 오히려 노이즈가 될 수 있음을 보여주었습니다. 대신 명확한 규칙 기반 (Rule-based) 프롬프팅이 LLM 의 보안 평가 신뢰도를 높이는 핵심 요소임을 증명했습니다.
• 미래 방향: 제안된 방법론은 다른 프로그래밍 언어와 취약점 유형으로 확장 가능하며, RAG(검색 증강 생성) 기술을 결합하여 문맥 제한을 극복하고 CI/CD 파이프라인에 직접 통합하는 것이 향후 연구 과제로 제시되었습니다.

이 논문은 LLM 을 단순히 취약점을 찾는 도구가 아닌, 보안 코딩 관행 준수를 체계적으로 평가하고 신뢰성 점수를 산출하는 자동화 엔진으로 활용할 수 있음을 입증한 중요한 연구입니다.