1. 문제 정의 (Problem Statement)

대형 언어 모델 (LLM) 기반 코딩 어시스턴트 (Claude Code, GitHub Copilot 등) 의 등장으로 AI 가 생성한 코드의 양이 급증하고 있으나, 이를 검증하기 위한 테스트 프레임워크는 이 속도를 따라가지 못하고 있습니다. 기존 테스트 방법론의 주요 한계점은 다음과 같습니다.

• 기존 퍼징 (Fuzzing) 의 비효율성: 전통적인 퍼징은 모든 프로그램에 균일한 시간 자원을 할당하며, 알고리즘적 취약점 패턴에 대한 의미적 (Semantic) 인식을 결여하고 있습니다. 이로 인해 안전한 코드에 자원을 낭비하거나, 심층적인 알고리즘적 버그를 놓치는 비효율이 발생합니다.
• 단위 테스트 생성의 한계: LLM 기반 단위 테스트 생성 도구 (예: ChatUniTest) 는 기능적 정확성과 코드 커버리지는 높일 수 있으나, 타임아웃, 메모리 오버플로우, 알고리즘 복잡도 불일치와 같은 런타임 실패를 탐지하는 데는 한계가 있습니다.
• 형식적 검증의 확장성 부족: 형식적 검증은 강력한 보장을 제공하지만, 복잡한 AI 생성 코드에 대해 인간 전문가의 개입과 인과관계 추론이 필요하여 대규모 적용이 어렵습니다.
• 기존 ML 기반 접근법의 부족: 선행 연구인 GreenFuzz 와 같은 방법은 정적 분석 (Static Analysis) 특성만 사용하여 취약성을 예측하므로, 알고리즘적 복잡도 불일치나 논리적 오류와 같은 심층적인 취약점을 구별하는 정밀도가 낮습니다.

2. 방법론 (Methodology)

SAFUzz 는 LLM 의 의미적 분석 능력과 전통적인 퍼징을 결합한 하이브리드 적응형 테스트 프레임워크입니다. 이 시스템은 크게 세 가지 단계로 구성됩니다.

1 단계: 프롬프트 변형 생성 (Prompt Variant Generation)

• 동일한 문제라도 프롬프트의 표현 방식에 따라 LLM 이 생성하는 코드의 취약점 유형이 달라질 수 있다는 점을 활용합니다.
• 각 문제에 대해 12 가지의 프롬프트 변형 (원본, 의미적 변형, 의도적으로 취약점을 유발하는 변형 등) 을 생성하여 다양한 사용자 상호작용 시나리오를 시뮬레이션하고, 이로 인해 발생할 수 있는 다양한 알고리즘 및 리소스 관련 취약점을 포착합니다.

2 단계: LLM 기반 퍼징 하네스 생성 (LLM-Based Fuzz Harness Generation)

• 문제 특화 하네스 생성: LLM 에이전트가 문제 설명에서 수치적 범위, 타입 요구사항, 구조적 제약 조건 등을 추출하여 **문제별 제약 조건 (Problem-specific constraints)**을 반영한 퍼징 하네스를 생성합니다.
• 의미적 오라클 (Semantic Oracles) 구현: 일반적인 크래시 탐지를 넘어 다음 4 가지 오라클을 구현합니다.
  1. 타임아웃 오라클: 무한 루프 탐지.
  2. 크래시 오라클: 메모리 위반 (널 포인터, 배열 인덱스 오류) 탐지.
  3. 결정성 오라클: 동일 입력에 대한 일관된 출력 보장.
  4. 오버플로우 오라클: 잘못된 타입 사용 (예: int 대신 long 필요) 으로 인한 오버플로우 탐지.
• 검증 루프: 생성된 하네스가 컴파일 오류나 API 사용 오류를 일으키면, 에러 피드백을 LLM 에게 전달하여 수정을 요청하는 2 단계 검증 루프를 통해 하네스 품질을 보장합니다.

3 단계: 취약성 예측 및 적응형 자원 할당 (Vulnerability Prediction & Adaptive Allocation)

• 하이브리드 특성 추출:
  • 정적 분석 특성: 코드 라인 수, 순환 복잡도, 할스태드 지표 등 (GreenFuzz 기반).
  • LLM 의미적 특성: LLM 이 문제 명세와 코드를 비교하여 8 가지 카테고리 (배열 범위, 정수 오버플로우, 논리 오류, 타임아웃 위험 등) 에 대해 0~10 점으로 위험도를 점수화합니다.
• 취약성 예측 모델: 추출된 14 가지 특성을 기반으로 Random Forest 분류기를 훈련시켜 각 프로그램의 취약성 확률 ($p_i$) 을 예측합니다.
• 적응형 시간 할당:
  • 필터링: 취약성 확률이 임계값 ($\theta$) 이하인 안전한 코드는 퍼징 대상에서 제외합니다.
  • 비례 할당: 선정된 고위험 프로그램에는 취약성 확률에 비례하여 퍼징 시간을 더 많이 할당합니다.
  • 동적 조기 종료 (Early Stopping): 커버리지가 포화 상태에 도달하면 해당 퍼징을 즉시 중단하고 다른 대상에 자원을 재분배합니다.

3. 주요 기여 (Key Contributions)

1. 의미적 인식 적응형 퍼징 프레임워크: 정적 분석과 LLM 의 의미적 추론을 결합하여, 기존 방법론이 놓치던 알고리즘적 복잡도 불일치 및 논리적 오류를 효과적으로 탐지합니다.
2. 문제 특화 오라클 및 하네스 생성: 일반적인 크래시 탐지를 넘어, 문제의 제약 조건을 반영한 타임아웃, 오버플로우, 논리 오류 등을 탐지할 수 있는 정교한 오라클을 자동 생성합니다.
3. 지능형 자원 최적화: 취약성 확률 기반의 필터링과 비례 할당, 조기 종료 메커니즘을 통해 퍼징 시간을 1.71 배 단축하면서도 높은 버그 탐지율을 유지합니다.

4. 실험 결과 (Results)

CSES(Competitive Programming) 알고리즘 문제 96 개 (총 1,152 개의 프로그램 변형) 를 대상으로 평가进行了.

• 취약성 구별 정밀도 향상: GreenFuzz 대비 취약성 구별 정밀도 (Precision) 가 **77.9% 에서 85.7%**로 향상되었습니다. 이는 더 많은 안전한 코드를 조기에 필터링하고 고위험 코드를 선별할 수 있음을 의미합니다.
• 자원 효율성: SOTA 인 GreenFuzz 대비 1.71 배의 시간 비용 절감 효과를 거두었습니다 (총 퍼징 시간 242.9 분 $\rightarrow$ 141.3 분).
• 버그 탐지율 (Recall):
  • SAFUzz 단독: 67.3%
  • SAFUzz + ChatUniTest(단위 테스트) 결합: 67.3% 에서 **79.5%**로 향상되었습니다. 퍼징과 단위 테스트가 서로 다른 유형의 버그를 탐지하여 상호 보완적임을 입증했습니다.
• 확장성: 하네스 생성 에이전트는 작업 부하가 증가함에 따라 선형적으로 확장되며, 복잡한 문제에서도 재시도 메커니즘을 통해 예측 가능한 시간 비용을 유지합니다.

5. 의의 및 결론 (Significance)

SAFUzz 는 AI 가 생성한 코드의 대규모 배포에 따른 보안 및 안정성 위험을 해결하기 위한 실용적인 솔루션을 제시합니다.

• 효율적인 리소스 관리: 무작위 퍼징의 비효율성을 해결하고, 고위험 코드에 집중함으로써 테스트 비용을 대폭 절감합니다.
• 알고리즘적 취약점 탐지: 기존 정적 분석이나 일반 퍼징이 놓치기 쉬운 '알고리즘 복잡도 불일치'나 '논리적 오류'와 같은 심층적인 버그를 탐지할 수 있는 새로운 패러다임을 제시합니다.
• 실무 적용 가능성: 단위 테스트 생성 도구와 결합하여 포괄적인 버그 탐지율을 달성함으로써, AI 코딩 어시스턴트가 생산 환경에 안전하게 통합될 수 있는 기반을 마련합니다.

결론적으로, SAFUzz 는 의미적 지능을 활용한 적응형 퍼징을 통해 AI 생성 코드의 품질 보증 (QA) 에 있어 새로운 표준을 제시하며, 확장 가능하고 효율적인 취약점 탐지 경로를 제공합니다.