기술 요약: 경량 LLM을 통한 분리형 스마트 컨트랙트 감사

문제 정의

스마트 컨트랙트는 배포된 후 블록체인 상에서 불변성을 가지므로, 막대한 금융 손실(예: DAO 해킹)을 초래할 수 있는 보안 취약점에 매우 취약합니다. 대규모 언어 모델(LLM)이 자동화된 보안 감사 분야에서 가능성을 보여주고 있으나, 기존 방식들은 세 가지 결정적인 한계에 직면해 있습니다:

1. 계산 효율성 부족: 현재의 최첨단(SOTA) 솔루션들은 거대한 단일 모델(7B–34B 파라미터)에 의존하며, 이는 상당한 GPU VRAM(종종 12–24 GB 초과)을 요구하여 표준 소비자용 하드웨어를 사용하는 독립 개발자나 소규모 팀이 접근하기 어렵게 만듭니다.
2. 실행 가능한 출력의 부재: 많은 접근 방식이 이진 취약점 탐지에만 집중하여, 심각도 분류 및 구체적이고 실행 가능한 수정 권고 사항이라는 필수적인 요구를 간과합니다.
3. 구조적 결함: 통합 프롬프트 전략은 하나의 모델이 다양한 추론 작업(탐지, 설명, 심각도, 권고)을 동시에 수행하도록 강제하며, 이는 오류 전파, 형식 환각(format hallucinations), 높은 지연 시간을 초사합니다.

방법론

저자들은 인간 보안 전문가의 워크플로우를 재현하기 위해 경량 오픈 소스 LLM(0.6B–4B 파라미터)을 활용하는 효율적인 분리형 엔드 투 엔드 프레임워크를 제안합니다. 이 프레임워크는 감사 프로세스를 네 가지 전문화된 순차적 모듈로 나눕니다:

1. 취약점 탐지기 (Vulnerability Detector): 코드가 취약점을 포함하고 있는지 식별하는 분류 작업.
2. 취약점 설명기 (Vulnerability Explanator): 취약점의 성격과 이를 어떻게 악용할 수 있는지 설명하는 생성 작업.
3. 심각도 결정기 (Severity Determinant): 심각도 수준(Low, Medium, High)을 할당하는 분류 작업.
4. 권고 모델 (Recommender): 보안 수정을 위한 실행 가능한 코드 패치를 제공하는 생성 작업.

핵심 기술 구성 요소

• rsLoRA (Rank-Stabilized Low-Rank Adapters): 전체 미세 조정(full fine-tuning)이나 표준 LoRA 대신, 저자들은 rsLoRA를 채택했습니다. 이 기술은 스케일링 인자를 $\gamma_r = \alpha / \sqrt{r}$로 수정하여, 파라미터 효율성을 희생하지 않으면서 그래디언트 붕괴를 방지하고 더 큰 랭크(rank)를 허용합니다.
• 멀티 프롬프트 투표 메커니즘 (Multi-Prompt Voting Mechanism): 분류 작업(탐지 및 심각도)을 위해 모델은 다섯 가지의 서로 다른 템플릿 프롬프트를 처리합니다. 최종 출력은 다수결에 의해 결정되며, 합의를 기반으로 신뢰 점수가 계산됩니다.
• 수정된 CoVe(Chain-of-Verification) 집계: 생성 작업(설명 및 권고)의 경우, 프레임워크는 여러 개의 독립적인 초안 응답을 생성하는 "후보 생성기(Candidate Generator)"를 사용합니다. 이후 커스텀 "집계기(Aggregator)"가 수정된 CoVe 전략을 사용하여 다음을 수행합니다:
  1. 코드를 바탕으로 문맥을 고정(grounding)합니다.
  2. 각 후보에 대해 검증 질문을 생성합니다.
  3. 사실 확인을 위해 이 질문들에 독립적으로 답변합니다.
  4. 환각을 제거하고 단일한 검증된 보고서를 합성합니다.
• 지식 증류 (Knowledge Distillation): 학생 모델(Qwen3-4B)의 추론 능력을 향상시키기 위해, 저자들은 강력한 교사 모델(Qwen3-30B-A3B)로부터 사고 사슬(CoT) 추론을 증류합니다. 교사의 CoT 출력은 단계별 추론을 가르치기 위한 훈련 데이터의 일부로 사용됩니다.

데이터셋 구축

본 연구는 신뢰할 수 있는 출처(Code4rena, Shieldify Security, 상위 TVL 프로젝트)에서 유래한 두 개의 별도 데이터셋을 활용했습니다:

• 탐지 데이터셋: 930개의 취약한 코드 샘플과 969개의 정상 코드 샘플로 구성됩니다. 정상 샘플은 길이 편향을 학습하는 것을 방지하기 위해 그래프 기반 층화 샘플링(Graph-Based Stratified Sampling) 알고리즘을 사용하여 취약한 스니펫과 길이 균형을 맞추었습니다.
• 취약점 데이터셋: 코드와 감사 메타데이터(설명, 심각도, 권고)가 쌍을 이루는 1,000개 이상의 샘플을 포함합니다. 이 데이터셋은 훈련 및 테스트 세트 간의 데이터 누수를 방지하기 위해 프로젝트 인식 층화(Project-Aware Stratified) 전략을 사용하여 분할되었습니다.

실험 결과

프레임워크는 Zero-Shot 및 Fine-Tuned 설정 모두에서 SOTA 밀집 코더 모델(예: CodeLlama-34B, DeepSeek-Coder-33B, Qwen2.5-Coder-32B)을 대상으로 평가되었습니다.

• 취약점 탐지: 제안된 0.6B 모델은 98.25%의 정확도와 0.9824의 F1-score를 달성하여, 미세 조정된 34B 모델을 포함한 모든 베이스라인을 능가했습니다.
• 심각도 분류: 프레임워크는 64.58%의 정확도와 0.5877의 macro F1-score를 달성했습니다.
• 생성 작업 (설명 및 권고): LLM-as-a-Judge 지표(LMUnit 70B)를 사용하여, 프레임워크는 설명에서 0.4375, 권고에서 0.7639의 정렬 점수를 획득하였으며, 이는 베이스라인들(각각 ~0.22 및 ~0.37 기록)을 크게 상회하는 수치입니다.
• 자원 효율성: 분리된 접근 방식은 분류 작업에 ~3.11 GB VRAM, 생성 작업에 ~8.64 GB VRAM 내에서 작동하여 소비자용 하드웨어(8–12 GB VRAM)에 적합한 반면, SOTA 베이스라인은 21–24 GB를 요구합니다.

주요 기여 및 발견

1. 분리된 아키텍처: 본 논문은 복잡한 감사 워크플로우를 전문화된 모듈로 나누는 것이 통합된 단일 모델 프롬프팅보다 성능이 훨씬 뛰어나며, 오류 전파와 환각을 줄인다는 것을 입증합니다.
2. 경량 모델의 우월성: 본 연구는 타겟팅된 미세 조정 및 집계 전략을 갖춘 고도로 최적화된 경량 모델(0.6B–4B)이 특정 보안 작업에서 훨씬 더 큰 규모의 밀집 모델(7B–34B)을 일관되 없이 능가할 수 있음을 경험적으로 검증합니다.
3. 심각도 중심성 편향 (Severity Centrality Bias, SCB): 현재의 LLM(Zero-shot 및 Fine-tuned 모두)이 손실을 최소화하기 위해 "Medium" 심각도로 과도하게 기본 설정되는 경향이 있어, "Low"와 "High"의 엣지 케이스를 정확히 구분하지 못한다는 새로운 경험적 발견을 제시합니다. 제안된 프레임워크는 이를 완화하지만 완전히 제거하지는 못합니다.
4. 시너지 효과적 최적화: 절제 연구(Ablation studies)를 통해 rsLoRA, 지식 증류, 수정된 CoVe 집계의 조합이 시너지 효과를 창출함을 확인했습니다. 이 중 하나라도 제거되면 성능이 크게 저하됩니다.

의의

본 논문은 스마트 컨트랙트 보안의 민주화가 가능하다는 것을 증명함으로써 미래의 LLM 보조 감사 연구를 위한 중요한 벤치마크를 설정했다고 주장합니다. 자원이 많이 드는 단일 모델에서 벗어나 모듈형 경량 파이프라인으로 전환함으로써, 저자들은 값비싼 클라우드 GPU 인스턴스 없이도 일반적인 개발 워크플로우에 지속적인 "Shift-left" 보안 감사를 통합할 수 있는 실질적인 경로를 제공합니다. 또한, 심각도 중심성 편향(SCB)의 식별은 향후 연구가 반드시 해결해야 할 구체적이고 미해결된 위험 평가 과제를 강조합니다.