CKG-LLM: LLM-Assisted Detection of Smart Contract Access Control Vulnerabilities Based on Knowledge Graphs

1. 문제 정의 (Problem)

스마트 컨트랙트의 보안 분석은 주로 추상 구문 트리 (AST), 제어 흐름 그래프 (CFG), 정적 단일 대입 (SSA) 형식과 같은 중간 표현에 의존해 왔습니다. 그러나 이러한 기존 방법론들은 다음과 같은 한계를 가집니다:

• 의미론적 구조 및 제어 논리 포착의 부족: 단순한 구문 분석만으로는 코드의 깊은 의미와 제어 흐름을 완전히 이해하기 어렵습니다.
• 지식 그래프 (KG) 기반 방법의 진입 장벽: 지식 그래프를 활용하면 코드 요소와 관계를 구조화할 수 있으나, 취약점을 식별하기 위한 SPARQL 쿼리를 직접 작성하는 것은 복잡하고 어렵습니다. 특히, 정확한 엔티티나 관계를 찾기 위한 쿼리 문장을 구상하고 작성하는 데 어려움이 있어 자동화 및 보급이 제한됩니다.
• 접근 제어 취약점의 심각성: 스마트 컨트랙트는 불변성 (Immutability) 과 자산 관리 기능을 가지므로, 권한 부여 로직의 결함은 막대한 자산 손실로 이어질 수 있습니다. OWASP 랭킹에서도 접근 제어 취약점이 최상위 위협으로 부상했습니다.

2. 제안 방법론 (Methodology: CKG-LLM)

저자들은 CKG-LLM이라는 새로운 프레임워크를 제안하여, 대형 언어 모델 (LLM) 의 추론 및 코드 생성 능력을 활용하여 자연어 기반의 취약점 패턴을 실행 가능한 지식 그래프 쿼리로 변환하는 시스템을 구축했습니다.

2.1. 계약 지식 그래프 (CKG) 구축

• 이중 레이어 설계:
  • 온톨로지 계층 (Ontology Layer): Solidity 문법과 ANTLR 규격을 기반으로 클래스 (Contract, Function 등), 속성, 객체/데이터 속성을 정의합니다.
  • 인스턴스 계층 (Instance Layer): 정적 분석 도구인 Slither의 중간 표현 (IR) 을 활용합니다. Slither IR 는 AST 를 넘어 SSA(Static Single Assignment) 형식으로 변환되어 변수의 버전 관리와 제어 흐름 분기를 명시적으로 표현하므로, 상속, 함수 호출, 실행 흐름 등 AST 로는 얻기 어려운 복잡한 관계를 추출할 수 있습니다.
• 데이터 구조: Slither IR 를 순회하여 계약 수준 요소, 관계, 상속, 호출 의존성 등을 그래프 노드와 엣지로 매핑합니다.

2.2. 프롬프트 설계 및 NL2GQL 변환

• 이중 라운드 체인 오브 씽킹 (Two-round Chain of Thought):
  • 1 단계 (추론): 자연어 취약점 패턴 (예: "권한 제어 없이 소유자를 수정할 수 있는 함수") 을 입력받아 구조화된 JSON 슬롯 (의도 분석, 슬롯 정당화, KG 실행 가능성 확인 등) 으로 변환합니다.
  • 2 단계 (쿼리 생성): 1 단계의 추론 결과를 바탕으로 실행 가능한 SPARQL 쿼리를 생성합니다.
• 프롬프트 최적화: LLM 의 컨텍스트 제한을 극복하기 위해 접근 제어 관련 하위 그래프만 추출하는 가지치기 (Pruning) 전략을 사용하여 KG 요약본을 입력으로 제공합니다.

2.3. 학습 및 강화 학습 (RLAF)

• 지도 미세 조정 (SFT): Llama-3.1-8B-Instruct 를 베이스 모델로 사용하여 LC-QuAD 2.0 데이터셋을 기반으로 NL2GQL 태스크에 대한 SFT 를 수행합니다.
• RLAF (Reinforcement Learning from Agent Feedback):
  • 작은 언어 모델 (SLM, Qwen2.5-3B) 을 '에이전트'로 활용하여 LLM 이 생성한 쿼리를 평가합니다.
  • 평가 기준: 형식적 유효성 (Formal Validity), 의미론적 일관성 (Semantic Consistency), 탐지 정확도 (Detection Accuracy).
  • DPO (Direct Preference Optimization): SLM 의 피드백을 기반으로 선호도 최적화를 수행하여 LLM 이 더 정확하고 견고한 쿼리를 생성하도록 학습시킵니다.

3. 주요 기여 (Key Contributions)

1. 최초의 LLM 기반 지식 그래프 쿼리 프레임워크: 자연어 설명을 스마트 컨트랙트 지식 그래프의 SPARQL 쿼리로 변환하여 접근 제어 취약점을 탐지하는 최초의 프레임워크 (CKG-LLM) 를 제안했습니다.
2. 고급 KG 구축 파이프라인 및 RLAF 도입: Slither IR 를 기반으로 의미론적으로 풍부한 CKG 를 구축하고, 소규모 에이전트 (SLM) 의 피드백을 통한 강화 학습 (RLAF) 을 도입하여 쿼리 생성의 품질을 높였습니다.
3. 우수한 성능 입증: 기존 접근 제어 분석 도구들보다 높은 탐지 효율성을 입증했습니다.

4. 실험 결과 (Results)

FORGE 데이터셋의 553 개 스마트 컨트랙트를 대상으로 실험을 수행했습니다.

• 품질 (RQ1): DPO 를 적용한 모델 (SFT+DPO) 이 단순 SFT 모델보다 SPARQL 생성 품질 점수 (0.756 vs 0.693) 에서 더 높은 성능을 보였습니다.
• 정확도 (RQ2):
  • 정밀도 (Precision): 73.1%
  • 재현율 (Recall): 76.8%
  • F1 점수: 74.9%
  • 베이스 모델 (F1 57.8%) 및 단순 SFT 모델 (F1 65.5%) 대비 모든 지표에서 향상되었습니다.
• 효율성 (RQ3):
  • Achecker (F1 81.4%): 정확도는 가장 높았으나 실행 시간이 길었습니다 (평균 13.5 초/계약).
  • GPTScan (F1 64.7%): 정확도와 효율성 모두 낮았습니다.
  • CKG-LLM: **가장 빠른 평균 탐지 시간 (11.3 초/계약)**과 **총 실행 시간 (6,248 초)**을 기록하면서, Achecker 와 유사한 수준의 높은 정확도 (F1 74.9%) 를 달성하여 정확도와 효율성의 균형이 가장 뛰어난 도구임을 증명했습니다.

5. 의의 및 결론 (Significance)

CKG-LLM 은 스마트 컨트랙트 보안 분야에서 다음과 같은 의의를 가집니다:

• 기술적 혁신: 복잡한 SPARQL 쿼리 작성의 진입 장벽을 낮추고, LLM 의 추론 능력을 지식 그래프와 결합하여 자동화된 취약점 탐지를 가능하게 했습니다.
• 실용성: 기존 정적 분석 도구나 다른 LLM 기반 도구들보다 빠르고 정확한 탐지를 제공하여, 실제 스마트 컨트랙트 배포 전 보안 감사 (Audit) 프로세스에 효과적으로 통합될 수 있습니다.
• 확장성: 향후 정수 오버플로우, 재진입 (Reentrancy) 등 다른 취약점 유형으로 확장하고, 검색 증강 생성 (RAG) 을 통합하여 정확도와 확장성을 더욱 높일 계획입니다.

이 연구는 블록체인 보안 분야에서 LLM 과 지식 그래프의 시너지를 극대화하여, 자동화된 지능형 보안 분석 도구의 새로운 표준을 제시합니다.