🤖 AI

LLAMAFUZZ: Large Language Model Enhanced Greybox Fuzzing

LLAMAFUZZ 는 대규모 언어 모델 (LLM) 의 사전 학습 지식과 파인튜닝을 활용하여 구조화된 데이터에 대한 그레이박스 퍼징의 성능을 획기적으로 향상시키고, 기존 최상위 경쟁 도구보다 평균 41 개의 버그를 더 발견하며 코드 커버리지도 크게 개선한 새로운 퍼징 도구입니다.

원저자: Hongxiang Zhang, Yuyang Rong, Yifeng He, Hao Chen

게시일 2026-03-18

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Hongxiang Zhang, Yuyang Rong, Yifeng He, Hao Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🦖🤖 LLAMAFUZZ: 소프트웨어 버그를 잡는 '지능형 탐정' 이야기

이 논문은 **"LLAMAFUZZ"**이라는 새로운 도구에 대해 설명합니다. 이 도구는 소프트웨어에 숨겨진 치명적인 결함 (버그) 을 찾아내는 '퍼징 (Fuzzing)' 기술을 기존보다 훨씬 똑똑하게 만들어줍니다.

이해하기 쉽게 세상에서 가장 까다로운 문을 여는 열쇠를 만드는 과정에 비유해 설명해 드릴게요.

1. 기존 방식의 문제: "무작위 망치질" 🪓

소프트웨어를 테스트할 때, 해커나 연구자들은 프로그램이 어떻게 반응하는지 보기 위해 무작위로 데이터를 입력합니다. 이를 '퍼징'이라고 합니다.

기존의 퍼징기 (AFL++ 등): 마치 맹목적인 망치를 든 사람 같습니다.
- 이 사람은 문 (소프트웨어 입력창) 을 열기 위해 무작위로 돌을 던지거나, 문을 두드리거나, 자물쇠를 부러뜨리려 합니다.
- 문제점: 만약 문이 **정교하게 만든 복잡한 자물쇠 (구조화된 데이터, 예: XML, PDF, 이미지 파일)**라면? 무작위로 돌을 던져봤자 문이 열릴 리가 없습니다. 오히려 문이 망가져서 (데이터 형식이 깨져서) 아예 작동하지 않게 됩니다.
- 결과: 시간을 엄청나게 많이 쓰는데도, 문이 열리지 않아 중요한 방 (버그가 숨겨진 곳) 을 못 찾습니다.

2. 새로운 해결책: "문 구조를 아는 똑똑한 열쇠공" 🗝️🧠

저자들은 이 문제를 해결하기 위해 **거대 언어 모델 (LLM, 예: 챗GPT 같은 AI)**을 퍼징기에 도입했습니다. 이것이 바로 LLAMAFUZZ입니다.

LLAMAFUZZ의 역할: 이 AI 는 **수천 개의 문과 자물쇠를 본 '전문 열쇠공'**입니다.
- 단순히 돌을 던지는 게 아니라, "아, 이 문은 XML 이라는 형식을 따르네. 열쇠 구멍은 여기 있고, 자물쇠는 저렇게 돌아가는구나"라고 데이터의 구조를 이해합니다.
- AI 는 기존에 잘 작동하던 열쇠 (정상 데이터) 를 보고, **"이 부분을 살짝만 비틀면 문이 열릴지도 모른다"**라고 추론하여 새로운 열쇠를 만듭니다.

3. 어떻게 작동할까요? (두 가지 전략의 조화) 🤝

LLAMAFUZZ 는 두 가지 방식을 동시에 사용합니다.

기존의 빠른 망치 (AFL++): 여전히 무작위로 돌을 던지는 빠른 작업을 계속합니다. (빠른 속도 유지)
AI 의 정교한 열쇠 (LLM): AI 는 조금 느리지만, 구조를 깨뜨리지 않으면서 의미 있는 변화를 줍니다.
- 예시: XML 파일에서 <tag>를 <tag>로 바꾸는 건 무의미하지만, AI 는 <tag> 안의 내용을 <새로운 내용>으로 바꾸거나, <tag>를 복사해서 <tag><tag>처럼 구조를 유지하면서 확장합니다.

이 두 가지를 **비동기 (동시에)**로 작동하게 해서, AI 가 생각할 때 다른 작업은 계속 돌아가게 하여 속도를 늦추지 않습니다.

4. 실제 성과: "기존의 10 배 더 잘 찾는다!" 🏆

논문에서 실험한 결과를 보면:

Magma (실제 버그가 있는 프로그램 모음): 기존 최고의 도구들보다 훨씬 많은 47 개의 새로운 버그를 찾아냈습니다.
속도: 버그를 발견하는 데 걸리는 시간이 훨씬 짧아졌습니다.
이유: AI 가 "이런 형식의 데이터는 이렇게 변형해야 살아남는다"는 것을 학습했기 때문입니다.

5. 핵심 비유: "요리사 vs. 로봇 팔" 🍳

기존 퍼징기: 재료를 무작위로 섞어서 요리하는 로봇 팔입니다. 가끔 맛있는 요리가 나올 수도 있지만, 대부분은 못 먹는 쓰레기가 됩니다.
LLAMAFUZZ: 수많은 레시피를 공부한 명석한 요리사입니다. 재료 (데이터) 의 특성을 알고, "소금을 조금만 더 넣으면 맛이 살아날 거야"라고 정확히 변형합니다. 그래서 실패할 확률이 적고, 맛있는 요리 (버그 발견) 를 훨씬 빠르게 만들어냅니다.

💡 결론

이 논문은 **"인공지능 (AI) 이 소프트웨어의 복잡한 언어를 이해하게 하여, 버그를 찾는 속도와 정확도를 획기적으로 높였다"**는 것을 보여줍니다.

앞으로 더 복잡한 파일 형식 (PDF, 비디오, 암호화된 데이터 등) 을 다루는 프로그램에서도 이 기술이 큰 도움이 되어, 우리가 사용하는 앱과 프로그램이 더 안전해질 것으로 기대됩니다.

LLAMAFUZZ: 대규모 언어 모델을 활용한 그레이박스 퍼징 기술 요약

1. 문제 제기 (Problem)

기존 퍼징의 한계: 그레이박스 퍼징 (Greybox Fuzzing) 은 프로그램의 버그와 취약점을 발견하는 데 성공적이지만, 비트 단위 무작위 변이 (Bit-level Randomized Mutation) 전략을 사용하는 경우 구조화된 데이터 (Structured Data) 처리에 심각한 한계가 있습니다.
구조적 무결성 훼손: 전통적인 퍼저 (예: AFL++) 는 무작위 비트 변이를 수행하여 데이터 형식 (XML, JSON, 바이너리 포맷 등) 의 문법적 무결성을 쉽게 훼손합니다. 이로 인해 유효한 입력이 생성되지 않아 코드 커버리지 확보와 버그 발견에 시간이 많이 소요됩니다.
전문 퍼저의 단점: 문법 기반 (Grammar-based) 퍼저는 구조화된 데이터를 잘 처리하지만, 사전 정의된 문법 (Grammar) 을 구축하기 위한 추가적인 노력이 필요하고, 도메인 지식이 부족하면 적용이 어렵다는 유연성 문제가 있습니다.

2. 방법론 (Methodology)

저자들은 LLAMAFUZZ라는 새로운 프레임워크를 제안하며, 사전 학습된 대규모 언어 모델 (LLM) 의 지식을 활용하여 구조화된 데이터의 변이를 수행합니다.

아키텍처 개요:
- 이중 계층 비동기 변이 (Dual-layered Asynchronous Mutation): 전통적인 퍼징 (AFL++) 과 LLM 기반 변이를 병렬로 실행합니다.
- 비동기 작업 큐: LLM 생성은 GPU 자원을 많이 소모하고 느리므로, 퍼징 루프와 LLM 생성을 비동기 큐를 통해 분리하여 퍼징의 처리량 (Throughput) 을 저하시키지 않도록 설계했습니다.
핵심 단계:
1. 데이터 전처리 및 변환:
  - 바이너리 시드를 LLM 이 이해할 수 있는 16 진수 (Hexadecimal) 형식으로 변환합니다.
  - 연속된 2 개의 16 진수 문자를 하나의 토큰 단위로 묶어 토큰 길이를 줄이고, BPE(Byte-Pair Encoding) 토크나이저를 사용하여 다양한 데이터 포맷을 처리합니다.
2. LLM 파인튜닝 (Supervised Fine-Tuning, SFT):
  - 학습 데이터: 실제 퍼징 과정에서 새로운 경로를 발견하거나 크래시를 유발한 성공적인 시드 쌍 (원본 시드 $S_i$ 와 변이된 시드 $S_i'$ ) 을 수집합니다.
  - 학습 목표: LLM 이 데이터의 구조적 패턴을 학습하고, 문법적 무결성을 유지하면서 의미 있는 변이를 생성하도록 지도 학습합니다.
  - 모델: LLaMA 2-7B 를 기반으로 LoRA(Low-Rank Adaptation) 를 사용하여 효율적으로 파인튜닝합니다.
3. 통합 및 실행:
  - 퍼저는 큐에서 시드를 선택할 때, LLM 큐와 AFL++ 큐 중 커버리지 영향도가 높은 시드를 우선적으로 선택합니다.
  - LLM 은 구조를 유지하면서 의미론적으로 유효한 변이 (예: XML 태그 내부 내용 변경, 헤더 값 수정 등) 를 생성합니다.

3. 주요 기여 (Key Contributions)

구조 인식 변이 전략: 문법 규칙을 사전에 정의할 필요 없이, LLM 의 사전 지식과 파인튜닝을 통해 다양한 구조화된 데이터 (이진 및 텍스트) 를 자동으로 이해하고 변이할 수 있는 범용적인 접근법을 제시했습니다.
비동기 하이브리드 아키텍처: LLM 의 높은 계산 비용과 퍼징의 고처리량 요구사항 사이의 충돌을 해결하기 위한 비동기 큐 기반 통합 방식을 설계했습니다.
데이터 유출 방지: 평가에 사용된 시드를 파인튜닝 데이터셋에서 제외하여, LLM 이 단순히 학습 데이터를 재생성 (Memorization) 하는 것이 아니라 실제 변이 능력을 학습했음을 보장했습니다.

4. 실험 결과 (Results)

Magma 벤치마크 (실제 버그 포함):
- LLAMAFUZZ 는 AFL++, Moptafl, Honggfuzz, Fairfuzz 등 최첨단 퍼저들을 모두 능가했습니다.
- 버그 발견: 총 47 개의 고유한 버그를 발견했으며 (AFL++ 는 46 개), 평균적으로 더 많은 버그를 빠르게 발견했습니다.
- 특이 사례: libxml2의 스택 기반 버퍼 오버플로우 취약점 (XML006) 처럼 무작위 변이로는 발견하기 어려운 복잡한 구조적 버그를 LLAMAFUZZ 만 성공적으로 트리거했습니다.
OSS-Fuzz (실제 오픈소스 프로그램):
- 커버리지 향상: 15 개의 타겟 중 11 개에서 AFL++ 대비 통계적으로 유의미한 코드 브랜치 커버리지 향상을 보였습니다.
- 문법 기반 퍼저 대비: Gramatron, Grimoire, Nautilus 등 전문 문법 기반 퍼저와 비교했을 때, 특정 도메인에 국한되지 않고 모든 타겟 (mruby, PHP, quickjs 등) 에서 경쟁력 있는 성능을 발휘했습니다.
일반화 능력: LLaMA 2, LLaMA 3, Mistral, Qwen2 등 다양한 LLM 백본에서도 파인튜닝을 적용했을 때 AFL++ 대비 우수한 성능을 보여 방법론의 일반화 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

퍼징 패러다임의 전환: 기존에 문법 정의나 무작위 변이에 의존하던 구조화된 데이터 퍼징의 한계를, LLM 의强大的한 패턴 인식 및 생성 능력으로 극복했습니다.
실용성: 별도의 문법 스펙 작성 없이도 다양한 포맷 (PNG, XML, JSON, ELF 등) 에 적용 가능하며, 실제 산업계에서 널리 사용되는 오픈소스 프로젝트에서도 높은 성과를 거두었습니다.
향후 전망: LLM 을 활용한 구조 인식 변이는 소프트웨어 보안 테스트의 효율성을 크게 높일 수 있으며, 특히 복잡한 데이터 포맷을 다루는 현대 소프트웨어의 취약점 발견에 필수적인 기술로 자리 잡을 것으로 기대됩니다.

이 논문은 LLM 이 단순히 텍스트 생성을 넘어, 소프트웨어 보안 (Fuzzing) 분야에서 구조화된 데이터의 심층 분석과 변이를 가능하게 하는 강력한 도구임을 입증했습니다.