Human in the Loop for Fuzz Testing: Literature Review and the Road Ahead

1. 문제 정의 (Problem)

소프트웨어의 규모와 복잡성이 증가함에 따라 Fuzzing(퍼징) 은 취약점 발견을 위한 가장 효과적인 동적 테스트 기법 중 하나로 자리 잡았습니다. 그러나 기존 자동화된 퍼저 (Fuzzer) 는 다음과 같은 근본적인 한계에 직면해 있습니다:

• 시맨틱 장벽 (Semantic Roadblocks): 복잡한 프로토콜, 상태 머신, 또는 데이터 구조를 이해하지 못해 유효하지 않은 입력을 생성하거나 탐색이 막히는 경우가 많습니다.
• 탐색의 정체 (Coverage Plateaus): 자동화된 휴리스틱이 특정 지점에서 멈추고 깊은 코드 경로나 희귀한 버그를 찾지 못하는 경우가 빈번합니다.
• 해석의 어려움: 방대한 런타임 데이터를 도메인 전문가의 지식 없이 해석하기 어렵습니다.
• LLM 의 한계: 최근 등장한 대규모 언어 모델 (LLM) 은 퍼징을 보조할 수 있지만, 환각 (Hallucination), 낮은 신뢰성, 그리고 복잡한 추론의 투명성 부족으로 인해 인간 전문가의 완전한 대체는 불가능합니다.

이러한 한계를 극복하기 위해 인간 전문가의 지식과 판단을 퍼징 루프에 통합하는 'Human-in-the-Loop (HITL)' 접근법이 필요하지만, 이를 체계적으로 연구한 로드맵은 부재한 상태였습니다.

2. 연구 방법론 (Methodology)

이 논문은 퍼징, HCI(인간 - 컴퓨터 상호작용), LLM 보조 퍼징을 연결하는 최초의 체계적인 문헌 검토를 수행했습니다.

• 데이터 수집: Google Scholar, IEEE Xplore, ACM Digital Library, DBLP 등을 통해 2007 년부터 2025 년까지 발표된 115 편의 논문을 초기 검색했습니다.
• 선정 기준: 퍼징 프로세스에 명시적인 인간 개입 (시각화, 시드 관리, 지식 주입 등) 이 포함된 44 편의 논문 (35 편의 기술 연구, 9 편의 서베이) 을 최종 선정했습니다. 인간이 단순히 결과만 확인하는 경우는 제외했습니다.
• 분석 프레임워크:
  1. 퍼징의 5 단계: 전처리 (Preprocessing), 시드 관리 (Seed Management), 스케줄링 (Scheduling), 테스트케이스 합성 (Testcase Synthesis), 실행 (Execution).
  2. 인간 참여 유형:
     • 모니터링 (Monitoring): 인간이 퍼징 상태를 수동으로 관찰하고 분석 (대시보드, 시각화 등).
     • 조향 (Steering): 인간이 퍼징 전략을 능동적으로 개입하여 수정 (시드 필터링, 파라미터 조정, 제약 조건 추가 등).
• LLM 분석: LLM 이 인간 역할을 어떻게 대체하거나 보완할 수 있는지, 그리고 인간 - LLM 협업의 가능성을 탐구했습니다.

3. 주요 기여 및 결과 (Key Contributions & Results)

가. 체계적인 문헌 검토 및 분류 (Taxonomy)

논문은 기존 HITL 퍼징 연구들을 5 단계의 퍼징 워크플로우와 2 가지 참여 유형 (모니터링, 조향) 으로 분류하여 정리했습니다 (Table 1 참조).

• 현황 분석: 대부분의 인간 개입 연구는 실행 (Execution) 단계의 모니터링 (시각화 대시보드 등) 과 시드 관리 (Seed Management) 단계의 조향 (시드 선별) 에 집중되어 있습니다.
• 공백 발견: 실시간 조향 (Real-time Steering) 이나 스케줄링/합성 단계의 인간 개입 연구는 매우 부족합니다. 또한, 최근 LLM 기반 퍼징이 급증하면서 인간 전문가의 역할에 대한 논의가 다시 필요해졌습니다.

나. 인간 - LLM 협업의 비전 제시

LLM 은 인간의 역할을 완전히 대체하기보다, 인간과 협업 (Collaboration) 하는 파트너로 위치해야 함을 강조합니다.

• LLM 은 반복적이고 기계적인 작업 (시드 중복 제거, 드라이버 생성, 크래시 분류) 을 자동화하여 인간의 인지 부하를 줄입니다.
• 인간은 고수준의 전략 수립, 도메인 지식 제공, 그리고 LLM 의 결정에 대한 검증 (Supervision) 역할을 수행합니다.

다. 미래 연구 로드맵 (The Road Ahead)

논문은 HITL 퍼징의 진화를 위한 3 단계 로드맵을 제안합니다 (Figure 3 참조):

• Stage I: 세분화되고 설명 가능한 모니터링 (Fine-Grained & Explainable Monitoring)

  • 목표: 단순한 커버리지 지표를 넘어, 전처리부터 실행까지의 모든 단계에서 발생하는 이질적인 신호를 통합하는 표준화된 관측 가능성 (Observability) 모델 구축.
  • 방향: mutation 연산자의 효과, 시드 선정 빈도, 메모리 접근 패턴 등 상세한 데이터를 수집하고, 이를 분석 가능한 상호작용형 시각화 도구로 제공하여 비효율성을 진단.

• Stage II: 실시간 및 전략적 인간 조향 (Real-time & Strategic Human Steering)

  • 목표: 실행이 끝난 후 (Offline) 가 아니라, 런타임 (In-situ) 에 인간이 개입하여 퍼징 전략을 동적으로 수정할 수 있는 파이프라인 구축.
  • 방향: 퍼저를 재시작하지 않고도 파라미터 조정, 시드 우선순위 변경, 특정 경로 집중 등을 가능하게 하는 모듈형 퍼징 루프 설계. 자연어 인터페이스나 "What-if" 분석을 통한 직관적인 조향 기술 개발.

• Stage III: 인간 - LLM 시너지 협업 (Synergistic Human-LLM Collaboration)

  • 목표: LLM 을 '전문가 보조 (Expert Assistant)'로 활용하여 인간과 LLM 이 상호 보완적으로 작동하는 다중 에이전트 시스템 구축.
  • 방향:
    • LLM: 저수준 작업 자동화 (드라이버 생성, 시드 합성, 크래시 분류).
    • 인간: 고수준 전략 지시, 도메인 제약 조건 설정, LLM 의 결정 검증.
    • 협업: LLM 이 실시간으로 런타임 메트릭을 분석하고 전략을 제안하면, 인간이 이를 승인하거나 수정하는 순환 구조.

4. 의의 및 중요성 (Significance)

• 패러다임 전환: 퍼징을 단순한 자동화 도구가 아닌, 인간의 전문성과 AI 의 자동화가 결합된 대화형 시스템으로 재정의합니다.
• 실용성: 복잡한 현대 소프트웨어 (프로토콜, 임베디드 시스템 등) 에서 자동화만으로는 도달하기 어려운 깊은 취약점을 발견할 수 있는 가능성을 제시합니다.
• 연구 방향성 제시: 기존에 단편적이었던 HITL 연구들을 체계화하고, LLM 시대에 맞춰 인간이 어떤 역할을 수행해야 하는지에 대한 명확한 방향 (모니터링 $\rightarrow$ 조향 $\rightarrow$ 협업) 을 제시하여 향후 연구의 나침반 역할을 합니다.

결론

이 논문은 퍼징의 한계를 극복하기 위해 인간 전문가의 지식을 체계적으로 통합하는 것의 중요성을 강조하며, 단순한 모니터링을 넘어 실시간 조향과 LLM 기반의 지능적 협업으로 진화해야 할 미래 비전을 제시합니다. 이는 차세대 퍼징 생태계가 효율성, 설명 가능성, 그리고 신뢰성을 모두 갖추는 데 필수적인 기반을 마련합니다.