Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

기술 요약: LLM 기반 자동 취약점 수정을 위한 차별화된 재현 연구

문제 제기
대규모 언어 모델(LLM)을 이용한 자동 취약점 수정(AVR)은 최근 전통적인 테스트 기반 프로그램 수정 방식보다 뛰어난 결과를 보여주었다. 그러나 저자들은 이러한 "예외적인" 결과가 세 가지 "보이지 않는 손"에 의해 유도되었을 가능성이 있다고 주장한다:

1. 코드 누출(Code Leakage): LLM이 평가에 사용된 벤치마크 데이터셋(예: Vul4J, PrimeVul) 자체를 학습했을 수 있으며, 이로 인해 모델이 수정을 일반화하는 것이 아니라 수정 사항을 암기하여 출력할 수 있다.
2. 프롬프트 설계 (완성형 vs 패칭): 많은 연구가 수정을 취약한 코드를 플레이스홀더(placeholder)로 교체하는 코드 완성 작업으로 프레싱한다. 만약 모델이 수정 사항을 암기했다면, 단순히 그 패턴을 완성할 뿐이다.
3. 완벽한 결함 국지화(Perfect Fault Localization): 연구들은 종종 취약점이 있는 정확한 라인 번호를 제공한다. 코드 완성형 프롬프트와 결합될 경우, 이는 암기된 모델이 근본적인 로직을 이해하지 못한 채 수정을 재현할 수 있게 한다.

핵심 가설은 만약 LLM이 진정으로 일반화 능력을 갖추고 있다면, 국지화 오류를 도입했을 때 성능이 저하될 것이라는 점이다. 반대로, 만약 모델이 단순 암기를 통해 "속임수"를 쓰고 있는 것이라면, 모델은 국지화 오류를 무시하고 프롬프트의 정확성과 상관없이 알려진 수정을 재현할 것이다.

방법론
저자들은 Vul4J 및 VJTrans(변형/리팩토링된 데이터) 벤치마크를 사용하여 차별화된 파이프라인을 통한 "회의적 재현 연구(skeptical replication study)"를 제안한다. 방법론은 다음과 같다:

• 제어된 오류 주입: 완벽한 국지화 정보를 제공하는 기존 연구들과 달리, 본 파이프라인은 정답(ground truth)으로부터 $n$ 라인만큼(구체적으로 + 및 - 방향으로 각각 2, 4, 8 라인 오프셋) 국지화 정보를 의도적으로 어긋나게 설정한다.
• 프롬프트 변형: 본 연구는 제공되는 정보의 양에 따라 네 가지 프롬프트 템플릿(P1–P4)을 활용한다:
  • 일반 정보 + 함수만 제공.
  • 함수 + 라인 단위 국지화 마커.
  • 함수 + 취약점 유형 설명.
  • 함수 + 라인 단위 마커 및 취약점 유형 모두 제공.
• 2단계 LLM 파이프라인:
  1. 생성기(Generator): 초기 LLM이 (잠재적으로 오류가 포함된) 프롬프트를 바탕으로 패치를 생성한다.
  2. 검토자(Reviewer): 두 번째 LLM이 생성된 패치를 검토하여, 올바르게 보이면 "TRUE", 실패하면 "FALSE"를 출력한다.
• 검증: 생성된 패치는 다음 과정을 통해 검증된다:
  • 회귀 테스트(Regression Testing): 기능이 유지되는지 확인.
  • 취약점 증명(PoV) 테스트: 취약점이 실제로 수정되었는지 확인.
  • 수동 감사(Manual Audit): 자동 테스트를 통과한 패치 샘muples를 수동으로 검사하여 "정확함(Correct)", "부분적 정확함(Partially Correct)", 또는 "틀림(Wrong)"으로 분류.
• 통계 분석: 본 연구는 단순한 차이 유무를 넘어 *통계적 동등성(statistical equivalence)*을 입증하기 위해 **TOST (Two One-Sided Tests)**를 사용한다. 이는 국지화 오류에도 불구하고 성능이 안정적으로 유지되는지(암기 가설 지지)를 테스트하는 데 사용된다. 또한, 수동 감사 결과의 신뢰 구간을 계산하기 위해 Agresti-Coull-Wilson 방법을 사용한다.

주요 기여

1. 차별화된 재현: 본 논문은 단순한 재현을 넘어, 제어된 변수(국지화 오류)를 도입함으로써 LLM 기반 AVR의 강건성을 테스트하는 차별화된 접근을 취한다.
2. 암기 현상의 격리: VJTrans(식별자 이름 변경 및 제어 흐름이 변경된 리팩토링된 취약점)를 사용하여, 모델의 일반화 능력과 데이터 암기 현상을 분리하고자 한다. 이 변형된 케이스에서는 정확한 개발자 수정 사항을 사용할 수 없다.
3. 동등성을 위한 통계적 프레임워크: 저자들은 "속임수" 모델(암기 모델)이 완벽한 조건에서의 성능과 변형된 조건에서의 성능이 동일하게 나타나는지를 과학적으로 검증하기 위해 동등성 검정(TOST)을 제안한다.
4. "보이지 않는 손"에 대한 비판적 분석: 본 연구는 완벽한 국지화와 코드 완성형 프레임워크가 어떻게 성공률을 인위적으로 높일 수 있는지 보여줌으로써, 현재 AVR 벤치마크의 타당성에 의문을 제기한다.

결과 및 기대 결과
참고: 본 문서는 연구 계획/제안서이므로(실행 계획 및 연구 진술 섹션에 명시됨), 최종적인 경험적 결과를 제시하는 것이 아니라 실험 설계와 가설을 제시한다.

논문은 다음과 같은 구체적인 가설을 기술한다:

• 암기에 관한 가설: 만약 LLM이 암기에 의존한다면, 완벽한 국지화 프롬프트와 이동된 국지화 프롬프트 간의 성능 사이에 통계적으로 유의미한 동등성이 나타날 것이다(RQ1ERR). 즉, 모델은 오류를 무시하고 알려진 수정을 출력할 것이다.
• 일반화에 관한 가설: 만약 LLM이 일반화 능력을 갖추고 있다면, 국지화가 이동될 때 성능이 크게 저하될 것이다. 이는 모델이 잘못된 코드를 수정하려고 시도하기 때문이다.
• 검토자 행동: "속임수" 가설이 성립한다면, 두 번째 LLM(검토자) 역시 암기에 의존할 것이다. 검토자는 프롬프트의 국지화가 틀렸더라도 "그럴듯한(plausible)" 패치를 인식할 것이나, 리팩토링된(학습되지 않은) 취약점에 대해서는 올바른 패치를 인식하지 못할 수도 있다.
• 오프셋 민감도: 만약 모델이 속임수를 쓰는 것이라면, 작은($\le 2$) 변위와 큰($>3$) 변위 사이의 유의미한 성능 차이는 없을 것으로 예상된다. 즉, 모델이 프롬프트의 위치 힌트를 완전히 무시할 것이기 때문이다.

의의
본 논문은 LLM 기반 소프트웨어 공학의 재현성 위기를 해결하는 데 기여한다고 주장한다. 현재의 높은 성공률이 데이터 누출과 완벽한 국지화의 산물임을 입증함으로써, 본 연구는 다음을 목표로 한다:

• LLM 기반 AVR 도구에 대한 더욱 엄격한 기준을 제공한다.
• 취약점 패턴을 진정으로 이해하는 모델과 단순히 학습 데이터를 회상하는 모델을 구분한다.
• 향후 연구에서 보고된 프로그램 수정의 개선 사항이 진정한 일반화인지 아니면 암기 결과인지를 확실히 하기 위해 (오류 주입 + 동등성 검정이라는) 방법론을 확립한다.

저자들은 이러한 통제가 이루어지지 않는다면, 학계가 보안이 중요한 작업에서 LLM의 능력을 과대평가할 위험이 있다고 결론짓는다.