PITMuS: A Tool for Automated Bug Dataset Generation via Source-Level Mutant Reconstruction

기술적 요약: PITMuS

문제 제기
LLM 기반 소프트웨어 공학의 부상은 실행 가능하고 문맥이 풍부한 버그 아티팩트에 대한 중요한 수요를 창출했습니다. 이러한 아티팩트, 구체적으로 짝을 이룬 정정된 코드와 버그가 있는 코드, 테스트 대상 메서드 (MUTs), 문서화, 그리고 메타데이터는 자동화된 버그 위치 파악, 수정, 그리고 테스트 생성 기법을 훈련하고 평가하는 데 필수적입니다. Defects4J 과 같이 큐레이션된 벤치마크가 존재하지만, 이들은 정적이며 범위가 제한적이고, 코드 모델이 대규모 공개 코퍼스로 훈련됨에 따라 데이터 오염에 점점 더 취약해지고 있습니다.

상호 보완적인 전략으로는 실제 시스템 버전을 선택하고 변이 테스트를 통해 통제된 버그를 주입하여 최신의, 컷오프 (cutoff) 를 인지하는 데이터셋을 생성하는 것이 포함됩니다. 자바 생태계에서 PIT 는 최첨단 변이 테스트 도구입니다. 그러나 PIT 는 속도와 실용성을 위해 바이트코드 수준에서 작동하며, 실제 변형된 소스 코드를 제공하는 대신 변이 유형, 소스 파일, 줄 번호, 설명과 같은 XML 메타데이터를 통해 변이체를 보고합니다. 이러한 설계는 상당한 격차를 만듭니다: 사용자는 PIT 변이체를 구조화된 소스 수준 데이터셋 레코드로서 쉽게 검사, 재생, 컴파일하거나 재사용할 수 없습니다. 또한, 줄 번호와 변이 설명으로부터 정확한 소스 편집을 재구성하는 것은 단순하지 않습니다. 단일 소스 줄에 여러 개의 후보 연산자 (예: 여러 개의 덧셈) 가 포함될 수 있어 모호성이 발생하는데, 이는 바이트코드 수준의 정보는 해결하지만 소스 수준 도구는 종종 놓치기 때문입니다.

방법론
PITMuS 는 근본적인 변이 엔진을 대체하지 않고 표준 PIT 보고서에서 소스 수준 변이체를 재구성함으로써 이 격차를 해소하도록 설계된 도구입니다. 워크플로우는 세 가지 주요 입력을 통합합니다:

1. PIT XML 보고서: 보고된 변이체를 식별합니다.
2. 컴파일된 .class 파일: 디버깅 정보와 바이트코드 수준의 세부 사항을 제공합니다.
3. 원본 자바 소스 파일: 재구성의 기준이 됩니다.

이 도구는 두 가지 명확한 단계로 작동합니다:

• 1 단계: 자동화된 데이터셋 생성
  PITMuS 는 XML 보고서를 파싱하여 변이 세부 사항을 추출합니다. 줄 번호와 설명이 소스 토큰을 고유하게 식별하지 못하는 모호성을 해결하기 위해, 도구는 하이브리드 접근 방식을 사용합니다:

  • javalang 을 사용하여 원본 소스 코드를 파싱하고 후보 토큰을 식별합니다.
  • 한 줄에 여러 후보가 존재하는 경우, 컴파일된 클래스 파일에서 바이트코드 정보를 활용하여 정확한 대상을 파악합니다.
  • 특정 토큰이 식별되면, 변형된 문장을 재구성하기 위해 변이를 적용합니다.
  • 그런 다음 도구는 포함하는 메서드, 선행 Javadoc, 그리고 관련 메타데이터 (변이체 ID, 파일 경로, 바이트코드 인덱스) 를 추출하여 <원본 메서드, 변형된 메서드, 문서화, 메타데이터> 형태의 구조화된 레코드를 형성합니다.

• 2 단계: 소스 수준 변이체 주입
  이 단계는 재구성된 변이체를 실제 자바 소스 파일로 구체화합니다. PITMuS 는 원본 소스 파일을 복사하고, 들여쓰기를 유지하면서 대상 문장을 재구성된 변형된 문장으로 대체한 후, javalang 토큰화를 사용하여 결과를 검증합니다. 주입은 네 가지 세분성 수준에서 수행될 수 있습니다:

  • 변이체 수준: ID 로 특정 변이체.
  • 문장 수준: 특정 문장과 연관된 모든 변이체.
  • 클래스 수준: 선택된 클래스의 모든 변이체.
  • 시스템 수준: 전체 시스템에 걸친 모든 변이체.

주요 기여
본 논문은 다음과 같은 기여를 제시합니다:

1. PITMuS 도구: 표준 PIT 보고서에서 소스 수준 변이체를 재구성하여 버그가 있는/수정된 코드 쌍과 문서화 컨텍스트를 포함하는 구조화된 데이터셋 생성을 가능하게 하는 시스템.
2. 이중 유틸리티: 실행 가능한 소스 파일을 생성하는 소스 수준 변이체 주입 도구와 훈련/평가를 위한 구조화된 레코드를 생성하는 메서드 수준 데이터셋 구축 도구를 모두 제공합니다.
3. 실증적 평가: 자바 시스템 8 개에 대한 포괄적인 평가를 통해 도구가 대량의 변이를 처리하고 재구성할 수 있음을 입증했습니다.

결과
평가에는 바이트코드 엔지니어링부터 HTML 파싱에 이르기까지 다양한 분야를 아우르는 8 개의 다양한 오픈 소스 자바 시스템 ( commons-lang3, bcel, jsoup 포함) 에서 수행되었습니다.

• 규모: PITMuS 는 1,913개의 소스 파일에 걸쳐 69,229개의 PIT 변이를 처리했습니다.
• 재구성률: 도구는 69,198개의 정렬된 원본 - 변이체 메서드 쌍을 성공적으로 재구성하여 **99.96%**의 성공률을 달성했습니다.
• 문서화 컨텍스트: 재구성된 쌍 중 45,913(66.35%) 개가 비어 있지 않은 Javadoc 을 포함하여 LLM 훈련에 중요한 문서화 컨텍스트를 보존했습니다.
• 연산자 성능: 여섯 가지 변이 연산자 (VoidMethodCall, NullReturns, TrueReturns, FalseReturns, Increments, InvertNegatives) 는 100% 재구성을 달성했습니다. 나머지 연산자들도 99.69% 이상의 유지율을 보였습니다. 가장 높은 실패율은 RemoveConditionals 에서 관찰되었습니다 (35,739 개 중 14 개 실패).
• 실패 분석: 재구성되지 않은 31 개의 변이 (실패율 < 0.05%) 는 소스 위치 불일치로 귀결되었습니다. 이는 여러 바이트코드 수준 변이체가 동일한 소스 편집에 매핑될 때 (중복 회피로 이어짐) 또는 보고된 줄 번호가 연산자의 실제 줄과 다른 다중 줄 표현식에서 변이가 발생했을 때 발생했습니다.

의의
본 논문은 PITMuS 가 수동 처리 없이 정렬된 원본 - 변이체 코드 쌍과 문서화 컨텍스트가 필요한 연구자와 개발자들의 중요한 요구를 해결한다고 주장합니다. 표준 보고서 수준 변이 아티팩트를 실행 가능한 소스 수준 예제로 변환함으로써 PITMuS 는 다음과 같은 효과를 가집니다:

• 변이 기반 데이터셋 구축에 필요한 노력을 줄입니다.
• 실증 연구, 모델 훈련, 도구 평가를 위해 소스 수준 표현이 필요한 사용자에게 PIT 변이체를 접근 가능하게 합니다.
• LLM 시대에 정적 벤치마크와 관련된 오염 위험을 완화하는 확장 가능하고 컷오프를 인지하는 최신 데이터셋 생성 전략을 제공합니다.

저자들은 특정 시스템에서 평가되었지만, 이 도구는 PIT 를 통합할 수 있는 모든 자바 시스템에 적용 가능하다고 강조합니다. 코드와 아티팩트는 Apache 2.0 라이선스 하에 오픈 소스로 공개되었습니다.