Efficient Black-Box Fault Localization for System-Level Test Code Using Large Language Models

1. 연구 배경 및 문제 정의 (Problem Definition)

• 문제 상황: 소프트웨어 디버깅 과정에서 '결함 위치 특정 (Fault Localization, FL)'은 매우 중요합니다. 기존 FL 기법들은 주로 시스템 대상 코드 (SUT, System-Under-Test) 의 결함을 찾는 데 초점을 맞추었으나, 실제 산업 현장에서는 시스템 레벨 테스트 코드 (Test Script) 자체의 결함으로 인해 테스트가 실패하는 경우가 빈번합니다.
• 기존 기법의 한계:
  • 실행 비용 및 비결정성: 전통적인 FL 기법 (예: 스펙트럼 기반 FL) 은 통과/실패 테스트 케이스를 반복 실행하여 비교해야 합니다. 그러나 시스템 레벨 테스트는 실행 비용이 매우 높고, 비결정적 (Non-deterministic) 인 실패가 발생하여 재현이 어렵거나 불가능한 경우가 많습니다.
  • 블랙박스 환경: 산업 현장 (QA 팀 등) 에서는 SUT 의 소스 코드에 접근할 수 없는 '블랙박스' 환경이 일반적입니다. 따라서 SUT 코드 분석에 의존하는 기존 기법을 적용하기 어렵습니다.
  • LLM 활용의 부재: 최근 LLM 을 활용한 FL 연구는 SUT 에 집중되어 있으며, 복잡한 시스템 레벨 테스트 코드 자체의 결함을 찾는 연구는 거의 이루어지지 않았습니다. 또한, 기존 LLM 기반 기법들은 전체 테스트 코드를 입력받아 토큰 과부하와 추론 시간 지연을 초래합니다.

2. 제안 방법론 (Methodology)

저자들은 실행 없이 (Execution-free) 테스트 코드의 결함을 특정하는 완전 정적 (Fully Static) 인 LLM 기반 접근법을 제안합니다. 핵심은 실행 로그를 기반으로 테스트의 실행 경로를 추정하여 불필요한 코드를 제거 (Pruning) 한 후 LLM 에게 전달하는 것입니다.

A. 실행 경로 추정 (Execution Trace Estimation)

테스트를 실제로 실행하지 않고, 단일 실패 로그와 정적 분석을 통해 실행된 코드 줄을 추정하는 3 가지 알고리즘을 개발했습니다.

1. 소스 - 로그 매칭 (Source-to-Log Matching):
   • 테스트 코드 내의 정적 로그 문장 (Static Log Statements, 예: print, logging.info 등) 과 실행 로그 메시지를 정규식 (Regex) 으로 매칭합니다.
   • 매칭된 문장은 '실행됨 (Executed)', 매칭되지 않은 문장은 '실행되지 않음 (Non-executed)'으로 분류합니다.
2. 구멍 메우기 알고리즘 (Fill-in-the-Gaps, T1):
   • 로그가 없는 구간을 가정하여 선형적으로 실행 상태를 추정합니다. 조건문이나 분기가 없는 단순 흐름을 가정하고, 알려진 실행/비실행 상태 사이의 구역을 채웁니다.
3. 제어 흐름 그래프 기반 알고리즘 (CFG-Based, T2):
   • 각 함수의 제어 흐름 그래프 (CFG) 를 구축하여 조건 분기 (Branch) 를 고려합니다. 실행된 노드와 비실행된 노드를 식별하여 더 정밀한 실행 경로를 추정합니다.
4. 호출 지점 정제 (Call Site Refinement, CSR):
   • 추정된 경로 내에서 호출되지 않은 함수 정의는 제거하여 검색 공간을 추가로 축소합니다.

B. 프롬프트 엔지니어링 및 LLM 활용

• 입력 최적화: 추정된 실행 경로 (Estimation Trace) 를 기반으로 실행되지 않은 코드를 제거한 가공된 테스트 코드와 오류 메시지 (Error Message) 를 LLM 에게 입력합니다.
• 그레인룰리티 (Granularity): 함수 (Function), 블록 (Block), 라인 (Line) 단위로 결함 위치를 요청할 수 있도록 프롬프트를 설계했습니다.
• 출력 형식: LLM 이 특정 ID 나 코드 줄 번호를 기반으로 결함 후보를 순위 매겨 출력하도록 지시합니다.

3. 주요 기여 (Key Contributions)

1. 새로운 문제 정의 및 해결: 시스템 레벨 테스트 코드 결함 위치 특정 (TCFL) 을 독립적인 연구 문제로 정의하고, LLM 을 활용한 자동화 솔루션을 최초로 제안했습니다.
2. 효율성 향상 알고리즘: 실행 없이 실행 경로를 추정하는 3 가지 알고리즘과 토큰 마스킹 전략을 통해 추정 정확도를 평가하고, 불필요한 코드를 제거하여 LLM 의 검색 공간과 추론 시간을 대폭 줄였습니다.
3. 산업용 데이터셋 평가: 사전 학습에 사용되지 않은 산업용 파이썬 테스트 케이스 (785 개) 를 사용하여 엄격하게 평가했습니다.
4. 성능 비교: 최신 LLM 기반 FL 기법 (FlexFL) 및 전통적 기법 (FauxPy, IRFL) 과 비교하여 정확도와 효율성을 입증했습니다.

4. 실험 결과 (Results)

• 추정 경로 정확도: 제안된 경로 추정 알고리즘 (특히 T1 과 T2 의 결합) 은 실제 실행 경로와 매우 유사하게 추정하여 **F1 점수 약 90%**를 달성했습니다.
• 효율성 개선:
  • 추론 시간: 불필요한 코드를 제거 (Pruning) 함으로써 LLM 추론 시간을 최대 34% 단축했습니다.
  • 토큰 사용량: 최신 LLM 기반 FL 기법 대비 93% 적은 토큰을 사용했습니다.
• 결함 위치 특정 정확도:
  • **블록 레벨 (Block-level)**이 가장 실용적인 균형을 보였습니다. Top-3 정확도 (Hit@3) 에서 **81%**의 성공률을 기록했습니다.
  • 함수 레벨은 높은 정밀도 (Precision, 약 82%) 를 보였으나, 라인 레벨은 검색 공간이 너무 커서 성능이 상대적으로 낮았습니다.
• 기타 기법 대비 우위:
  • FlexFL(최신 LLM 기반) 과 비교하여 동등하거나 더 높은 정확도를 유지하면서, 평균 추론 시간은 85% 이상 단축되었습니다.
  • 전통적인 정보 검색 기반 (IRFL) 기법이나 스택 트레이스 기반 (FauxPy) 기법보다도 우수한 성능을 보였습니다.

5. 의의 및 중요성 (Significance)

• 실무 적용 가능성: SUT 소스 코드 접근이 불가능한 블랙박스 환경에서도, 테스트 실행 비용이 높거나 재현이 어려운 상황에서도 결함을 신속하게 찾을 수 있는 방법을 제공합니다.
• 개발자 생산성 향상: 테스트 코드 자체의 결함을 조기에 발견함으로써, 개발자가 SUT 전체를 불필요하게 디버깅하는 시간을 줄여줍니다.
• 확장성: LLM 의 컨텍스트 윈도우 제한과 비용 문제를 해결하기 위해 입력 코드를 정적으로 최적화하는 접근법은 대규모 시스템 테스트 및 CI/CD 파이프라인 통합에 매우 유용합니다.
• 연구 방향 제시: 테스트 코드 결함 위치 특정이라는 새로운 연구 분야를 개척하고, 추후 테스트 코드 수정 (Repair) 및 취약점 식별 등으로 확장 가능한 기반을 마련했습니다.

결론적으로, 이 논문은 대규모 언어 모델을 활용하여 시스템 레벨 테스트 코드의 결함을 실행 없이 빠르고 정확하게 찾아내는 혁신적인 기법을 제시하며, 산업 현장의 복잡한 디버깅 문제를 해결하는 데 중요한 기여를 하고 있습니다.