MR-Adopt: Automatic Deduction of Input Transformation Function for Metamorphic Testing

1. 연구 배경 및 문제 정의 (Problem)

메타모픽 테스팅 (Metamorphic Testing, MT) 은 개별 테스트 케이스의 출력 정답 (Oracle) 을 구하기 어려운 상황에서, 입력 간의 관계 (Metamorphic Relation, MR) 와 그에 따른 출력 간의 관계를 검증하는 강력한 테스팅 기법입니다.

최근 연구에 따르면, 개발자가 작성한 테스트 케이스 중 상당수가 암묵적으로 MR 을 인코딩하고 있습니다. 그러나 11,000 개 이상의 인코딩된 MR 테스트 케이스 (MTCs) 를 분석한 결과, 70% 이상은 입력 변환 (Input Transformation) 로직이 명시적으로 포함되지 않고 있었습니다.

• 문제점: 개발자가 소스 입력 (Source Input) 과 후속 입력 (Follow-up Input) 을 하드코딩 (Hard-coding) 하여 작성한 경우, 이 테스트 케이스는 새로운 소스 입력에 대해 자동화된 후속 입력을 생성할 수 없습니다.
• 결과: 가치 있는 인코딩된 MR 들이 새로운 테스트 입력에 재사용되지 못하여, 테스트 적절성 (Test Adequacy) 을 향상시키는 자동화된 MT 가 제한됩니다.

2. 제안된 방법론: MR-Adopt (Methodology)

이 논문은 MR-Adopt를 제안하여, 하드코딩된 입력 쌍으로부터 입력 변환 함수 (Input Transformation Function) 를 자동으로 추론하는 것을 목표로 합니다. 이 작업은 "예제 기반 프로그래밍 (Programming by Example, PBE)" 문제로 볼 수 있으며, 대언어 모델 (LLM) 을 활용하여 해결합니다.

MR-Adopt 는 크게 두 단계 (Phase) 로 구성된 파이프라인을 사용합니다.

Phase 1: 입력 쌍 준비 (Input Pair Preparation)

LLM 이 직접 변환 함수를 생성할 때 발생할 수 있는 과적합 (Overfitting) 문제를 해결하고 일반화 능력을 높이기 위해 추가적인 예제를 생성합니다.

1. 입력 쌍 생성 (Generation): LLM 에게 기존 MTC 의 맥락 (테스트 코드, 변환 대상 메서드 등) 을 제공하고, 하드코딩된 입력 쌍과 동일한 관계를 따르는 새로운 소스/후속 입력 쌍을 생성하도록 지시합니다. (Chain of Thought 전략 적용)
2. 입력 쌍 정제 (Refinement): LLM 이 생성한 코드에는 테스트 입력 생성과 무관한 코드 (예: 잘못된 어설션 등) 가 포함될 수 있습니다. 데이터 플로우 분석 (Data-flow Analysis) 을 수행하여 소스/후속 입력 정의에 필요한 코드만 추출하고 불필요한 코드를 제거합니다.
3. 입력 쌍 검증 (Validation): 생성된 입력 쌍이 MTC 에 포함된 개발자 작성의 출력 관계 (어설션) 를 만족하는지 실행하여 검증합니다. 이를 통해 유효한 입력 쌍만 다음 단계로 전달합니다.

Phase 2: 변환 함수 생성 (Transformation Generation)

1. 변환 함수 생성 (Generation): Phase 1 에서 준비된 (원본 + 추가된) 입력 쌍들을 예제로 활용하여, LLM 이 소스 입력을 후속 입력으로 변환하는 함수 코드를 생성하도록 유도합니다.
2. 변환 함수 정제 (Refinement): 생성된 변환 함수 코드에서도 데이터 플로우 분석을 통해 불필요하거나 오류를 유발하는 코드 (예: 존재하지 않는 API 호출) 를 제거하고 필요한 의존성을 자동으로 추가합니다.
3. 변환 함수 평가 (Assessment): 정제된 여러 후보 변환 함수들을 새로운 소스 입력들에 적용하여 실행합니다. 가장 많은 입력에 대해 성공적으로 작동하고 (컴파일 및 어설션 통과), 일반화 가능성이 높은 변환 함수를 최종 결과로 선택합니다.

3. 주요 기여 (Key Contributions)

1. 최초의 자동화 접근: 테스트 케이스에 인코딩된 MR 을 위해 입력 변환 함수를 자동으로 생성하는 최초의 연구입니다. 이를 통해 기존에 재사용이 불가능했던 MR 들을 새로운 테스트 입력에 적용 가능하게 합니다.
2. MR-Adopt 프레임워크 개발:
   • 과적합 완화: 단일 입력 쌍만으로는 LLM 이 일반화되지 않은 코드를 생성할 수 있으므로, LLM 을 활용하여 추가적인 예제 입력 쌍을 생성하고 이를 활용하는 2 단계 파이프라인을 설계했습니다.
   • 코드 정제 전략: LLM 이 생성한 코드에서 작업과 무관하거나 오류가 있는 코드를 제거하기 위해 데이터 플로우 분석을 도입했습니다.
   • 검증 전략: 개발자가 작성한 출력 관계 (어설션) 를 오라클로 활용하여 생성된 변환 함수의 정확성을 검증하고 가장 일반화 가능한 것을 선택합니다.
3. 대규모 데이터셋 구축 및 공개: 2023 년 4 월 이후 작성된 100 개의 인코딩된 MR 테스트 케이스와 이에 대한 정답 (Ground Truth) 변환 함수를 포함한 데이터셋을 구축하여 공개했습니다.

4. 실험 결과 (Results)

100 개의 개발자 작성 테스트 케이스를 대상으로 실험을 수행한 결과는 다음과 같습니다.

• 변환 함수 생성 성능:

  • MR-Adopt 는 100 개 MR 중 95 개에서 컴파일 가능한 변환 함수를 생성했습니다.
  • 100% 일반화 (모든 준비된 소스 입력에 적용 가능): MR-Adopt 는 72 개 (72.00%) 의 변환 함수를 생성했습니다. 이는 베이스라인인 GPT-3.5 를 직접 프롬핑팅했을 때 (54 개) 보다 33.33% 향상된 수치입니다.
  • Llama3, Deepseek 등 다른 LLM 을 베이스로 할 때도 MR-Adopt 의 성능이 우월했습니다.

• 후속 입력 생성 능력:

  • MR-Adopt 가 생성한 변환 함수는 1,366 개의 소스 입력 중 91.21% 에 대해 유효한 후속 입력을 생성했습니다.
  • 이는 LLM 을 직접 블랙박스 변환기로 사용한 경우 (약 4353%) 보다 **약 72108% 더 높은** 유효성 비율을 보입니다.

• 테스트 적절성 향상 (Test Adequacy):

  • MR-Adopt 를 통해 생성된 변환 함수와 새로운 입력을 기존 테스트에 통합했을 때:
    • 코드 라인 커버리지 (Line Coverage): 10.62% 증가
    • 변이 점수 (Mutation Score): 18.91% 증가
  • 이는 인코딩된 MR 을 재사용하여 더 많은 프로그램 동작을 검증할 수 있음을 의미합니다.

5. 의의 및 결론 (Significance)

• 테스트 자동화의 한계 극복: 기존 자동화 테스트 도구 (EvoSuite 등) 가 복잡한 입력 관계나 오라클 부재로 인해 테스트 생성에 실패하는 문제를 해결합니다. 개발자가 이미 인코딩해 둔 MR 지식 (도메인 지식) 을 자동화 가능한 형태로 변환합니다.
• 비용 효율성: LLM 을 매번 호출하여 입력을 생성하는 대신, 한 번만 변환 함수를 생성하여 이후에는 그 함수를 재사용하므로 비용과 시간을 절감할 수 있습니다.
• 실용성: 생성된 변환 함수는 실제 프로젝트의 테스트 적절성을 유의미하게 향상시키며, 특히 오라클이 명확하지 않은 "테스트 불가능한" 프로그램 (예: 암호화, 시스템 시간 관련 함수) 에서 결함 탐지 능력을 크게 높이는 것을 입증했습니다.

결론적으로, MR-Adopt 는 LLM 의 코드 이해 및 생성 능력을 활용하여, 기존 테스트 케이스에 숨겨져 있던 메타모픽 관계를 자동화 가능한 형태로 복원함으로써 소프트웨어 테스트의 품질과 효율성을 획기적으로 높이는 효과적인 도구입니다.