기술 요약: MigrationBench

문제 정의

대규모 언어 모델 (LLM) 은 코드 생성 및 고립된 이슈 해결에서 상당한 성과를 입증해 왔으나, 저장소 수준의 코드 마이그레이션에 대한 능력은 아직 충분히 평가되지 않았습니다. 단일 함수나 파일에 초점을 맞춘 작업과 달리, 코드 마이그레이션은 특히 레거시 시스템을 업그레이드할 때 전체 코드베이스에 걸친 상호 연결된 이슈를 탐색하기 위한 전체론적 접근이 필요합니다. 구체적으로, Java 8 저장소를 현대적인 장기 지원 (LTS) 버전 (Java 17 및 21) 으로 마이그레이션하는 것을 평가하도록 설계된 대규모 고품질 벤치마크 데이터셋이 부족합니다. 기존 벤치마크는 주로 코드 생성, 언어 간 번역, 또는 소규모 유지보수 작업에 초점을 맞추어 수천 줄의 코드와 복잡한 의존성 트리를 포함하는 실제 세계의 마이그레이션 시나리오의 복잡성과 규모를 포착하지 못합니다.

방법론

1. 데이터셋 큐레이션 (MigrationBench)

저자들은 Java 저장소 마이그레이션을 위한 최초의 대규모 벤치마크인 MigrationBench를 소개합니다. 큐레이션 과정은 GitHub 저장소에 적용된 엄격한 다단계 필터링 파이프라인을 포함합니다:

• 초기 필터링: 저장소는 라이선스 (MIT/Apache 2.0), 품질 (최소 3 개 스타), 빌드 도구 (Maven) 로 필터링되었습니다.
• 호환성 검증: 팀은 각 저장소에 대해 Java 8 에서 코드가 성공적으로 빌드되고 테스트를 통과하는 "기본 커밋"($H_b$) 을 식별했습니다. 여기에는 pom.xml 구성을 검증하고, 대상과 호환되지 않는 하드코딩된 Java 8 버전이 없는지 확인하며, 컴파일된 클래스의 주 버전이 52(Java 8) 인지 검증하는 작업이 포함되었습니다.
• 중복 제거: 파일 해시 및 콘텐츠의 정확한 일치에 기반하여 저장소의 중복을 제거했습니다.
• 테스트 요구사항: 저장소는 유닛 테스트가 포함된 Full 데이터셋 (5,102 개 저장소) 과 테스트가 없는 UTG 하위 집합 (4,814 개 저장소) 으로 분할되었습니다. Full 데이터셋은 마이그레이션 평가를 위한 주요 벤치마크로 사용됩니다.
• 선택된 하위 집합: Full 데이터셋에서 대표성을 갖춘 300 개 저장소 (selected) 하위 집합이 큐레이션되었습니다. 이 하위 집합은 실제 세계의 마이그레이션 도전 과제의 다양성과 정교함을 더 잘 반영하기 위해 더 크고 다중 모듈인 저장소에 중점을 둡니다.

2. 평가 프레임워크

진실된 대상 저장소 (ground-truth target repositories) 가 부재함에 따라, 저자들은 **근사적 기능 동등성 (Approximate Functional Equivalence, FE)**에 기반한 자동화된 평가 프레임워크를 제안합니다:

• 최소 마이그레이션: 다음 네 가지 기준으로 정의됩니다:
  1. 빌드 성공: Java 17 에서 mvn clean verify가 통과합니다.
  2. 버전 검증: 컴파일된 클래스의 주 버전이 61(Java 17) 입니다.
  3. 테스트 방법 불변성: @Test로 주석된 테스트 방법은 이름이 변경되거나, 비활성화되거나, 제거되지 않습니다 (AST 파싱을 통해 검증).
  4. 테스트 수 불변성: 테스트 케이스의 수가 감소하지 않습니다.
• 최대 마이그레이션: 최소 마이그레이션에 다섯 번째 기준을 추가하여 확장합니다:
  5. 의존성 현대화: 모든 의존성은 2024 년 11 월 기준 Maven Central 에서 사용 가능한 최신 안정 주 버전으로 업그레이드됩니다.

3. 에이전트 프레임워크

본 논문은 Strands 에이전트 프레임워크와 Claude-4.5-Sonnet을 사용하여 여러 에이전트 기반 접근 방식을 평가합니다:

• 베이스라인 (Strands 에이전트): 코드 마이그레이션 및 mvn clean verify 통과를 보장하기 위해 쉘 및 편집 도구를 갖추고 있습니다.
• 프롬프트 엔지니어링 (PE) 에이전트: 에이전트가 모든 의존성을 최신 주 버전으로 업그레이드하도록 명시적으로 지시하는 시스템 프롬프트가 추가되었습니다.
• RAG 에이전트: 에이전트가 올바른 최신 버전을 식별하기 위해 외부 의존성 지식 베이스를 쿼리하는 검색 증강 생성 (Retrieval-Augmented Generation) 방식을 통합합니다.
• 하이브리드 접근법: 정적 코드 분석 (의존성 결정론적 업그레이드) 과 LLM 에이전트를 결합합니다. 정적 도구는 버전 업그레이드를 처리하고, 에이전트는 이로 인해 발생하는 빌드 실패 및 호환성 문제를 수정합니다.

주요 기여

1. MigrationBench 데이터셋: 5,102 개 저장소 (Full) 와 큐레이션된 300 개 저장소 하위 집합 (Selected) 으로 구성된 저장소 수준 코드 마이그레이션을 위한 최초의 대규모 벤치마크 도입.
2. 평가 프레임워크: 마이그레이션 작업에서 진실된 기준 (ground truth) 의 부재를 해결하기 위해 최소 및 최대 기준을 통해 마이그레이션 성공을 평가하는 포괄적이고 자동화된 프레임워크.
3. 에이전트 솔루션: 코드 마이그레이션을 위한 에이전트 워크플로우의 제안 및 평가. 여기에는 효율성을 향상시키기 위해 정적 분석과 LLM 추론을 결합한 새로운 하이브리드 접근법이 포함됩니다.
4. 오픈 리소스: 재현성과 향후 연구를 지원하기 위해 데이터셋, 평가 소스 코드, 그리고 상세한 에이전트 궤적 (중간 결정 및 실패 모드 포함) 공개.

실험 결과

실험은 Strands 에이전트 프레임워크와 Claude-4.5-Sonnet 을 사용하여 선택된 하위 집합 (300 개 저장소) 에서 수행되었습니다.

• 최소 마이그레이션: 베이스라인 Strands 에이전트는 최소 마이그레이션에 대해 **71.67%**의 성공률 (pass@1) 을 달성했습니다.
• 최대 마이그레이션:
  • 베이스라인 에이전트의 성공률은 **15.33%**에 불과했습니다.
  • 프롬프트 엔지니어링 (PE) 추가는 효율성을 **45.67%**로 높였습니다.
  • RAG 통합은 효율성을 **53.33%**로 추가로 개선했습니다.
  • 하이브리드 접근법은 RAG 에이전트의 53.33% 효율성과 일치하면서 저장소당 평균 LLM 호출 수를 줄였습니다 (52.55 대 59.22), 이는 유리한 비용 - 효율성 트레이드오프를 보여줍니다.
• 모델 비교: 다른 모델 (DeepSeek-V3.1, Qwen3-Coder-480B, GLM-5) 에 하이브리드 접근법을 적용했을 때, Claude-4.5-Sonnet 이 여전히 가장 효과적이었으며, 다른 모델들도 다양한 정도의 성공을 보였습니다 (예: GLM-5 는 45.33% 달성).
• 컴파일 대 검증: 유닛 테스트를 비활성화하고 (mvn clean compile에만 의존) 최소 마이그레이션 효율성을 71.67% 에서 97.67% 로 높였으며, 이는 기능 동등성을 검증하는 데 테스트 스위트의 결정적인 역할을 강조합니다.

중요성 및 주장

본 논문은 MigrationBench 를 소프트웨어 공학 및 LLM 능력 연구 발전을 위한 중요한 자원으로 위치시킵니다. 저자들은 다음과 같이 주장합니다:

• 복잡성 격차: 마이그레이션 작업은 코드 생성이나 고립된 이슈 해결보다 훨씬 더 높은 수준의 난이도를 제시하며, 전체론적 저장소 이해가 필요합니다.
• 실현 가능성: 특히 에이전트 워크플로우와 외부 지식 (RAG) 또는 하이브리드 정적 분석에 의해 안내될 때, LLM 은 Java 8 에서 Java 17 로의 저장소 수준 마이그레이션을 효과적으로 처리할 수 있습니다.
• 표준화: 제안된 평가 프레임워크는 단순한 컴파일 검사를 넘어 의존성 현대화 및 테스트 보존을 포함하는 마이그레이션 성공을 평가하기 위한 엄격하고 표준화된 방법을 제공합니다.
• 미래 방향: 에이전트 궤적 및 UTG 하위 집합의 공개는 에이전트의 한계, 실패 모드 연구 및 레거시 코드를 위한 유닛 테스트 생성에 대한 새로운 길을 엽니다.

저자들은 기존 테스트 커버리지에 대한 의존성 (테스트되지 않은 코드의 경우 완전한 기능 동등성을 보장하지 않을 수 있음) 과 대규모 데이터 수집 중 Maven Central 의 스로틀링으로 인한 잠재적 재현성 문제를 포함한 한계를 인정합니다. 그러나 그들은 MigrationBench 가 코드 마이그레이션 방법의 체계적이고 재현 가능한 평가를 위한 견고한 기반을 제공한다고 주장합니다.