1. 문제 정의 (Problem Definition)

• 배경: 많은 기업들이 수십 년 전 작성된 레거시 시스템 (PL/SQL, COBOL 등) 을 현대적인 플랫폼 (Java 등) 으로 마이그레이션해야 하는 압박을 받고 있습니다. 특히 금융 기관과 같은 환경에서는 약 250 만 줄에 달하는 방대한 PL/SQL 코드를 Java 로 전환해야 하는 과제가 존재합니다.
• 핵심 난제:
  • 도메인 로직 보존 및 아키텍처 준수: 단순한 언어 변환을 넘어, 조직 내부의 공유 API, 라이브러리, 아키텍처 프레임워크에 맞춰야 합니다.
  • LLM 의 한계: 기존 LLM 을 직접 적용하면 문법적으로 유효한 (Syntactically valid) 코드를 생성할 수는 있으나, 실제 생산 환경 (Production Framework) 에서 컴파일되지 않거나 기존 API 와 호환되지 않아 통합이 불가능한 경우가 많습니다.
  • 평가의 부재: 기존 연구들은 주로 함수 단위의 번역에 집중하거나 공개 벤치마크 (Python-C++ 등) 에 의존하여, 기업 특유의 레거시 언어와 아키텍처 제약을 반영한 대규모 평가가 부족했습니다.

2. 방법론 (Methodology: LegacyTranslate)

이 논문은 LegacyTranslate라는 LLM 기반 멀티에이전트 프레임워크를 제안합니다. 이 프레임워크는 PL/SQL 에서 Java 로의 번역을 세 가지 협력하는 에이전트 단계를 거쳐 수행합니다.

A. 초기 번역 에이전트 (Initial Translation Agent)

• 역할: 레거시 언어에서 현대 언어로의 1 차 번역을 수행합니다.
• 기법: Retrieval-Augmented Generation (RAG) 방식을 사용합니다.
  • Example Retriever를 사용하여 참조 세트 (Reference Set) 에서 의미적으로 유사한 PL/SQL→Java 코드 쌍을 검색합니다.
  • 검색된 예시 (In-context examples) 를 프롬프트에 포함시켜 LLM 이 번역 태스크를 학습하도록 유도합니다.
  • 초기 Java 코드를 생성합니다.

B. API 그라운딩 에이전트 (API Grounding Agent)

• 역할: 생성된 코드가 조직의 특정 API 와 라이브러리에 부합하도록 정렬합니다.
• 기법:
  • 프로젝트의 아키텍처에 기반한 API 지식베이스 (Knowledge Base) 를 구축합니다 (클래스, 시그니처, 바디, 위치 등 추출).
  • 초기 번역 코드가 컴파일되지 않거나 오류가 발생할 경우, LLM 에게 오류 메시지와 지식베이스를 제공하여 필요한 API 목록을 선별 (Shortlisting) 하도록 합니다.
  • 이는 LLM 이 임의의 API 를 사용하는 대신, 실제 프로젝트에서 정의된 API 를 사용하도록 강제합니다.

C. 정제 에이전트 (Refinement Agent)

• 역할: 컴파일러 피드백과 테스트 결과를 기반으로 코드를 반복적으로 수정합니다.
• 기법:
  • 생성된 코드를 컴파일하고 단위 테스트 (Unit Test) 를 실행합니다.
  • 컴파일 오류 메시지 (Execution error) 와 선별된 API 정보를 LLM 에게 다시 입력하여 수정된 코드를 생성합니다.
  • 코드가 성공적으로 컴파일되고 모든 테스트를 통과할 때까지, 또는 최대 반복 횟수에 도달할 때까지 이 루프를 반복합니다.

3. 주요 기여 (Key Contributions)

1. API 인지형 멀티에이전트 프레임워크 제안: 레거시 PL/SQL 코드를 현대 Java 로 변환하면서, 기업 특유의 API 와 아키텍처 제약을 명시적으로 고려하는 LegacyTranslate를 개발했습니다.
2. 에이전트별 기여도 입증: 단일 LLM 프롬프트가 아닌, 초기 번역, API 정렬, 정제라는 세 단계 에이전트가 순차적으로 협력할 때 번역 품질이 획기적으로 향상됨을 실험을 통해 증명했습니다.
3. 모델 및 검색기 성능 분석: 번역 품질이 LLM 의 용량 (Capacity) 과 검색기 (Retriever) 의 성능에 직접적으로 의존함을 보여주었습니다. 특히 고차원 임베딩을 가진 검색기와 대규모 코드 특화 LLM 이 생산 환경에서의 컴파일 성공률에 결정적임을 규명했습니다.

4. 실험 결과 (Results)

실험은 유럽 금융기관의 실제 현대화 프로젝트 (약 250 만 줄의 PL/SQL) 에서 수집된 68 개의 PL/SQL→Java 페어와 단위 테스트를 기반으로 수행되었습니다.

• 성능 지표:
  • LLM-only (기저선): 문법적 유효성 (Structural Validity) 42.6%, 컴파일 성공률 0.0%, 테스트 통과율 0.0%. (생산 환경 API 미반영으로 실패)
  • LLM + 무작위 예시: 문법적 유효성 98.5% 로 상승했으나, 컴파일 성공률은 1.5% 에 머물렀습니다. (무작위 예시는 구조적 일관성만 도움)
  • LegacyTranslate (제안 방법):
    • 문법적 유효성: 100%
    • 컴파일 성공률: 52.9%
    • 테스트 통과율: 33.8%
• 에이전트별 기여도:
  • 초기 번역 에이전트 단독: 컴파일 45.6%, 테스트 통과 30.9%.
  • API 그라운딩 및 정제 에이전트 추가: 컴파일률 8%p 증가, 테스트 통과율 3%p 추가 증가.
• 모델 비교:
  • Qwen2.5-14B가 가장 우수한 성능을 보였습니다.
  • 작은 모델 (CodeLlama-13B, Qwen2.5-7B 등) 은 긴 컨텍스트와 복잡한 프레임워크 제약을 처리하지 못해 대부분 실패했습니다.
  • 검색 모델 중 SFR-Mistral (4096 차원 임베딩) 이 가장 높은 검색 정확도를 보였습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 실용적 가치: LLM 기반 레거시 마이그레이션이 단순한 문법 변환을 넘어, 실제 기업 환경에서 컴파일되고 테스트를 통과하는 실행 가능한 코드를 생성할 수 있음을 입증했습니다.
• 핵심 통찰:
  • API 그라운딩의 필수성: 명시적인 API 지식베이스와 정렬 과정 없이는 생성된 코드가 거의 항상 컴파일되지 않습니다.
  • 검색 품질의 중요성: 문맥에 맞는 예시 검색 (Retrieval) 의 질이 기능적 정확도에 직접적인 영향을 미칩니다.
  • 모델 용량의 결정적 역할: 프레임워크 수준의 제약을 처리하려면 충분한 용량을 가진 대형 모델이 필요합니다.
• 한계 및 향후 작업: 현재는 PL/SQL→Java 에 특화되어 있으며, 공개된 데이터셋이나 파인튜닝된 모델의 부재가 한계로 지적되었습니다. 향후 다른 언어 조합으로의 확장 및 추가 에이전트 도입이 제안되었습니다.

이 연구는 대규모 레거시 시스템의 현대화 과정에서 LLM 을 효과적으로 활용하기 위한 멀티에이전트 협업 아키텍처의 중요성을 강조하며, 실제 산업 현장에서의 적용 가능성을 제시했습니다.