기술 요약: 코드 쌍을 넘어: LLM 코드 번역을 위한 대화 기반 데이터 생성

문제 정의

대규모 언어 모델(LLM)은 Python이나 Java와 같은 대중적인 언어의 코드 번역에서 상당한 능력을 입증해 왔습니다. 그러나 고품질의 병렬 학습 데이터가 부족한 저자원 프로그래밍 도메인(예: Fortran) 및 특수 프레임워크(예: CUDA)에서는 성능이 크게 저하됩니다. 기존의 에이전트 기반 접근 방식은 일반적으로 소스-타겟 워크플로를 따르며, 최종적인 소스-타겟 코드 쌍만을 생성합니다. 이러한 방식은 문법적으로 유효한 코드를 생성하는 데는 효과적이지만, 프로그램의 의미론적 구조와 기능적 동작에 대한 깊은 추론을 가능하게 하는 데 필수적인 중간 정보(예: 컴파일러 오류, 런타임 진단, 외부 도구와의 상호작나)를 버리게 됩니다. 결과적으로, 정적인 코드 쌍으로 학습된 모델은 복잡한 번역 시나리오에서 오류로부터 회복하거나 기능적으로 올바른 코드를 생성하는 데 실패하는 경우가 많습니다.

방법론

저자들은 에이전트 기반 번역 워크플로 내에서 이중 LLM 질문자-해결사(Questioner–Solver) 설계를 도입하여 전통적인 코드 쌍을 넘어선 자동 데이터셋 생성 파이프라인을 제안합니다. 이 접근 방식은 번역 개선 뒤에 숨겨진 추론 과정을 포착하는 다회차 대화를 생성합니다.

질문자-해결사 모듈

시스템의 핵심은 두 가지 뚜렷한 LLM 역할로 구성됩니다:

• 질문자(Questioner): 현재 상태를 분석하고, 대화 메모리(과거 시도, 오류, 수정 사항)를 활용하며, 외부 신호(컴파일러 오류, 런타임 출력)를 통합합니다. 목표 지향적인 질문을 구성하고, 제약 조건을 명시하며, 소스-타겟 간의 일관성을 점검합니다.
• 해결사(Solver): 번역을 실행하고, 유닛 테스트를 생성하며, 수정 사항을 제안하고, 검증 결과를 반환합니다.

다회차 대화 생성 파이프라인

파이프라인은 소스 프로그래밍 언어(SPL) 코드를 다음 단계들을 거쳐 처리하여 검증된 대화를 생성합니다:

1. 전처리: 소스 코드가 자기 완결적이고 실행 가능하며 컨텍스트 윈도우에 적합하도록 필터링합니다.
2. SPL 유닛 테스트 생성 및 검증: 해결사가 소스 코드에 대한 유닛 테스트를 생성합니다. 질문자가 실행 결과를 분석하며, 실패가 발생할 경우 해결사가 테스트나 코드를 수리합니다. 이 루프는 (임계값에 도달할 때까지) 테스트가 통과될 때까지 지속됩니다.
3. 초기 번역: 질문자가 타겟 언어 번역을 요청하면 해결사가 초기 코드를 생성합니다.
4. 번역 검증 및 개선: 번역된 코드를 컴파일하고 유닛 테스트에 대해 실행합니다. 질문자는 결과를 평가하고, 오류를 바탕으로 해결사에게 번형(refinement)을 지시합니다. 이 반복적인 루프는 문제 해결 궤적을 포착합니다.
5. 이중 테스트 검증: 마지막 단계에서는 소스와 번역된 프로그램 간의 기능적 동등성을 보장하기 위해 출력을 비교합니다. 성공적인 번역과 그 전체 대화 이력이 검증된 데이터로 저장됩니다.

데이터셋 구축

파이프라인은 미세 조정을 위해 두 가지 유형의 데이터 형식을 생성합니다:

• 대화 수준(Dialogue-Level): 전체 워크플로를 포착하는 전체 다회차 대화.
• 질문-솔루션(Question–Solution, QS) 쌍: 대화에서 추출된 원자적 교환 단위로, 추론 과정을 세밀한 단계로 분해한 것.

저자들은 이 파이프라인을 Fortran→C++ 및 C++→CUDA 작업에 적용하여 각각 3.64k 및 3.93k 개의 대화를 생성했습니다. 이는 다시 각각 14.1k(Fortran→C++) 이상 및 12.7k(C++→CUDA) 개의 QS 쌍으로 분해되었습니다.

주요 기여

1. 자동화된 대화 생성 파이프라인: 이중 LLM 질문자-해결사 모듈에 의해 구동되는 프레임워크로, 외부 지식(컴파일러, 런타임)을 구조화된 추론 궤적에 통합하여 정적인 코드 쌍을 넘어섭니다.
2. 새로운 번역 벤치마크: 엄격한 평가를 위해 세 가지로 분리된 테스트 스위트와 함께 Fortran→C++ 및 C++→CUDA에 대한 대규모 검증된 번역 데이터셋을 제공합니다.
3. 데이터 구조화 전략의 검증: 저자들은 서로 다른 데이터 형식이 서로 다른 작업에 최적화되어 있음을 보여줍니다. 대화를 세밀한 QS-Pair로 분해하는 것은 구문적 복잡성을 마스터하는 데 매우 효과적인 반면, 전체 대화(Dialogue) 궤적을 사용하는 것은 의미론적 정확성을 보존하는 데 더 우수합니다.

실험 결과

저자들은 생성된 데이터로 중간 규모의 오픈 웨이트 모델(CodeLlama-13B, DeepSeek-Coder-6.7B, Qwen2.5-7B)을 미세 조정하여 접근 방식을 평가했습니다.

• 기능적 정확성: 생성된 데이터로 미세 조정했을 때 극적인 향상을 보였습니다. 까다로운 C++→CUDA 작업에서, QS-Pair 데이터로 학습된 CodeLlama-13B 모델의 유닛 테스트 성공률은 12.5%에서 68.8%로 (56% 이상의 상승) 증가했습니다. 마찬가지로 Fortran→C++ 번역에서 CodeLlama-13B는 42.3%에서 74.1%로 향상되었습니다.
• 디버그 라운드 이득: 대화 데이터로 학습된 모델은 컴파일, 실행 및 유닛 테스트 성공률에 있어 정적 코드 쌍으로 학습된 모델보다 우수하며, 여러 디버그 라운드에 걸쳐 일관된 개선을 보여주었습니다.
• 독점 시스템과의 경쟁력: 대화로 튜닝된 Qwen2.5-7B 모델은 컴파일 및 실행 성공과 같은 핵심 지표에서 더 큰 독점 시스템(Gemini 2.5 Flash, Llama 4 Scout 17B)을 유의미하게 능가하였으며, 이는 대화 중심 감독의 비용 효율성을 강조합니다.
• CodeBLEU 점수: 미세 조정된 모델들은 참조 솔루션과의 구문 및 구조적 정렬이 개선되었음을 나타내는 일관된 CodeBLEU 점수 향상을 보여주었습니다.

의의

본 논문은 대화 기반 감독이 여러 오픈 웨이트 모델 제품군에서 기능적 정확성을 일관되게 향상시키며, 특히 전통적인 병렬 코퍼스가 없는 저자원 도메인에서 그러함을 주장합니다. 구조화된 추론(컴파일러 피드백, 오류 수정 단계)을 데이터셋에 포함함으로써, 이 접근 방식은 LLM이 단순히 번역의 최종 결과뿐만 아니라 정확성이 달성되는 과정까지 학습할 수 있게 합니다. 결과는 이 방법이 레거시 코드 현대화에서 최첨단 성능을 달성하기 위한 비용 효율적인 경로를 제공함을 시사하며, 더 작은 오픈 웨이트 모델이 더 큰 독점 시스템과 경쟁하거나 이를 능가할 수 있게 합니다. 저자들은 본 프레임워크가 기능적 정확성을 필수적인 첫 단계로 다루고 있지만, 향후 연구에서는 성능 인지 평가 지표를 통합하는 것을 목표로 한다고 언급했습니다.