Improving Code Translation with Syntax-Guided and Semantic-aware Preference Optimization

기술 요약: CTO – 코드 번역을 위한 구문 유도 및 의미 인식 선호도 최적화

문제 정의

대규모 언어 모델 (LLM) 은 코드 번역에서 상당한 잠재력을 보여주었으나, 구문적 정확성과 의미적 일관성을 동시에 보장하는 데는 종종 어려움을 겪습니다. 기존 접근법은 정렬을 위한 신뢰할 수 있는 보상 신호를 정의하는 데 있어 치명적인 한계에 직면해 있습니다:

• 구문 보상: 컴파일러 피드백은 구문에 대해 결정론적이고 이진적인 신호를 제공하지만, 기능적 정확성에 대한 통찰력은 전혀 제공하지 않습니다.
• 의미 보상: 현재 전략들은 결함이 있는 대리 지표에 의존합니다.
  • 테스트 케이스 기반 보상은 종종 희소하고 커버리지가 낮아, 모델이 소스 코드의 진정한 의도를 보존하지 않은 채 특정 테스트 케이스에 과적합되는 "보상 해킹"을 초래합니다. 또한, 대상 언어의 단일 구문 오류가 전체 실행 실패를 유발하여 의미적 정확성과 무관하게 보상을 0 으로 만듦으로써 구문과 의미가 얽히게 됩니다.
  • 참조 기반 보상(예: 참조 번역과 비교하는 CodeBLEU 또는 단일 언어 의미 모델) 은 피상적이거나 참조가 완벽한 의미적 앵커라고 가정합니다. 이는 출력 다양성을 제한하고 참조에 존재하는 오류를 전파합니다.

이 논문은 강력한 의미 보상이 이러한 결함이 있는 대리 지표와 분리된 소스 코드 자체에서 직접 도출되어야 한다고 주장합니다.

방법론: CTO

저자들은 CTO(Code Translation Optimization) 를 제안하며, 이는 구문 유도 및 의미 인식 선호도 최적화를 통해 코드 번역을 개선하는 프레임워크입니다. 이 방법은 코드 번역을 직접 선호도 최적화 (DPO) 프레임워크 내의 다목적 최적화 문제로 재구성합니다.

1. 의미 보상 모델 학습
강력한 의미 신호를 생성하기 위해 저자들은 대비 학습을 사용하여 교차 언어 의미 모델을 학습합니다:

• 아키텍처: 파라미터를 공유하는 듀얼 인코더가 소스 및 대상 코드를 공유 잠재 공간에 매핑합니다.
• 학습 목적: InfoNCE 손실을 사용하여 모델은 참조 번역 ($y^+$) 의 임베딩을 소스 코드 앵커 ($x$) 에 가깝게 끌어당기고, 의미적으로 다른 부정적 샘플 ($y^-$) 은 밀어내도록 학습합니다.
• 부정적 샘플 생성: 무작위 노이즈에 의존하는 대신, LLM 이 참조 코드를 재작성하여 미묘하지만 구문적으로 유효하고 의미적으로 결함이 있는 교란을 도입합니다.
• 보점 점수 매기기: 후보 번역에 대한 의미 보상 ($r_s$) 은 잠재 공간에서 후보와 소스 코드 간의 코사인 유사도를 기반으로 계산되며, 리스트 단위 점수 매기기를 가능하게 하기 위해 z-점수로 정규화됩니다.

2. 선호도 최적화 공식화
CTO 는 구문 ($g$) 과 의미 ($s$) 를 통합하는 다목적 문제로 코드 번역을 취급합니다:

• 오라클 보상: 구문 및 의미 보상의 가중 조합: $r^*(x, y) = w \cdot r^*_g(x, y) + (1-w) \cdot r^*_s(x, y)$.
• 선호도 데이터셋 구성:
  • 구문: 선호도 쌍은 컴파일러 피드백 (통과 vs 실패) 에 기반하여 결정론적으로 구성됩니다.
  • 의미: 의미 보상 모델이 부드러운 가이드를 제공합니다. 선택된 (통과) 과 거부된 (실패) 샘플 간의 의미 점수 차이는 보정 항으로 주입됩니다.
• 최적화 목적: 저자들은 한 목적 (예: 구문) 의 선호도 데이터를 활용하면서 보완적 목적 (예: 의미) 의 명시적 보상 차이를 편향 항으로 통합하는 수정된 DPO 손실 함수 (식 7) 를 유도합니다. 이를 통해 최적화 단계에서 별도의 보상 모델 없이 두 목적을 동시에 모델링할 수 있습니다.

주요 기여

1. CTO 프레임워크: 단일 선호도 최적화 과정에서 구문과 의미를 통합하고 DPO 내에서 보상 편향 메커니즘을 도입한 새로운 접근법.
2. 교차 언어 의미 모델: 대비 학습을 통해 학습된 강력한 보상 소스로, 소스 및 대상 코드 간의 기능적 동등성을 직접 평가하여 테스트 케이스의 희소성과 참조 의존성의 한계를 극복합니다.
3. 실증적 검증: 여러 언어 쌍과 모델 크기에 걸쳐 CTO 가 기존 베이스라인 (비지도 방법, 지도 미세 조정, PPO 기반 접근법 포함) 보다 크게 우월함을 입증한 광범위한 실험.

실험 결과

저자들은 C++ , Java, Python 간의 번역을 포함하는 TransCoder-Test 및 HumanEval-X 벤치마크에서 CTO 를 평가했습니다.

• 성능 향상:
  • CodeT5 모델을 사용할 때, CTO 는 지도 미세 조정 (SFT) 베이스라인 대비 TransCoder-Test 에서 최대 3.66%, HumanEval-X 에서 4.27% 의 정확도 향상을 보였습니다.
  • 더 큰 CodeLlama-7B 모델을 사용할 때, CTO 는 해당 데이터셋에서 각각 5.60% 및 6.70% 의 정확도 향상을 달성했습니다.
  • Qwen2.5-Coder-7B를 사용할 때, CTO 는 모든 작업에서 최고 점수를 기록하여 SFT 및 기타 선호도 최적화 전략 (IPO, SimPO) 을 크게 능가했습니다.
• 어블레이션 연구: 의미 또는 구문 구성 요소 중 하나를 제거하면 성능이 저하되어 다목적 최적화의 중요성이 확인되었습니다.
• 보상 모델 비교: 학습된 의미 보상 모델은 CTO 에서 의미 신호로 사용될 때 CodeBLEU 및 CodeBERTScore 와 같은 참조 기반 지표를 일관되게 능가했습니다.

중요성 및 주장

이 논문은 CTO 가 코드 번역에서 구문적 유효성과 의미적 정확성을 분리하는 근본적인 과제를 해결한다고 주장합니다. 의미 보상을 소스 코드에서 직접 도출하고 이를 통합된 선호도 최적화 프레임워크에 통합함으로써, CTO 는 희소한 테스트 케이스와 불완전한 참조 번역의 함정을 피합니다. 저자들은 이 접근법이 소스 코드의 의도된 기능과 LLM 을 정렬하기 위한 더 강력하고 일반화 가능한 전략을 제공하며, 다양한 모델 아키텍처 및 프로그래밍 언어에 걸쳐 우수한 번역 정확도와 안정성을 이끌어낸다고 단언합니다.