SEMREP: 코드 변환을 통한 생성적 코드 표현 학습 (Generative Code Representation Learning with Code Transformations)

이 논문은 소프트웨어 개발 과정에서 필수적인 코드 변환 (Code Transformation) 작업의 효율성과 정확성을 획기적으로 개선하기 위해 제안된 새로운 프레임워크인 SEMREP를 소개합니다. 기존 접근법의 한계를 극복하고, 대규모 언어 모델 (LLM) 이 코드의 의미 (Semantics) 를 명시적으로 이해하고 변환할 수 있도록 하는 방법론을 제시합니다.

---

1. 문제 정의 (Problem Statement)

코드 변환 (예: 성능 최적화, 리팩토링, 버그 수정) 은 소프트웨어 유지보수의 핵심입니다. 최근 LLM 을 활용한 자동화 시도가 증가하고 있지만, 기존 방법론에는 다음과 같은 근본적인 한계가 있었습니다:

• 암시적 표현 학습: 기존 접근법은 코드 변환을 엔드 - 투 - 엔드 (End-to-End) 학습 태스크로 간주하여, 모델이 변환에 필요한 의미론적 추론을 모델 가중치 (Weights) 내부에 암시적으로 학습하도록 의존합니다. 이는 추론 과정이 불투명하고 오류가 발생하기 쉽습니다.
• 경직된 추상화: 컴파일러 수준의 추상화 (AST, 제어 흐름 그래프 등) 를 사용하는 경우, 자연어 지시를 따른 유연한 코드 편집에는 적합하지 않으며, 실시간으로 구조를 구축하는 비용이 큽니다.
• 의미 보존과 변경의 분리 실패: 최적화나 기능 추가 시 원래 코드의 의도된 동작 (Semantics) 을 보존하면서 새로운 요구사항을 반영하는 것을 동시에 수행하기 어려워, 잘못된 코드 생성이나 성능 저하가 발생합니다.

2. 방법론 (Methodology)

SEMREP 는 **생성적 코드 표현 학습 (Generative Code Representation Learning)**을 통해 이 문제를 해결합니다. 핵심 아이디어는 의미론적 동등성 (Semantic Equivalence) 을 유지하는 코드 변환을 중간 표현 (Intermediate Representation) 으로 활용하는 것입니다.

2.1. 핵심 개념: 의미론적 동등 코드 생성

모델은 입력 코드의 실행 결과가 동일하게 유지되는 (Test cases 를 통과하는) 다양한 문법적/구조적 변형 코드를 생성하도록 훈련됩니다. 이는 모델이 코드의 '의미'를 명시적인 소스 코드로 표현하도록 강제합니다.

2.2. 2 단계 학습 파이프라인

SEMREP 는 두 단계로 나뉘어 훈련됩니다:

1. 1 단계: 생성적 코드 표현 학습 (Generative Code Representation Learning)

   • 목표: 주어진 입력 코드 ($C_{src}$) 와 동일한 실행 결과를 내는 다양한 변형 코드 ($C_{rep}$) 를 생성하도록 모델을 훈련합니다.
   • 강화학습 (RL): 그룹 상대 정책 최적화 (GRPO) 를 사용하며, 보상 함수는 컴파일 성공 여부와 테스트 케이스 기반의 의미 동등성 ($C_{rep}(U_{sem}) = C_{src}(U_{sem})$) 을 기반으로 합니다.
   • 효과: 모델이 코드의 구조를 다양하게 재구성하면서도 기능을 보존하는 능력을 배워, 추후 최적화를 위한 풍부한 탐색 공간을 확보합니다.

2. 2 단계: 지시별 변환 학습 (Instruction-Specific Transformation Learning)

   • 목표: 1 단계에서 학습된 표현 능력을 바탕으로, 사용자의 자연어 지시 ($I$) 에 맞춰 코드를 변환합니다.
   • 보상 함수: 컴파일 성공, 의미 보존, 그리고 지시 준수 ($U_{edit}$) 를 모두 만족하도록 설계됩니다.
   • 특징: 이 단계에서는 1 단계에서 생성된 의미론적 변형 코드를 기반으로 최적화나 기능 추가를 수행합니다.

2.3. 추론 시 확장 (Test-Time Scaling)

SEMREP 는 추론 시에도 **진화적 탐색 (Evolutionary Search)**을 지원합니다.

• 모델은 의미론적 탐색 (동등한 코드 변형 생성) 과 지시 기반 변환 (최적화) 을 번갈아 수행하며 후보 풀 (Candidate Pool) 을 확장합니다.
• 실행 결과를 기반으로 상위 후보를 선택하고 진화시켜, 더 나은 최적화 해답을 찾습니다.

3. 주요 기여 (Key Contributions)

1. 명시적 의미 표현 학습: 모델 가중치 내부의 암시적 학습 대신, 의미론적 동등 코드를 생성하는 명시적인 중간 표현 학습을 도입하여 코드 이해도를 높였습니다.
2. 효율적인 훈련 전략: 의미론적 표현 학습과 지시별 변환 학습을 분리하여, 동일한 훈련 예산 (Training Budget) 하에서 기존 파인튜닝 모델보다 뛰어난 성능을 달성했습니다.
3. 진화적 에이전트와의 통합: SEMREP 가 생성한 다양한 의미론적 변형 코드는 진화적 탐색 (Evolutionary Search) 에 이상적인 초기 상태가 되어, 기존 모델이 발견하지 못한 최적화 해법을 찾아냅니다.

4. 실험 결과 (Results)

SEMREP 는 EditBench(일반 코드 편집) 와 KernelBench(GPU 커널 최적화) 에서 광범위한 평가를 수행했습니다.

• 성능 향상:
  • 정확도 (Correctness): 동일한 훈련 예산을 가진 파인튜닝 베이스라인 대비 6.9% 향상.
  • 성능 (Speedup): 1.1 배 향상.
  • 일반화 (Generalization): 하드웨어가 다른 환경 (예: H200 GPU) 에서 **13.9%**까지 성능이 개선되었습니다.
  • 강건성 (Robustness): 코드 문법적 변형 (리팩토링) 에 대한 저항력이 6.7% 향상되었습니다.
• 모델 크기 대비 효율성:
  • 32B 파라미터 모델 (QwQ-32B) 이 12 배 큰 모델 (405B) 이나 폐쇄형 상용 모델 (Claude, GPT-o4-mini) 과 경쟁하거나 능가하는 성능을 보였습니다.
  • 최대 685B 파라미터 모델 (DeepSeek-V3-Reasoner) 이 실패한 알고리즘 최적화 (최소 신장 트리, 원 패킹 문제) 를 SEMREP 가 성공적으로 해결했습니다.
• 계산 효율성: 진화적 에이전트와 결합 시, 더 큰 모델과 동일한 성능을 내면서 추론 계산량 (Inference Compute) 을 25% 절감했습니다.

5. 의의 및 결론 (Significance)

SEMREP 는 코드 변환 작업에서 "무엇을 보존해야 하는가"와 "무엇을 변경해야 하는가"를 명확히 분리하는 새로운 패러다임을 제시합니다.

• 신뢰할 수 있는 코드 생성: 의미론적 동등성을 검증 가능한 테스트 기반으로 학습함으로써, 생성된 코드의 기능적 정확성을 보장합니다.
• 창의적 최적화: 단순한 패턴 매칭을 넘어, 코드의 구조를 다양하게 재구성하는 능력을 통해 인간이 발견하지 못한 효율적인 알고리즘이나 하드웨어 최적화 기법을 찾아낼 수 있습니다.
• 확장성: 작은 모델로도 대규모 모델에 필적하는 성능을 내며, 추론 시 계산 자원을 추가로 투입하여 (Test-Time Scaling) 성능을 극대화할 수 있는 가능성을 열었습니다.

결론적으로, SEMREP 는 소프트웨어 엔지니어링 자동화 분야에서 LLM 의 신뢰성과 실용성을 크게 높일 수 있는 중요한 진전으로 평가됩니다.