💬 NLP

Investigating Execution-Aware Language Models for Code Optimization

이 논문은 코드 실행 정보 (라인 실행, 커버리지, 변수 상태 등) 를 CodeT5+ 모델에 통합하는 세 가지 전략을 평가한 결과, 기존 표준 모델 대비 코드 최적화 성능 향상에 제한적인 효과만 있음을 밝혔습니다.

원저자: Federico Di Menna, Luca Traini, Gabriele Bavota, Vittorio Cortellessa

게시일 2026-04-02

📖 3 분 읽기☕ 가벼운 읽기

원저자: Federico Di Menna, Luca Traini, Gabriele Bavota, Vittorio Cortellessa

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🍳 비유: "요리사 AI 와 레시피"

상상해 보세요. 여러분은 AI 요리사를 고용했습니다. 이 AI 는 수많은 요리 레시피 (소스 코드) 를 보고, "어떤 재료를 어떻게 넣으면 더 맛있게, 더 빨리 요리할 수 있을까?"를 가르쳐야 합니다. 이것이 바로 **'코드 최적화'**입니다.

1. 기존 AI 의 한계 (정적 학습)

기존의 AI 요리사들은 책에 적힌 **레시피 (코드 텍스트)**만 보고 공부했습니다.

상황: "소금 1 큰술 넣고 5 분 끓여라"라고 적혀 있는 걸 봤을 뿐입니다.
문제: 하지만 실제로 냄비가 얼마나 뜨겁게 달아오르는지, 소금이 언제 녹는지, 불이 너무 세면 어떻게 되는지 **실제 조리 과정 (실행 과정)**을 모릅니다. 그래서 "이걸 3 분만 끓여도 되는데 왜 5 분이나 끓여?" 같은 비효율적인 레시피를 만들어낼 수 있습니다.

2. 연구자들의 시도 (실행 인식 학습)

연구자들은 "이 AI 에게 **실제 요리하는 모습 (실행 데이터)**을 보여주고 가르치면 더 똑똑해지겠지?"라고 생각했습니다.
그들은 AI 에게 네 가지 정보를 추가로 주었습니다:

라인 실행 (Line Executions): "이 재료를 몇 번이나 넣었어?" (예: 반복문 횟수)
라인 커버리지 (Line Coverage): "어떤 재료를 한 번이라도 썼어?" (사용된 부분)
브랜치 커버리지 (Branch Coverage): "어떤 조건에서 어떤 재료를 썼어?" (if 문 등 분기)
변수 상태 (Variable States): "요리 중간에 그릇에 담긴 국물 맛이 어때?" (변수의 값)

이 정보를 바탕으로 AI 를 3 가지 방식으로 훈련시켰습니다.

전략 1: 요리 과정 설명을 먼저 읽고, 그다음 레시피 고치기.
전략 2: 요리 과정 설명 + 레시피 일부 가려서 맞추기 (MLM) + 레시피 고치기.
전략 3: 레시피 옆에 요리 과정 설명을 바로 적어두고 고치기.

3. 놀라운 결과 (결론)

연구 결과는 예상과 정반대였습니다.

"실제 요리하는 모습 (실행 정보) 을 가르쳤는데, 오히려 기존 AI 보다 더 못 했어요!"

정확도 하락: 실행 정보를 넣은 AI 가 만든 레시피는 맛이 없거나 (버그), 아예 요리를 못 하는 (오류) 경우가 훨씬 많았습니다.
속도 향상 실패: "더 빨리 요리해"라는 지시를 받았을 때, 기존 AI 보다 더 느리거나 별 차이가 없었습니다.

4. 왜 그랬을까? (분석)

연구자들은 왜 이런 일이 일어났는지 분석했습니다.

문법 vs 의미: 실행 정보를 넣은 AI 는 문법적으로 맞는 레시피를 만드는 능력은 오히려 좋아졌습니다 (요리 도구를 잘 다룸). 하지만 **의미 있는 결과 (맛있는 요리)**를 만들어내는 능력은 떨어졌습니다.
정보 과부하: AI 가 너무 많은 '실시간 데이터'에 집중하다 보니, **본질적인 목표 (효율성)**를 잊어버린 것 같습니다. 마치 요리사에게 "냄비 온도가 100 도, 101 도, 102 도..."라고 숫자만 계속 알려주면, 정작 '맛'을 내는 법을 잊어버리는 것과 비슷합니다.

💡 핵심 교훈

이 논문은 **"AI 에게 코드가 어떻게 실행되는지 (런타임 정보) 를 가르치는 것이, 코드를 최적화하는 데 무조건 도움이 되는 것은 아니다"**라고 말합니다.

오히려 **정확한 기능 (맛)**을 해치지 않으면서 속도를 높이는 데 집중하는 것이 더 중요할 수 있습니다. 앞으로는 AI 가 실행 정보를 어떻게 활용해야 할지, 혹은 어떤 정보를 주는 것이 진짜로 도움이 될지 새로운 방법을 찾아야 한다는 결론을 내립니다.

한 줄 요약:

"요리사 AI 에게 냄비 온도와 재료가 섞이는 과정을 자세히 가르쳤더니, 오히려 요리를 망치는 경우가 더 많아졌어요. 정보를 많이 준다고 해서 무조건 똑똑해지는 건 아니라는 교훈을 줍니다."

1. 연구 배경 및 문제 정의 (Problem)

배경: 소프트웨어 성능 최적화는 개발자의 주요 업무 중 하나이며, 최근 대규모 언어 모델 (LLM) 을 활용한 자동화 연구가 활발합니다.
문제: 기존의 코드 최적화 모델들은 주로 정적인 소스 코드 텍스트에 기반하여 학습됩니다. 그러나 코드 효율성은 런타임 실행 행동 (예: 루프 반복 횟수, 분기 조건, 변수 상태 변화 등) 과 밀접한 관련이 있습니다.
가설: 언어 모델에 런타임 실행 정보를 통합 (Execution-Aware) 하면 코드 최적화 능력이 향상될 것이라는 기대가 있었으나, 이에 대한 구체적인 연구는 부족했습니다.
연구 목적: 실행 정보를 학습한 모델이 정적 정보만 학습한 표준 모델보다 코드 최적화 (실행 시간 단축) 에서 더 우수한 성과를 내는지 확인.

2. 연구 방법론 (Methodology)

2.1 실험 모델 및 데이터셋

기반 모델: 코드 최적화 작업에 널리 사용되는 CodeT5+ (220M 파라미터) 를 기반으로 사용.
데이터셋: IBM CodeNet 에서 파생된 PIE (Performance Improving Edits) 데이터셋 사용. 이는 C++ 의 느린 버전과 빠른 버전 (Slow-Fast) 쌍으로 구성됨.
실행 정보 수집: gdb 디버거를 사용하여 프로그램 실행 궤적 (Execution Traces) 을 수집하고, 이를 기반으로 실행 정보를 추출.

2.2 분석 대상 (4 가지 실행 측면)

모델이 학습해야 할 4 가지 런타임 정보를 정의했습니다.

Line Executions (LE): 특정 코드 라인이 실행된 횟수.
Line Coverage (LC): 특정 입력에 대해 실행된 코드 라인의 유무.
Branch Coverage (BC): 조건문 분기가 커버되었는지 여부.
Variable States (VS): 실행 종료 시 변수의 값과 상태.

2.3 학습 전략 (3 가지)

각 실행 측면에 대해 3 가지 다른 학습 전략을 적용하여 총 12 개의 실행 인식 모델을 생성했습니다.

S1 (Execution-aware Pre-training + Fine-tuning): 실행 정보 예측을 위한 사전 학습 후, 최적화 태스크로 파인튜닝.
S2 (Execution-aware Pre-training + MLM + Fine-tuning): S1 에 마스킹 언어 모델링 (MLM) 목표를 추가하여 사전 학습.
S3 (Execution-aware Fine-tuning): 사전 학습 없이, 실행 정보를 주석 (Comment) 형태로 느린 코드 입력에 직접 포함시켜 파인튜닝.

2.4 정량화 전략 (Quantization)

언어 모델이 연속적인 숫자 값을 학습하기 어렵다는 점을 고려하여, 실행 횟수나 변수 값 등을 특수 토큰 (예: <e>, <e+>, POSITIVE-REG 등) 으로 변환하여 입력했습니다.

2.5 평가 지표

Correct (%): 생성된 코드가 모든 테스트 케이스를 통과하는 비율.
Speedup: 입력 프로그램 대비 생성된 프로그램의 실행 시간 개선 비율 ( $T_I / T_G$ ).
%Opt: 정확하고 (Correct), 10% 이상 빨라진 (Speedup $\ge$ 1.1) 코드의 비율.

3. 주요 결과 (Results)

연구 결과는 예상과 달리 실행 인식 모델이 표준 모델보다 성능이 떨어지는 것으로 나타났습니다.

RQ1~RQ4 종합 결과:
- 정확도 (Correctness): 실행 정보를 학습한 모델 (S1, S2, S3) 은 기준 모델 (Baseline) 보다 정확도가 낮았습니다. 특히 S1, S2 전략의 경우 18.75%였던 기준 모델의 정확도가 11~15% 수준으로 하락했습니다.
- 최적화 성능 (Speedup & %Opt): 대부분의 경우 실행 인식 모델이 기준 모델보다 **더 낮은 속도 개선 (Speedup)**과 최적화 비율을 보였습니다.
- 통계적 유의성: Wilcoxon 부호 순위 검정 결과, 대부분의 실행 인식 모델이 기준 모델보다 통계적으로 유의하게 낮은 성능을 보였습니다.
예외적 발견 (Correct Programs 만 분석 시):
- 생성된 코드가 **정확한 경우 (Correct Programs)**로만 필터링하여 분석했을 때, 실행 인식 모델은 기준 모델과 유사하거나 때로는 더 높은 속도 개선 (Speedup) 을 보였습니다.
- 이는 실행 인식 모델이 "올바른 로직"을 구현하는 능력은 부족하지만, "올바른 로직"을 구현했다면 더 효율적인 알고리즘을 제안할 잠재력은 있음을 시사합니다.
구체적 수치 예시 (S1/S2 전략 기준):
- Baseline (BLS12): Correct 18.75%, Speedup 1.79x, %Opt 7.68%
- Line Executions (LES1): Correct 12.36%, Speedup 1.52x, %Opt 5.73%
- Branch Coverage (BCS1): Correct 13.93%, Speedup 1.67x, %Opt 7.03%

4. 주요 기여 및 결론 (Contributions & Conclusion)

주요 발견: 코드 최적화라는 특정 태스크에서는, 런타임 실행 정보를 학습하는 것이 오히려 모델의 **의미론적 정확성 (Semantic Correctness)**을 해치고 전체적인 최적화 성능을 저하시킬 수 있음이 밝혀졌습니다.
원인 분석: 실행 정보는 모델이 코드의 "의도된 기능"을 이해하는 데 방해가 될 수 있으며, 모델이 실행 궤적에 과도하게 의존하여 실제 테스트 케이스를 통과하지 못하는 코드를 생성하는 경향이 있었습니다.
의의:
- 기존에 "실행 정보를 통합하면 모든 SE 태스크가 좋아진다"는 통념에 대해 코드 최적화라는 맥락에서는 반증했습니다.
- 향후 연구 방향을 제시: 실행 인식 모델의 정확도 향상 필요, 더 큰 규모의 모델 사용, 또는 다른 학습 전략 탐구 필요.

5. 요약 및 시사점

이 논문은 **"코드 최적화를 위해 런타임 정보를 무조건 모델에 주입하는 것이 해결책은 아니다"**라는 중요한 결론을 도출했습니다. 실행 정보는 모델이 코드의 효율성을 높이는 데 잠재력이 있을 수 있으나, 현재 방식 (CodeT5+ 기반) 에서는 정확도 저하라는 치명적인 단점이 발생하여 전체적인 성능을 떨어뜨렸습니다. 따라서 향후 연구에서는 실행 정보를 어떻게 하면 정확도 저하 없이 효율성 향상으로 연결할 수 있을지에 초점을 맞춰야 함을 시사합니다.