🤖 AI

Function-Level Execution Feedback for Code Preference Optimization

이 논문은 단계를 유닛 테스트로부터 얻은 이진 정답 레이블을 가진 모듈 수준의 함수로 정의하는 코드 선호도 최적화 프레임워크인 STEP-KTODER를 소개하며, 이러한 실행 기반의 프로세스 감독이 LLM-as-a-judge 주석으로 인한 레이블 오염을 피하면서 결과 중심 방식보다 성능이 현저히 우수함을 입증한다.

원저자: Idris Nechnech, Sehwan Kim, Jimin Seo, Yeongoon Kim, Minhae Oh, Sangwoo Hong, Jungwoo Lee

게시일 2026-08-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Idris Nechnech, Sehwan Kim, Jimin Seo, Yeongoon Kim, Minhae Oh, Sangwoo Hong, Jungwoo Lee

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에는 단순히 답을 내놓는 모델과 그 답에 도달하는 과정을 이해하는 모델 사이에 커지는 격차가 존재합니다. 수년 동안 연구자들은 컴퓨터 프로그램이 단순히 최종 숫자뿐만 아니라 그 과정에서 밟아가는 모든 논리적 단계에 대해서도 보상을 받도록 훈련시켜 수학 문제를 풀게 해왔습니다. '과정 감독(process supervision)'이라고 알려진 이 방식은 기계가 추론 능력을 훨씬 더 향arly하게 만드는 데 도움을 주었습니다. 하지만 컴퓨터 코드를 작성하는 문제에 있어서 이 방법은 여전히 난제로 남아 있었습니다. 자연스럽게 일련의 계산 과정으로 분해되는 수학 문제와 달리, 소프트웨어는 종종 어떤 줄이 맞고 틀린지 정확히 말하기 어려운 복잡하게 얽힌 명령어들의 그물망과 같습니다. 만약 프로그램이 실행되지 않는다면, 전통적인 훈련 방식은 코드의 90%가 완벽하더라도 전체 출력을 실패로 처리하곤 합니다. 이러한 거친 피드백은 기계가 자신의 작업 중 정확히 어느 부분을 수정해야 하는지 갈피를 잡지 못하게 만듭니다.

서울대학교와 건국대학교의 연구진은 문제를 관리 가능하고 테스트 가능한 조각들로 나누어 모델이 더 나은 코드를 작성하는 법을 가르치는 새로운 방법을 개발했습니다. 그들은 이 방법을 STEP-KTODER라고 부릅니다. 프로그램 전체를 하나의 단위로 판단하는 대신, 그들은 모델이 프로그램을 독립적인 함수, 즉 하나의 특정 작업을 수행하는 작고 자립적인 도구들의 집합으로 보도록 가르칩니다. 연구진은 정답 코드를 가져와 이를 별개의 함수들로 분해합니다. 그런 다음, 마치 품질 검사관이 기계의 단일 부품을 테스트하는 것과 유사하게, 각 함수가 단독으로 올바르게 작동하는지 확인하기 위한 일련의 간단한 검사들을 자동으로 생성합니다. 이를 통해 연구진은 모델에게 "전체가 실패했다"라고 말하는 대신, "이 특정 함수는 맞지만, 저 함수는 고장 났다"와 같이 정밀한 피드백을 줄 수 있습니다.

연구진은 인공지능의 코드 작성 능력을 측정하는 데 사용되는 몇 가지 표준 과제들을 대상으로 이 접근 방식을 테스트했습니다. 그 결과, 실행 기반의 세밀한 검사를 사용함으로써 최종 결과만을 살펴보던 기존 방식의 모델들보다 성능이 크게 향상되었음을 발견했습니다. 실제로 가장 어려운 코딩 과제에서, 이 새로운 방법은 기존의 최고 기술들과 비교했을 때 성능을 거의 27%나 끌어올렸습니다. 또한 이 연구는 코드를 평가하는 방식에 대한 중요한 통찰을 보여주었습니다. 강력한 언어 모델에게 코드의 정답 여부를 추측하도록 요청하는 것만으로는 충분하지 않다는 점입니다. 연구진이 자동화된 실행 기반 검사 대신 다른 AI의 판단으로 대체했을 때 결과는 오히려 악화되었습니다. 판별 역할을 하는 AI는 지나치게 비판적이어서 맞는 코드를 틀린 것으로 잘못 표시하는 경향이 있었고, 이는 훈련 과정을 혼란에 빠뜨렸습니다. 이는 올바른 단계의 가치를 모델에게 가르치는 유일하고 신뢰할 수 있는 방법은 실제로 코드를 실행하여 작동 여부를 확인하는 것임을 입증했습니다.

이 발견의 핵심은 프로그램 전체가 최종 테스트를 통과하더라도 내부의 한 부분이 결함이 있을 수 있는 코딩의 복잡한 현실을 연구진이 어떻게 다루었느냐에 있습니다. 과거에는 이러한 모순들이 종종 무시되거나 뭉뚱그려졌습니다. 그러나 연구팀은 이러한 충돌이 실제로 가치 있다는 것을 발견했습니다. 프로그램 전체는 성공적이지만 특정 함수는 실패하는 사례들을 그대로 유지함으로써, 그들은 모델에게 미묘한 교훈을 제공했습니다. 즉, 프로그램은 전반적으로 성공적일 수 있으면서도 동시에 수정이 필요한 오류를 포함할 수 있다는 점입니다. 이러한 접근 방식은 모델이 엔진 전체를 교체하는 대신 정확히 어떤 볼트를 조여야 할지 아는 정비사처럼, 잘 작동하는 부분은 강화하고 작동하지 않는 부분은 구체적으로 겨냥하여 학습할 수 있게 합니다.

이 연구는 인공지능을 더 복잡한 작업에서 더 신뢰할 수 있게 만드는 실질적인 경로를 제시합니다. 최종 결과물을 고립된 상태로 판단하는 것에서 벗어나, 그것을 구성하는 개별 구성 요소의 정당성에 집중함으로써 연구자들은 시스템이 더 효과적으로 학습하도록 유도할 수 있습니다. 이 연구는 코드 생성에 있어 가장 효과적인 감독은 두 번째 의견(AI의 판단)이 아니라, 코드가 실제로 실행되고 테스트되는 것에서 온다는 점을 보여줍니다. 결과 중심의 피드백에서 실행에 근거한 과정 중심의 피드백으로의 이러한 전환은, 기계가 프로그래밍이라는 기술을 배우는 데 있어 더 명확하고 직접적인 길을 제시합니다.

기술 요약: STEP-KTODER

문제 정의

중간 추론 단계에 피드백을 제공하는 프로세스 감독(process supervision)은 대규모 언어 모델(LLM)의 수학적 추론 능력을 크게 향상시켰으나, 코드 생성 분야에 대한 적용은 아직 미미하게 탐구된 상태입니다. 수학 영역에서는 단계(step)가 사고의 사슬(chain of thought)로 자연스럽게 정의됩니다. 그러나 코드 생성에서는 "단계"에 대한 표준적인 개념이 존재하지 않습니다. 감독 대상(supervision targets)은 라인(line), 추론 흔적(reasoning traces), 또는 프로그램 상태(program states) 등 매우 다양하며, 이는 무엇을 레이블링하고 최적화할 것인지에 대한 모호성을 초 creation합니다.

DPO(Direct Preference Optimization) 및 KTO(Kahneman–Tversky Optimization)와 같은 현재의 선호도 최적화 방법들은 일반적으로 결과 수준(outcome level)에서 작동하며, 전체 프로그램을 하나의 단위로 취급하여 피드백을 줍니다. 이러한 조잡한 신호는 부분적으로 성공적인 프로그램 내의 정답 성분과 오답 성분을 구분하지 못합니다. 예를 들어, 대부분은 정확하지만 좁은 엣지 케이스(edge case)에서 실패하는 프로그램은 전체가 "바람직하지 않음(undesirable)"으로 레이블링되어, 어떤 특정 함수가 성공이나 실패에 기여했는지를 가려버립니다. 이러한 세밀함의 부족은 로컬하게 올바른 코드는 강화하고 특정 결함이 있는 컴포넌트는 처벌하는 능력을 제한합니다.

방법론: STEP-KTODER

저자들은 분해된 다중 함수 프로그램(multi-function programs) 내의 모듈 수준 함수를 "단계"로 정의하는 코드 선호도 최적화 프레임워크인 STEP-KTODER를 제안합니다. 이 방법은 실행 기반 레이블링 파이프라인을 사용하여 함수 수준의 프로세스 감독과 결과 수준의 피드백을 결합합니다.

1. 데이터 구축 파이프라인

이 프레임워크는 네 가지 단계로 구성된 자동 데이터 구축 프로세스에 의존합니다:

참조 분해(Reference Decomposition): 강력한 지시어 튜닝된 코드 모델이 정답 솔루션을 원래의 인터페이스와 동작을 유지하면서 분해된 다중 함수 프로그램으로 재작성합니다. 원래의 테스트 스위트를 통과하는 재작성본만 유지됩니다.
함수 수준 유닛 테스트 생성(Function-Level Unit Test Generation): 각 분해된 함수에 대해, 모델은 함수의 인터페이스와 엣지 케이스를 다루는 타겟 유닛 테스트를 생성합니다. 이 테스트들은 참조 구현(reference implementation)에 실행하여 검증되며, 통과하고 비자명한 단언(nontrivial assertions)을 포함하는 테스트만 유지됩니다.
온-폴리시 후보 생성(On-Policy Candidate Generation): 타겟 모델은 분해된 참조 모델로부터 파생된 함수 스켈레톤(함수 본문이 pass로 대체된 형태)을 채워 넣음으로써 후보 완성을 생성합니다.
레이블링(Labeling):
- 결과 레이블 ( $o$ ): 전체 후보 프로그램이 데이터셋에서 제공된 테스트 스위트를 통과하는지에 따라 결정됩니다.
- 단계 레이블 ( $z$ ): 각 후보 함수를 생성된 유닛 테스트에 실행하여 결정됩니다. 레이블 $1 $은 로컬한 정확성을,$ 0 $은 실패를,$ \emptyset$은 유효한 테스트가 사용 불가능함을 나타냅니다.

2. 목적 함수

STEP-KTODER는 결과 수준과 단계 수준의 감독을 결합하는 공동 목적 함수를 도입하여 KTO를 확장합니다.

결과 수준 KTO: 전체 프로그램의 이진 바람직함(binary desirability)을 기반으로 하는 표준 KTO 손실( $L_{out}$ )을 사용합니다.
단계 수준 KTO: 개별 함수의 토큰들에 대해 단계별 손실( $L_{step}$ )을 정의합니다. 각 함수 $s_i$ 에 대해 로컬 로그 비율(local log-ratio)을 계산하고, 단계 레이블 $z_i$ 에 따라 가치 함수(value function)를 적용합니다.
공동 목적 함수: 최종 손실은 $L_{STEP-KTODER} = L_{out} + \lambda_{step} L_{step}$ 입니다.

결정적으로, 이 프레임워크는 **충돌 보존 레이블(conflict-preserving labels)**을 채택합니다. 결과 레이블( $o$ )과 단계 레이블( $z$ )이 일치하지 않는 사례(예: 전체 테스트 스위트는 통과하지만 로컬 함수는 실패하는 프로그램)를 학습에 유지합니다. 이러한 충돌은 결과 전용 방법이 포착할 수 없는 고유한 학습 신호를 제공하여, 전체가 실패하더라도 특정 컴포넌트는 올바를 수 있거나 그 반대의 경우를 모델이 학습할 수 있게 합니다.

3. 레이블의 신뢰성

논문은 실행 기반 레이블이 필수적임을 강조합니다. 저자들은 단계 감독을 위해 "LLM-as-a-judge"(GPT-5.4 mini 사용) 주석을 실행 기반 레이벨로 대체하여 테스트했습니다. LLM은 중간 정도의 전반적인 일치도(73.2%)를 보였으나, 체계적인 편향을 나타냈습니다: 실패하는 함수는 94.1%로 잘 식별했으나, 통과하는 함수는 52.2%만 식별하여 과잉 예측하는 경향을 보였습니다. 이러한 편향은 학습에 필요한 긍정적인 단계 레이블을 오염시켜, 특히 어려운 벤치마크에서 성능 저하를 초래했습니다.

주요 기여

STEP-KTODER 프레임워크: 단계를 독립적으로 테스트 가능한 함수로 정의함으로써 프로세스 감독과 코드 생성 사이의 간극을 메우는 코드 특화형 단계별 KTO 구현체입니다.
자동 데이터 파이프라인: 솔루션을 분해하고, 함수 수준의 유닛 테스트를 생성하며, 실행 기반 단계 레이블을 도출하여 수동 주석 없이도 세밀한 감독을 가능하게 하는 파이프라인입니다.
경험적 검증: 실행 기반 레이블이 단계 감독을 위한 LLM 기반 판단보다 우수하며, 로컬/글로벌 레이블 간의 충돌을 보존하는 것이 성능에 결정적임을 입증하는 실험을 수행했습니다.

실험 결과

이 방법은 Qwen2.5-Coder와 DeepSeek-Coder를 사용하여 HumanEval(+), MBPP(+), BigCodeBench, LiveCodeBench에서 평가되었습니다.

성능 향상: STEP-KTODER는 결과 전용 KTO 및 DPO보다 일관되게 우수한 성능을 보였으며, 특히 어려운 벤치마크에서 가장 큰 향상을 보였습니다.
- Qwen2.5-Coder-1.5B의 경우, BigCodeBench Hard에서 KTO 대비 +11.5%, LiveCodeBench에서 +7.7% 향상되었습니다.
- Qwen2.5-Coder-3B의 경우, BigCodeBench Hard에서 +11.3%, LiveCodeBench에서 +9.5% 향상되었습니다.
- DeepSeek-Coder-6.7B의 경우, BigCodeBench Hard에서 KTO 대비 **+4.9%**의 이득을 달성했습니다.
Target-DPO와의 비교: Target-DPO 또한 국소적 실패를 타겟팅하지만, STEP-KTODER는 훨씬 적은 학습 샘플(약 11,400개 대 59,000개 쌍)을 사용하여 가장 어려운 벤치마크(예: 3B 모델의 경우 BigCodeBench Hard에서 Target-DPO 대비 +18.5% 개선)에서 더 우수한 결과를 달성했습니다.
절제 연구(Ablation Studies):
- 충돌 보존: 충돌( $o \neq z$ )을 마스킹(제거)하면 성능이 KTO 수준으로 감소하여, 이러한 불일치가 필수적인 학습 신호를 제공함을 확인했습니다.
- 레이블 출처: 실행 기반 레이블을 LLM-as-a-judge 주석으로 교체했을 때 상당한 성능 저하(예: BigCodeBench Hard에서 -25.8%)가 발생하여, 단계 감독을 위한 실행 기반 피드백의 필요성을 입증했습니다.

의의 및 주장

본 논문은 STEP-KTODER가 프로그램의 자연스러운 모듈성을 활용하여 코드 생성을 위한 프로세스 감독으로 나아가는 실질적인 경로를 제공한다고 주장합니다. 단계를 함수로 정의하고 실행을 통해 감독함으로써, 이 방법은 올바른 컴포넌트는 강화하고 특정 결함은 처벌하는 국소적 피드백을 제공하며, 이는 결과 전용 감독에는 없는 능력입니다.

저자들은 이 방법의 효과가 다음 두 가지 요소에 크게 의존한다고 강조합니다:

실행 기반 신뢰성: 자동화된 유닛 테스트는 단계 레이블을 위한 필요한 그라운드 트루스(ground truth)를 제공하는 반면, LLM 심판은 학습을 저해하는 체계적인 편향을 도입합니다.
충돌 보존: 로컬한 정확성과 글로벌한 성공이 갈라지는 사례로부터 학습하는 능력은 표준 선호도 최적화와 구별되는 핵심 차별점입니다.

이 연구는 함수 수준의 실행 피드백이 코드 모델을 정렬하기 위한 실행 가능하고 효과적인 메커니즘임을 시사합니다. 저자들은 솔루션이 테스트 가능한 함수로 분해될 수 있어야 한다는 요구 사항과 새로운 모델을 위한 온-폴리시 후보 생성의 엔지니어링 비용에 대한 한계를 언급했습니다.