ConSelf: 시맨틱 엔트로피와 행동적 합의 기반의 자기 개선 코드 생성 기술 요약

이 논문은 외부 교정 모델 (Teacher Model) 이나 신뢰할 수 있는 테스트 오라클 (Test Oracle) 없이도 대규모 언어 모델 (LLM) 이 스스로 코드를 생성하는 능력을 향상시킬 수 있는 새로운 방법론인 ConSelf를 제안합니다.

1. 문제 제기 (Problem)

기존의 코드 생성 모델 성능 향상 기법은 주로 다음과 같은 두 가지 비용이 많이 드는 자원에 의존합니다.

1. 강력한 교사 모델 (Teacher Model): 참조 솔루션 (Reference Solution) 을 생성하기 위해 더 우수한 모델이 필요합니다.
2. 신뢰할 수 있는 테스트 오라클: 생성된 코드가 올바른지 판단하기 위한 정답 데이터 (Test Oracle) 가 필요합니다.

실제 환경에서는 문제 설명과 테스트 입력 (Test Inputs) 은 비교적 쉽게 구할 수 있지만, 정답 코드나 오라클을 얻는 것은 매우 어렵고 비용이 큽니다. 특히, 모델이 현재 해결할 수 없는 난이도의 문제에 대해 스스로 생성한 솔루션들은 대부분 오류가 많고 노이즈가 심하여, 이를 학습 데이터로 사용하면 오히려 모델 성능이 저하되는 '노이즈 데이터'의 함정에 빠질 수 있습니다.

핵심 질문: 외부의 정답이나 오라클 없이, 문제 설명과 테스트 입력만으로 코드 언어 모델이 스스로를 개선할 수 있는가?

2. 방법론 (Methodology)

ConSelf 는 **"무엇을 학습할 것인가 (What to learn)"**와 **"어떻게 학습할 것인가 (How to learn)"**라는 두 가지 핵심 전략을 기반으로 합니다.

2.1 관찰 기반 샘플링 (Observation-Guided Sampling)

모델이 다양한 솔루션을 생성할 수 있도록, 먼저 각 문제에 대해 모델이 생성한 '관찰 (Observations)' (예: 핵심 정의, 함정, 해결 전략 등) 을 기반으로 코드를 생성합니다. 이를 통해 단일한 오류가 아닌 다양한 행동 패턴을 가진 후보 코드 풀 (Candidate Pool) 을 확보합니다.

2.2 코드 시맨틱 엔트로피 (Code Semantic Entropy) - "무엇을 학습할 것인가"

학습할 문제를 선별하기 위해 기존 내부 신뢰도 지표 (토큰 엔트로피, 로그 가능도 등) 대신 코드 시맨틱 엔트로피를 도입했습니다.

• 개념: 여러 개의 생성된 코드를 테스트 입력에 실행하여 얻은 출력 행동의 다양성을 측정합니다.
• 원리:
  • 높은 엔트로피: 모델이 문제를 해결하는 일관된 전략이 없음을 의미 (학습 신호가 불확실하거나 노이즈가 심함).
  • 낮은 엔트로피: 모델이 일관된 행동을 보임 (이미 해결했거나, 모든 코드가 동일한 오류를 범함).
• 커리큘럼 선별: 엔트로피가 너무 높거나 너무 낮은 문제를 필터링하고, 모델이 학습할 수 있는 적정 난이도의 문제 (중간 엔트로피) 만을 선별하여 커리큘럼을 구성합니다. 이는 모델의 현재 능력에 맞는 '학습 가능한' 문제만 골라냅니다.

2.3 합의 기반 직접 선호 최적화 (Consensus-Driven DPO, Con-DPO) - "어떻게 학습할 것인가"

선별된 데이터로 모델을 미세 조정 (Fine-tuning) 할 때, 생성된 데이터의 노이즈를 완화하기 위해 Con-DPO를 사용합니다.

• 행동적 합의 점수 (Behavioral Consensus Score): 생성된 후보 코드들 중 실행 결과가 다른 코드들과 얼마나 일치하는지 (합의도) 를 계산합니다. 많은 코드가 동일한 결과를 내면 그 코드가 더 신뢰할 수 있다고 간주합니다.
• 가중치 적용: 선호도 쌍 (Preferred vs Rejected) 을 학습할 때, 승리한 코드의 합의 점수를 가중치로 적용합니다. 합의도가 높은 신뢰할 수 있는 데이터에는 큰 학습 신호를, 합의도가 낮은 노이즈가 있는 데이터에는 작은 신호를 주어 모델이 잘못된 패턴을 학습하는 것을 방지합니다.

3. 주요 기여 (Key Contributions)

1. 코드 시맨틱 엔트로피 제안: 실행 가능한 행동 (Functional Behavior) 에 기반한 새로운 불확실성 측정 지표를 개발하여, 외부 오라클 없이도 문제의 난이도와 모델의 학습 가능성을 정밀하게 추정합니다.
2. ConSelf 프레임워크: 엔트로피 기반 커리큘럼 선별 (What to learn) 과 합의 기반 선호 최적화 (How to learn) 를 결합한 자기 개선 시스템을 구축했습니다.
3. 실증적 검증: 외부 감독 없이도 기존 모델보다 성능을 향상시키는 것을 입증했습니다.

4. 실험 결과 (Results)

HumanEval, MBPP, EvalPlus, LiveCodeBench 등 다양한 벤치마크와 CodeLlama, DeepSeek-Coder, Qwen2.5-Coder 등 세 가지 백본 모델을 사용하여 실험했습니다.

• 성능 향상: ConSelf 는 모든 모델에서 베이스 모델 대비 **2.73% ~ 3.95%**의 상대적 성능 향상을 기록했습니다.
• 기존 방법 대비 우위:
  • Self-SFT / Self-DPO: 필터링 없이 모든 생성 데이터를 학습한 경우, 오히려 성능이 저하되었습니다 (노이즈 과적합).
  • PFPO (Pseudo Feedback): 가짜 테스트 케이스를 사용한 방법은 일부 모델에서만 소폭 향상되거나 성능이 떨어졌습니다.
• 데이터 효율성: ConSelf 는 필터링을 통해 전체 데이터의 일부 (예: DeepSeek-Coder 의 경우 약 6,372 개) 만을 학습하여, 더 적은 데이터로 더 높은 성능을 달성했습니다.
• 지표 비교: 코드 시맨틱 엔트로피는 기존 내부 신뢰도 지표 (토큰 엔트로피 등) 보다 '해결 가능한 문제'와 '해결 불가능한 문제'를 구분하는 능력 (AUC) 이 훨씬 뛰어났습니다.

5. 의의 및 결론 (Significance)

이 연구는 외부 감독 (Teacher Model, Test Oracle) 없이도 LLM 이 스스로 진화할 수 있는 가능성을 보여주었습니다.

• 실용성: 정답 데이터나 오라클을 구축하기 어려운 현실적인 시나리오 (예: 폐쇄형 API 모델, 특수 도메인) 에서도 모델 성능을 향상시킬 수 있는 길을 열었습니다.
• 방법론적 통찰: 단순히 데이터를 많이 학습하는 것이 아니라, **모델의 현재 능력에 맞는 문제 (커리큘럼)**를 선별하고, 노이즈가 있는 자기 생성 데이터를 신뢰도 기반으로 가중치를 두어 학습하는 것이 자기 개선의 핵심임을 입증했습니다.
• 지속 가능성: 고비용의 교사 모델 의존도를 줄이고, 실행 가능한 행동 (Execution-based) 에 기반한 객관적인 피드백 루프를 구축함으로써 더 견고한 코드 생성 시스템 개발에 기여합니다.

결론적으로, ConSelf 는 "무엇을 학습할지"를 선택하는 커리큘럼 관리와 "어떻게 학습할지"를 조절하는 합의 기반 최적화를 통해, 외부 자원이 부족한 환경에서도 고품질의 코드 생성 능력을 확보하는 효과적인 솔루션을 제시합니다.