기술 요약: 제약된 코드 생성에서의 정렬 문제 (The Alignment Problem in Constrained Code Generation)

문제 정의

대규모 언어 모델(LLM)은 코드 생성에서 강력한 능력을 보여주었으나, 빈번하게 구문(syntax) 또는 타입 오류를 발생시켜 컴파일 실패를 초래한다. TypeScript와 같은 정적 타입 언어에서는 컴파일 에러의 약 94%가 구문 오류가 아닌 타입 시스템 위반에서 기인한다. 이를 완화하기 위해, 구조적 유효성을 보장하기 위한 기법으로 형식적 규칙(예: 구문 문법, 타입 시스템)을 토큰 생성 과정에 강제하는 **제약된 디코딩(constrained decoding)**이 제안되었다.

그러나 저자들은 역설적인 현상을 관찰했다. 예비 연구 결과, 제약 없는 디코딩(unconstrained decoding)이 기능적 정확도(functional correctness) 측면에서 제약된 디코딩보다 더 우수한 성능을 보이는 경우가 많았다. 논문은 이러한 실패가 제약 개념 자체의 결함이 아니라, 다음 세 가지 핵심 엔티티 간의 결정적인 정렬(misalignment) 문제 때문이라고 주장한다:

1. 모델 언어 ($L_M$): LLM의 학습 분포에 기반하여 모델이 생성할 가능성이 높은 프로그램 집합.
2. 대상 언어 ($L_T$): 명세(예: TypeScript 컴파일러 규칙)에 따라 유효한 프로그램 집합.
3. 제약된 언어 ($L_C$): 디코딩 중에 사용자 정의 제약기(예: 증분 파서/타입 체커)에 의해 허용되는 프로그램 집합.

본 논문의 핵심 논지는 제약기가 **불완전(incomplete)**하여 (유효한 $L_T$를 거부하거나) **부적절(unsound)**하여 (유효하지 않은 프로그램을 허용할 때) 제약된 디코딩이 해롭다는 것이다. 불완전한 제약기는 LLM을 낮은 확률 영역으로 몰아넣어 "불완전성 편향(incompleteness bias)", 텍스트 퇴행, 그리고 빈번한 타임아웃을 유발하며, 궁극적으로 기능적 정확도를 저하시킨다.

방법론

저자들은 $L_M$, $L_T$, $L_C$ 사이의 관계를 분석하기 위한 정렬(Alignment) 프레임워크를 제안한다. 이들은 세 집합 간의 자카드 유사도(Jaccard similarity)로 정렬을 정의한다. 연구는 미정렬의 비용과 잠재적 완화 방법을 조사하기 위해 세 가지 연구 질문(RQ)으로 구성된다:

• RQ0 (효과성): 6개의 LLM(2B에서 80B 파라미터 범위), 2개의 벤치마크(HumanEval 및 MBPP), 3개의 온도(temperature) 설정에 걸쳐 제약된 디코딩과 제약 없는 디코딩을 비교하는 대규모 실증 연구.
• RQ1 (미정렬의 비용): 생성된 프로그램의 정규화 음의 로그 가능도(Normalized Negative Log-Likelihood, NLL)를 측정하여 "불완전성 편향"을 정량화한다. 연구는 (전방 참조 및 사용자 정의 타입을 지원하지 않는 TypeScript 타입 제약기를 사용하는) 불완전한 제약기가 모델의 분포를 어떻게 왜곡하는지 분석한다.
• RQ2 (정렬 복구): **미세 조정(fine-tuning)**을 통해 LLM이 제약기의 특정 제약 사항을 준수하도록 만드는 것이 편향을 완화할 수 있는지 평가한다. 저자들은 증분 타입 체커를 통과하는 보상 함수를 사용하여 그룹 상대 정책 최적화(GRPO)를 사용한다.
• RQ3 (완전한 정렬): TOML(엄격한 문맥 자유 문법을 가진 언어)을 샌드박스로 사용하여 완전성(completeness)의 영향을 체계적으로 테스트한다. 완전한 구문 제약기와 특정 기능이 제거된 변형들(예: 선택적 공백, 주석, 점 표기 키)을 비교하여 모델이 다양한 정도의 불완전성에 얼마나 민감한지 격리하여 분석한다.

주요 결과

1. 제약 없는 디코딩이 종종 제약된 디코딩보다 우수함 (RQ0)

모든 구성(HumanEval 및 MBPP 벤치마크)에서 제약 없는 디코딩이 타입 제약 디코딩보다 일관되게 높은 **기능적 정확도(Functional Correctness, FC)**를 달성했다.

• 타임아웃: 제약된 디코딩은 특히 작은 모델과 낮은 온도 설정에서 토큰 또는 시간 제한을 초과하는 타임아웃 발생률이 현저히 높았다.
• 타입-구문 vs 기능성: 제약된 디코딩은 타입-구문 정확도(Type-Syntax Correctness, TSC)를 개선했지만, 이것이 기능적 정확도의 향상으로 이어지지는 않았다. 실제로 제약은 모델이 구문적으로는 유효하지만 기능적으로는 틀린 코드를 생성하게 하거나 생성 루프에 빠지게 만드는 경우가 많았다.

2. 미정렬은 분포적 편향을 유발함 (RQ1)

연구는 불완전한 제약기가 LLM을 낮은 확률 영역으로 밀어넣는다는 것을 확인했다.

• NLL 분석: 제약된 솔루션은 unconstrained 솔루션에 비해 NLL이 현저히 높았다(이는 모델의 자연스러운 분포 하에서 해당 코드가 나타날 확률이 낮음을 의미함).
• 실패 메커니즘: 모델이 제약기가 지원하지 않는 기능(예: TypeScript의 전방 참조)을 사용하려고 시면, 제약기는 해당 토큰을 거부한다. 그러면 모델은 대안을 선택하도록 강제되며, 이는 생성된 코드가 의미론적으로 터무니없어지거나 타임아웃이 발생할 때까지 반복 루프에 빠지는 "낮은 확률 경로"로 이어지게 된다.

3. 미세 조정은 편향을 완화하지만 완전히 제거하지는 못함 (RQ2)

제약기의 분포에 맞게 LLM을 정렬하기 위한 미세 조정(GRPO 사용)은 혼재되어 있으나 긍정적인 결과를 냈다:

• 타임아웃 감소: 미세 조정은 토큰 제한 타임아웃을 53–73%, 시간 제한 타임아웃을 74–94% 감소시켰다.
• 수렴: 일부 사례(예: HumanEval에서의 Gemma-2-2B)에서 미세 조정은 제약된 디코딩과 제약 없는 디코딩의 기능적 정확도를 동등한 수준으로 만들었다.
• 한계점: 정렬 개선에도 불구하고 일부 불완전성 편향이 지속되었다. 제약된 디코딩은 여전히 기능적 정확도 측면에서 제약 없는 디코딩보다 성능이 낮거나 겨우 대등한 수준이었으며, 이는 미세 조정만으로는 근본적으로 불완전한 제약기를 완전히 보완할 수 없음을 시사한다.

4. 완전성이 결정적임 (RQ3)

TOML을 사용하여, 저자들은 완전한 제약기가 제약 없는 디코딩보다 특히 작은 모델에서 성능이 크게 향상됨을 입증했다.

• 성능 향상: 완전한 제약기를 사용할 때, 2B 모델(Gemma-2-2B)은 제약 없는 디코딩에 비해 Exact Match 점수가 53% 증가했다.
• 불완전성에 대한 민감도: 특정 기능을 제거하면 성능이 급격히 떨어졌다. 예를 들어, 등호 앞의 선택적 공백(c-space=)을 금지했을 때 80B 모델의 기능적 정확도가 97% 감소했다. 이는 모델이 아주 미세한 구문적 구조(예: 공백)에도 상당한 의미적 가중치를 부여함을 나타낸다.
• 기능별 민감도: 모든 기능이 똑같이 중요한 것은 아니었다. 주석이나 점 표기 키를 제거하는 것은 영향이 미미했으나, 공백 옵션을 제거하는 것은 치명적이었다.

의의 및 기여

본 논문은 커뮤니티에 다음과 같은 기여를 한다:

1. 실패에 대한 실증적 증거: 현재의 제약된 디코딩 방식이 기능적 정확도 측면에서 제약 없는 디코딩에 의해 일관되게 뒤처진다는 것을 보여주는 대규모 연구를 통해, 제약이 자동으로 코드 생성을 개선한다는 가설에 도전한다.
2. 정렬 프레임링: 모델 언어, 대상 언어, 제약 언어 사이의 정렬(alignment) 개념을 도입한다. 이 프레임워크는 왜 제약된 디코딩이 실패하는지(불완전성 편향)를 설명하며, 이러한 문제를 진단하기 위한 이론적 기초를 제공한다.
3. 완화에 대한 정량적 통찰: 미세 조정이 (제약기와 모델의 분포를 조화시킴으로써) 미정렬의 부정적 효과를 줄일 수는 있지만, 만능 해결책은 아니라는 점을 보여준다. 가장 효과적인 해결책은 완전한(complete) 제약기를 설계하는 것이다.
4. 설계 가이드라인: 제약기가 미세한 구문적 제한(예: 공백)만으로도 생성 품질에 막대한 부정적 영향을 미칠 수 있음을 강조하며, 제약기 설계를 위한 정량적 통찰을 제공한다.

결론

본 논문은 제약된 디코딩이 모델, 대상, 제약 사이에 엄격한 정렬이 존재할 때만 유익하다고 결론짓는다. 불완전한 제약기는 LLM의 분포를 왜곡하는 편향의 원인으로 작용하여 생성 실패를 유발한다. 기능적 정확도를 희생하지 않으면서 형식적 보장을 달성하려면, 실무자는 완전한 제약기를 설계하거나, 미세 조정을 통해 모델의 분포를 제약에 맞춰 정렬해야 한다. 다만, 후자의 경우 불완전성으로 인한 성능 격차를 완전히 회복하지 못할 수 있음을 인지해야 한다.