기술 요약: 추론에서 코드로: 소수 언어를 위한 GRPO 최적화

문제 제기

프롤로그 (Prolog), 리스프 (Lisp) 와 같은 소수 프로그래밍 언어에서 정확하고 실행 가능한 코드를 생성하는 것은 여전히 대규모 언어 모델 (LLM) 에게 중요한 과제로 남아 있습니다. 모델이 파이썬과 같은 고자원 언어에서는 탁월한 성능을 발휘하는 반면, 공개된 학습 데이터의 부족으로 인해 논리 프로그래밍 분야에서는 일관되게 실패합니다. 이러한 데이터 부족은 다음과 같은 특정 실패 양상으로 이어집니다: 존재하지 않는 술어 (predicate) 의 환각, 선언적 패러다임에 명령형 제어 흐름의 강요, 그리고 통일 (unification) 과 후퇴 (backtracking) 의 부적절한 처리입니다. 표준 지도 미세 조정 (SFT) 은 인간이 작성한 희소 예제에 의존하며 실행 정확성을 직접 최적화하지 않기 때문에 불충분합니다.

방법론

이 논문은 방대한 인간 큐레이션 데이터셋에 의존하지 않고 실행 기반 피드백을 활용하여 소규모 LLM(Qwen2.5-Coder 계열, 0.5B~7B 파라미터) 을 학습시키는 검증 가능한 보상을 통한 강화 학습 (RLVR) 프레임워크를 제안합니다.

핵심 프레임워크

• 알고리즘: 저자들은 PPO 와 달리 별도의 가치 함수 네트워크가 필요 없는 정책 경사 알고리즘인 **그룹 상대 정책 최적화 (GRPO)**를 사용합니다. GRPO 는 동일한 프롬프트에서 샘플링된 동료 출력 그룹에 대한 출력의 이점을 추정하여 계산 오버헤드를 줄입니다.
• 학습 루프: 시스템은 프로로그 인터프리터 (PySwip 을 통해) 를 학습 루프에 직접 통합합니다. LLM 은 자연어 프롬프트 (특히 GSM8K 데이터셋에서) 에 응답하여 코드를 생성하고, 인터프리터는 해당 코드를 실행하여 정답의 정확성 신호를 제공합니다.
• 보상 시스템: 다목적 보상 함수는 네 가지 신호를 집계합니다:
  1. 형식 보상: 코드 추출을 보장하기 위해 엄격한 XML 템플릿(<reasoning>, <code>, <query>) 을 준수하는지에 대한 패널티와 보너스. 쿼리가 코드 블록 내부에 잘못 중첩된 경우 특정 패널티가 적용됩니다.
  2. 정확성 보상: 실행 결과에 기반합니다:
     • +1.0: 정답과 정확히 일치.
     • -1.0: 논리적 오류 (실행되지만 결과가 잘못됨).
     • -0.5: 구문 오류 (컴파일 또는 실행 실패).
     • -0.1: 시간 초과 또는 출력 없음.

주요 기술적 개입

저자들은 **"추론 수축 (reasoning contraction)"**이라고 명명된 실패 양상을 발견했는데, 이는 KL 발산 패널티를 사용한 표준 GRPO 학습으로 인해 7B 모델이 짧고 암기된 출력 패턴으로 붕괴하여 시간이 지남에 따라 정확도가 저하되는 현상입니다. 이를 해결하기 위해 두 가지 중요한 수정 사항을 도입했습니다:

1. KL 발산 제거: KL 패널티를 제거함으로써 정책이 지도 학습 기준선에서 더 멀리 이동할 수 있게 하여, 모델이 고유한 논리 프로그래밍 패러다임을 내재화할 수 있도록 했습니다.
2. 길이 인식 보상: 모델이 추론 과정을 잘라내지 않도록 목표 토큰 길이 범위 내에서 추론 체인을 장려하는 특정 보상 메커니즘을 추가했습니다.

주요 기여

1. 프롤로그의 새로운 최첨단 성능: 실행 기반 피드백을 통한 RLVR 이 극단적인 데이터 부족을 보완할 수 있음을 입증하여, 7B 파라미터 모델을 사용한 GSM8K 의 프롤로그 코드 생성에 대한 새로운 벤치마크를 확립했습니다.
2. GRPO 역학의 체계적 제거 실험: 논리 프로그래밍에서 KL 정규화 강화 학습의 특정 실패 양상인 "추론 수축"을 식별하고, 이 제약을 완화하는 것이 유리한 조건을 규명했습니다.
3. 산술을 넘어선 일반화: 개선 사항이 20 가지 다양한 프롤로그 작업 (Rosetta Code) 과 GSM-Symbolic 벤치마크로 이전됨을 보여주었으며, 제로샷 정확도가 두 배 이상 증가했습니다.
4. 크로스 언어 유효성: 리스프에서도 접근 방식을 검증하여 인터프리터 기반 강화 학습이 소수 언어의 서로 다른 계열 전반에 걸쳐 효과적임을 입증했습니다.

결과

실험은 GSM8K 데이터셋에서 수행되었으며, Rosetta Code 와 GSM-Symbolic(P1 및 P2 변형) 에서 평가가 이루어졌습니다.

• GSM8K 성능:
  • 최적화된 Qwen2.5-Coder-7B(제로샷, KL 제거, 길이 제약) 는 pass@4 0.882를 달성했습니다.
  • 원샷 설정에서 동일한 구성은 0.893에 도달하여 PROPER(Mistral-7B, 0.72), Llama 3.3 70B(0.839), Qwen2.5-Coder-32B(0.873) 를 능가했습니다.
  • KL 제거 없이 7B 모델은 성능 편차를 겪어 기준선인 0.814 에서 0.672 로 하락했습니다.
• GSM-Symbolic:
  • 더 깊은 심볼 조작이 필요한 까다로운 P2 데이터셋에서 7B 모델의 제로샷 pass@4 는 기준선인 0.298 에서 0.673으로 증가했습니다.
• 리스프 성능:
  • 이 접근 방식은 리스프의 제로샷 pass@4 를 0.572 에서 0.876으로 향상시켰습니다. 그러나 KL 제약 제거는 프롤로그에 비해 리스프에서 더 소극적인 개선을 가져왔는데, 이는 "정규화되지 않은" 학습이 매우 전문화된 저자원 언어에서 가장 중요함을 시사합니다.
• Rosetta Code:
  • 7B 모델은 제로샷 기준선을 거의 두 배로 늘려 pass@4 0.46 에 도달했습니다.

중요성과 주장

이 논문은 결정론적 의미를 가진 형식 언어의 경우, 인터프리터 자체가 희소한 인간 데이터에 의존하는 현재 접근 방식을 대체하는 주요 학습 신호로 기능할 수 있다고 주장합니다. 심볼 시스템을 단순한 도구가 아니라 실행 추적을 통해 신경망을 감독하는 "교사"로 간주함으로써, 저자들은 엄격하고 자동화된 감독자를 제공합니다.

이 연구는 소수 언어에서 코드 생성을 강화하기 위한 견고하고 적응력 있는 경로를 제공한다고 주장합니다. 신경 직관과 심볼적 엄밀성 사이의 간극을 메우는 데는 거대한 규모나 방대한 데이터셋이 필요한 것이 아니라, 강화 학습을 통한 실행 정확성 극대화를 향한 학습 목표의 전환이 필요함을 시사합니다. 저자들은 이 방법론이 모델이 대상 언어의 구문과 논리를 존중하게 하여, 사용자가 문제를 진술하면 컴퓨터가 검증 가능한 논리적 코드를 통해 문제를 해결하는 프로그래밍의 "성배"에 더 가까워지게 한다고 결론지었습니다.