Agnostics: Learning to Code in Any Programming Language via Reinforcement with a Universal Learning Environment

이 논문은 외부 관찰 가능한 실행 결과만을 기반으로 코드를 평가하는 단일 검증기를 활용하여, 각 프로그래밍 언어별 엔지니어링 없이도 강화 학습을 통해 저자원 언어에서도 고성능을 발휘하는 범용 코딩 학습 파이프라인 'Agnostics'를 제안합니다.

핵심

"Agnostics": 모든 프로그래밍 언어를 마스터하는 AI 의 '만능 키'

이 논문은 **"Agnostics(무신론자/중립자)"**라는 새로운 기술을 소개합니다. 이름처럼 이 기술은 특정 프로그래밍 언어를 '신봉'하지 않고, 어떤 언어든 똑같이 잘 다룰 수 있게 해줍니다.

기존의 AI(대형 언어 모델) 는 파이썬이나 자바스크립트 같은 인기 언어는 잘 쓰지만, 과학이나 공학에서 쓰이는 **희귀한 언어 (루아, 줄리아, R, OCaml, 포트란 등)**는 매우 서툴렀습니다. 마치 유명한 요리사가 이탈리아 파스타는 잘 만들지만, 전통적인 한국 김치찌개나 프랑스의 특정 지역 요리는 전혀 못 만드는 것과 비슷합니다.

이 문제를 해결하기 위해 연구팀은 **"언어를 구분하지 않는 만능 훈련 시스템"**을 만들었습니다.

---

🍳 비유로 이해하는 Agnostics 의 원리

이 기술의 핵심은 **"코드 자체를 보는 게 아니라, 코드가 만들어내는 '결과물'을 본다"**는 것입니다.

1. 기존 방식의 문제점: "요리사별 레시피"

기존에는 새로운 언어를 가르치려면 그 언어에 맞는 **새로운 레시피 (데이터셋)**와 **새로운 주방 도구 (테스트 환경)**를 하나하나 직접 만들어야 했습니다.

• 비유: 김치찌개를 가르치려면 김치찌개 전용 레시피를, 파스타를 가르치려면 파스타 전용 레시피를 따로 만들어야 하므로, 요리사 (AI) 가 새로운 요리를 배울 때마다 엄청난 시간과 노력이 들었습니다.

2. Agnostics 의 해결책: "맛보기 심사"

Agnostics 는 언어의 종류를 신경 쓰지 않습니다. 대신 **"이 요리가 주문한 대로 나왔는지"**만 확인합니다.

• 비유: 요리사가 어떤 언어 (재료) 를 쓰든 상관없이, **손님이 시킨 메뉴 (입력)**를 받아 완성된 요리를 내놨을 때 (출력), 손님이 만족하는지 (테스트 통과) 만 보면 됩니다.
• 만약 요리사가 "이건 김치찌개니까 김치를 넣어야 해"라고 변명하지 않아도 됩니다. 그냥 "맛있으면 점수 100 점, 맛없으면 0 점"입니다.

---

🛠️ 어떻게 작동할까요? (3 단계 과정)

이 시스템은 세 가지 간단한 단계로 작동합니다.

1 단계: 문제 번역 (LLM 이 해줍니다)
기존에 있는 프로그래밍 문제들을 AI 가 읽어보고, **"이 문제는 어떤 입력을 받아서 어떤 출력을 내야 해?"**라는 형식으로 통일합니다.

• 비유: 다양한 언어로 된 요리 레시피를 모두 "재료 A 를 넣고, 결과물 B 를 만들어라"라는 공통된 형식으로 정리해줍니다.

2 단계: 환경 설정 (간단한 설정 파일)
새로운 언어를 가르치고 싶다면, 아주 짧은 설정 파일 (YAML) 하나만 만들어주면 됩니다.

• 비유: "이 요리는 '루아'라는 재료를 쓰는데, '루아 전용 오븐'에서 구워야 해"라고 적어주기만 하면 됩니다. 복잡한 레시피는 필요 없습니다.

3 단계: 강화 학습 (시행착오와 보상)
AI 가 코드를 작성하면, 시스템이 실행해 봅니다.

• 성공: 입력에 맞는 출력이 나오면 "잘했어! 점수 +1!" (보상)
• 실패: 오류가 나거나 결과가 틀리면 "아쉽네. 다시 해봐." (보상 0)
• AI 는 이 점수를 받으며 스스로를 고쳐 나갑니다. 마치 게임에서 레벨을 올리는 것과 같습니다.

---

🚀 놀라운 성과

이 방법을 적용했을 때 어떤 일이 일어났을까요?

• 작은 AI 가 거인이 됨: 40 억 개 (4B) 의 파라미터만 가진 작은 AI 모델이, 이 방법으로 훈련하자 160 억~700 억 개 파라미터를 가진 거대 모델들과 어깨를 나란히 했습니다.
• 희귀 언어 마스터: 루아, 줄리아, R, OCaml, 포트란 등 평소 AI 가 서툴렀던 언어들에서도 최상위권의 실력을 보여주었습니다.
• 간편함: 새로운 언어를 추가하는 데 걸린 시간은 약 1 시간뿐이었습니다. (기존 방식은 몇 주가 걸렸을 것입니다.)

💡 결론

이 논문은 **"AI 가 새로운 프로그래밍 언어를 배울 때, 언어마다 따로 공부할 필요가 없다"**는 것을 증명했습니다.

마치 **"모든 언어를 이해하는 통역사"**가 아니라, **"모든 언어로 쓴 답이 맞는지 확인하는 정답 확인기"**를 통해 AI 를 훈련시킨 것입니다. 덕분에 앞으로는 어떤 새로운 프로그래밍 언어가 등장하더라도, AI 가 그 언어를 마스터하는 데 걸리는 시간과 비용이 획기적으로 줄어들 것입니다.

한 줄 요약:

"Agnostics 는 AI 에게 '언어'를 가르치는 게 아니라, '결과'를 확인하게 함으로써 어떤 언어든 자유롭게 코딩할 수 있게 만든 만능 훈련 시스템입니다."

기술 요약

Agnostics: 임의의 프로그래밍 언어에서 코드를 생성하기 위한 범용 강화 학습 환경

이 논문은 Agnostics라는 새로운 후학습 (post-training) 파이프라인을 제안합니다. 이는 저자원 (low-resource) 프로그래밍 언어 (예: Lua, Julia, R, OCaml, Fortran 등) 에 대한 대규모 언어 모델 (LLM) 의 성능을 획기적으로 개선하는 것을 목표로 합니다.

1. 문제 정의 (Problem)

현재 LLM 은 Python, JavaScript 와 같은 고자원 언어에서는 뛰어난 코딩 능력을 보이지만, 과학 및 공학 분야에서 필수적으로 사용되는 저자원 언어에서는 성능이 현저히 떨어집니다. 이 격차의 주요 원인은 다음과 같습니다.

• 데이터 부족: Stack V2 와 같은 대규모 코퍼스에서 Python 은 약 200GB 인 반면, Julia 나 Fortran 은 각각 2GB, 0.07GB 로 데이터 양이 극히 적습니다.
• 후학습 (Post-training) 인프라의 부재: 강화 학습 (RL) 을 위한 검증 도구 (Verifier), 테스트 하네스, 그리고 특정 언어에 맞는 데이터셋을 구축하는 데는 상당한 엔지니어링 노력이 필요합니다. 기존 방법론은 언어마다 별도의 파이프라인을 구축해야 하므로 확장성이 낮습니다.

2. 방법론 (Methodology)

Agnostics 는 언어에 무관한 (Language-agnostic) 접근 방식을 취합니다. 코드의 정답 여부를 내부적인 함수 구조가 아닌, 외부적으로 관찰 가능한 행동 (I/O) 으로만 판단함으로써 하나의 검증기로 모든 언어를 테스트할 수 있게 합니다.

핵심 단계

1. 데이터 준비 (Dataset Preparation):
   • 기존 언어별 데이터셋 (MBPP, Codeforces 등) 을 LLM 을 사용하여 표준 입출력 (Standard I/O) 형식으로 변환합니다.
   • 문제 설명과 테스트 케이스를 특정 언어의 함수 시그니처가 아닌, "입력 -> 계산 -> 출력"의 흐름으로 재구성합니다.
2. 언어 구성 (Language Configuration):
   • 새로운 언어를 지원하기 위해 매우 간단한 YAML 설정 파일 (4~5 줄) 만 작성하면 됩니다.
   • 이 파일에는 해당 언어의 컴파일/실행 명령어와 모델에게 해당 언어로 코드를 작성하도록 유도하는 프롬프트 접두사 (Prompt Prefix) 가 포함됩니다.
3. 강화 학습 (Reinforcement Learning):
   • GRPO (Group Relative Policy Optimization) 알고리즘을 적용합니다.
   • 검증 가능한 보상 (Verifiable Rewards, RLVR): 생성된 코드를 범용 실행 샌드박스 (OCI 컨테이너 기반) 에서 실행하여, 정의된 I/O 테스트 케이스와 일치하는지 확인합니다. 일치하면 보상 (1), 불일치 또는 실행 오류 시 0 을 부여합니다.
   • 이 환경은 타임아웃, 메모리 제한, 파일 시스템 격리 등을 통해 안전하고 견고하게 설계되었습니다.

3. 주요 기여 (Key Contributions)

1. Agnostics 파이프라인: 특정 언어별 엔지니어링 없이도 임의의 프로그래밍 언어에 대한 코딩 LLM 후학습을 가능하게 하는 범용 프레임워크.
2. 최신 성능 기록 (SOTA): Lua, Julia, R, OCaml, Fortran 에 대해 16B 이하 파라미터의 오픈 가중치 모델 중 가장 우수한 성능을 달성했습니다.
3. 새로운 데이터셋 및 벤치마크:
   • Ag-MBPP-X, Ag-Codeforces-X, Ag-LiveCodeBench-X: 기존 데이터를 범용 I/O 형식으로 변환한 학습 데이터셋.
   • Ag-LiveCodeBench-X: 기존 MultiPL-E 보다 훨씬 어려운 난이도를 가진 새로운 다국어 벤치마크.
4. 간소화된 프레임워크: 범용 코드 실행 샌드박스, 샘플링, 보상 계산, GRPO, 모델 역전파 등을 포함한 경량화된 학습 프레임워크 공개.

4. 실험 결과 (Results)

저자들은 5 가지 저자원 언어 (Lua, Julia, R, OCaml, Fortran) 에 대해 Qwen-3 4B/8B, DeepSeek Coder, SmolLM3, Phi 4 Mini 등 다양한 모델을 학습 및 평가했습니다.

• 성능 향상: Agnostics 로 학습된 Qwen-3 4B 모델은 다른 16B~70B 규모의 오픈 모델들과 경쟁하거나 이를 능가하는 성능을 보여주었습니다.
  • 예: Fortran 과 OCaml 에서 초기 점수가 0% 에 가까웠으나, 학습 후 Ag-LiveCodeBench-X 에서 각각 약 15%, 7% 로 크게 상승하여 Frontier 모델 (Sonnet 4 등) 을 능가하기도 했습니다.
• 확장성: 4B 모델뿐만 아니라 8B 모델 (Qwen-3 8B) 및 DeepSeek Coder 6.7B, Phi 4 Mini 등 다양한 모델 패밀리에서도 일관된 성능 향상을 보였습니다.
• 일반화 능력: 표준 I/O 형식으로 학습되었음에도 불구하고, 함수 시그니처 기반의 MultiPL-E 벤치마크에서도 성능이 크게 향상되어 학습된 코딩 능력이 다양한 문제 형식에 일반화됨을 입증했습니다.
• 비교 분석:
  • Distillation (지식 증류) 대비 우위: 큰 모델 (Sonnet 4) 의 해답을 증류하는 방식보다 Agnostics 의 RL 학습 방식이 저자원 언어에서 훨씬 효과적이었습니다.
  • Rejection Sampling 대비 효율성: 기존 MultiPL-T 방식과 같은 거부 샘플링 (Rejection Sampling) 은 저자원 언어에서 성공률이 낮아 계산 비용이 기하급수적으로 증가하는 반면, Agnostics 는 이를 효율적으로 해결했습니다.
• 버그 분석: 학습 전 모델은 문법 오류나 기본 라이브러리 오용 등 '심층적이지 않은' 오류가 많았으나, 학습 후에는 이러한 오류가 줄어들고 대신 알고리즘적 논리 오류가 더 두드러지는 등 모델의 이해도가 깊어졌음을 확인했습니다.

5. 의의 및 결론 (Significance)

• 엔지니어링 비용 절감: 새로운 언어를 지원하기 위해 수천 줄의 테스트 변환기나 복잡한 파이프라인을 구축할 필요 없이, 몇 줄의 YAML 설정 파일과 컨테이너 실행 명령어만 있으면 됩니다. (예: OCaml 과 Fortran 지원에 각각 1 시간 소요)
• 과학 및 공학 분야 접근성: Julia, Fortran, R 등 과학계와 공학계에서 필수적인 언어를 사용하는 개발자들이 LLM 의 혜택을 실질적으로 누릴 수 있는 길을 열었습니다.
• 재현성 및 공개: 학습 데이터, 코드, 모델, Wandb 로그 등을 모두 공개하여 (agnostics.abgru.me), 연구 커뮤니티가 어떤 언어든 쉽게 RL 학습을 적용할 수 있도록 했습니다.

결론적으로 Agnostics 는 저자원 프로그래밍 언어에 대한 LLM 의 성능 격차를 해소하기 위한 효율적이고 확장 가능한 표준 솔루션을 제시하며, 향후 다양한 도메인 특화 언어 모델 개발의 새로운 패러다임을 제시합니다.