컴퓨터가 매우 유능하지만 약간은 서투른 요리사와 같은 세상이 있다고 상상해 보세요. 그들은 완벽한 요리를 만들기 위한 레시피를 따를 수는 있지만(작동하는 코드를 작성하는 것), 단 한 번의 큰 도약으로 끝낼 수 있는 일을 천 가지의 작은 단계로 나누어 돌아가는 긴 길을 택하곤 합니다. 이것이 바로 **인공지능(AI)**과 코드 생성의 세계입니다. 과학자들은 이 AI 요리사들에게 피드백을 주어 요리하는 법을 가르쳤습니다: "만약 요리의 맛이 맞다면, 금메달을 줄게." **강화 학습(Reinforcement Learning)**이라 불리는 이 방식은 AI가 작동하는 코드를 작성하는 데 매우 능숙하게 만들었습니다. 하지만 문제가 하나 있습니다. 코드가 종종 느리게 실행된다는 점입니다. 마치 양파를 푸드 프로세서 대신 손으로 일일이 다지는 요리사와 같습니다. 큰 질문은 이것입니다. "우리가 AI에게 단순히 요리를 만드는 법뿐만 아니라, '빠르게' 만드는 법도 가르칠 수 있을까?" 문제는 '빠르다'는 개념이 매우 미끄러운 개념이라는 것입니다. 코드가 실행되는 데 정확히 얼마나 걸리는지 측정하는 것은, 마치 손에 든 스톱워치가 흔들리는 와중에 경주 시간을 재는 것처럼 노이즈가 많습니다. 만약 AI가 타이밍을 잘못 맞춘다면, 빠르게 달리는 법을 배우는 대신 엉망진창이 되거나, 노이즈 때문에 학습 자체를 멈춰버릴 수도 있습니다.

"강화 학습을 통한 코드 최적화(Reinforcement Learning for Code Optimization)"라는 제목의 이 논문은 연구팀이 어떻게 AI 요리사에게 양파를 손으로 다지는 대신 푸드 프로세서를 사용하도록 가르쳤는지, 그리고 그 과정에서 주방을 태워 먹지 않도록 어떻게 했는지에 대한 이야기입니다. 그들은 단순히 AI에게 "더 빠르게 해"라고 말하는 것만으로는 효과가 없다는 것을 발견했습니다. 왜냐하면 시간 측정값이 너무 지저도(noisy) 있기 때문입니다. 대신 그들은 특별하고 매우 정확한 주방(정밀하게 보정된 샌드박스)과 AI에게 금메달을 주는 새로운 규칙 세트를 구축했습니다. 그들은 AI가 테스트를 받을 때, 느린 솔루션과 빠른 솔루션의 차이를 실제로 보여줄 수 있는 더 크고 어려운 문제들을 사용하여 테스트를 정교하게 설계함으로써, AI가 코드를 올바르게 작성하면서도 훨씬 더 빠르게 작성할 수 있도록 가르칠 수 있다는 것을 발견했습니다. 결과는 어땠을까요? AI는 엄격한 카테고리에서 일부 복잡한 퍼즐을 최대 125% 더 빠르게 해결하는 법을 배웠습니다. 이는 마치 학생에게 수학 문제를 풀라고 가르칠 때, 선생님의 스톱워치가 조금 흔들리더라도 가장 적은 단계로 문제를 풀도록 가르치는 것과 같습니다.

문제점: "빠르지만 틀린" 함정

당신이 로봇에게 경주를 하도록 훈련시킨다고 상상해 보세요. 만약 당신이 단순히 "최대한 빨리 달려"라고 말한다면, 로봇은 트랙을 망가뜨리며 지름길로 가거나, 너무 서두르다가 자기 발에 걸려 넘어질 수도 있습니다. 코드의 세계에서도 연구자들이 AI를 더 빠르게 가르치려 할 때 정확히 이런 일이 발생했습니다. 그들은 보상 체계에 "속도"를 추가하려고 시도했습니다: "코드가 작동하고 1초 안에 실행되면 큰 보상을 준다. 만약 10초가 걸리면 작은 보상을 준다."

하지만 이 단순한 아이디어는 실패했습니다. 왜일까요? 시간을 측정하는 것이 노이즈가 많기 때문입니다. 때때로 코드가 빠르게 실행되는 이유는 코드가 똑똑해서가 아니라, 컴퓨터가 운 좋게 컨디션이 좋았기 때문일 수 있습니다. 반대로 어떤 경우에는 컴퓨터가 다른 작업으로 바빠서 코드가 느리게 실행될 수도 있습니다. 이 "노이즈"는 AI를 혼란스럽게 했습니다. AI는 "빠르다"는 것이 중요하지 않다고 배우거나, 더 심하게는, 매우 빠르지만 완전히 틀린 코드를 작성하는 법을 배웠습니다(마치 결승선을 향해 엉뚱한 방향으로 달려가는 로봇처럼 말이죠). 논문은 만약 측정 도구를 고치지 않고 단순히 시간에 보상을 더하기만 한다면, AI는 거의 빨라지지 못하며 심지어 정확도가 떨어질 수도 있다는 것을 보여줍니다.

해결책: 더 나은 주방 만들기

연구원들은 AI가 학습하기 전에 세 가지를 먼저 고쳐야 한다는 것을 깨달았습니다: 테스트, 보상, 그리고 훈련 방법입니다.

1. 테스트: 단거리 경주에서 마라톤으로
원래 AI에게 주어진 테스트들은 단거리 경주와 같았습니다. 매우 짧고 빠른 것이죠. 단거리 경주에서는 아주 작은 지연(예: 재채기 한 번)이 시간에 큰 차이를 만들 수 있어, 러너가 실제로 더 빠른지 판단하는 것이 불가능합니다. 연구원들은 DMC-Optim이라는 새로운 테스트 세트를 구축했습니다. 이것은 마라톤과 같습니다. 거대한 입력값과 몇 초 또는 몇 분 동안 실행되는 복잡한 문제들을 사용합니다. 마라톤에서는 재채기 한 번이 문제가 되지 않습니다. 누가 실제로 더 빨리 달리고 있는지 명확히 알 수 있습니다. 그들은 2,723개의 정제된 문제들을 만들었고, AI가 좋은 솔루션과 훌륭한 솔루션 사이의 차이를 실제로 느낄 수 있도록 설계된 352,740개의 새로운 "최적화 테스트"를 추가했습니다.

2. 보상: 3단계 게이트
단순히 "빠를수록 좋다"라고 말하는 대신, 연구원들은 세 단계의 게이트 역할을 하는 영리한 보상 시스템을 설계했습니다:

• 게이트 1 (정확성): 코드는 반드시 작동해야 합니다. 작동하지 않으면 큰 페널티를 받습니다 (금메달 없음).
• 게이트 2 (최적화): 코드가 작동한다면, "속도 테스트"를 통과했습니까? AI는 인간 전문가들의 리더보드와 비교됩니다. AI가 상위 30%의 인간 수준에 도달하면 보상을 받습니다.
• 게이트 3 (신호): 보상은 단순한 숫자가 아니라 명확한 신호입니다. 그들은 디머 스위치(밝기 조절 스위치) 대신 "이진(binary)" 보상(전등 스위치처럼 켜짐 또는 꺼짐)을 사용했습니다. 이는 AI가 시간의 미세하고 노이즈 섞인 차이 때문에 혼란을 겪는 것을 방지합니다. 코드가 정확하고 충분히 빠르면 불이 켜집니다. 그렇지 않으면 꺼져 있습니다. 이 단순한 "온/오프" 신호는 놀라울 정도로 강력했습니다.

3. 훈련: 안정적인 코치
노이즈가 많은 타이밍 데이터로 AI를 훈련시키는 것은 흔들리는 손으로 강아지를 가르치는 것과 같습니다. 연구원들은 자신들의 훈련 알고리즘(GRPO)을 더 안정적으로 조정해야 했습니다. 그들은 AI가 각 문제에 대해 시도하는 횟수를 늘렸습니다(강아지에게 코스를 한 번 대신 16번 달리게 하는 것과 같습니다)으로써 노이즈를 평균화했습니다. 또한, 타이밍 측정이 다소 흔들리더라도 AI가 낙담하지 않도록 "점수" 계산 방식을 조정하여 훈련을 안정적으로 유지했습니다.

결과: 충돌 없이 속도 높이기

이 모든 조각을 결합했을 때, 결과는 인상적이었습니다. 그들은 Qwen 2.5(70억 및 320억 파라미터 모델)와 CWM 32B를 포함한 다양한 AI 모델을 테스트했습니다.

• 거대한 도약: 가장 어려운 테스트(코드의 속도가 인간 상위 30% 안에 들어야 하는 경우)에서, CWM 32B 모델의 성능은 **13.7%**에서 **30.9%**로 뛰어올랐습니다. 이는 **125%**의 상대적 개선입니다!
• 정확성 유지: 결정적으로, AI는 속도를 위해 정확성을 희생하지 않았습니다. 코드가 정확하게 작동하는 횟수는 동일하거나 오히려 약간 개선되었습니다. AI는 빠르면서도 정확하게 만드는 법을 배웠습니다.
• 기준점 돌파: 표준 훈련 방식과 비교했을 때, 새로운 최적화 훈련을 받은 모델들은 LiveCodeBench라는 다른 벤치마크에서 헤드 투 헤드(직접 대결) 속도 비교 시 **83%**의 승률을 기록했습니다.

AI는 실제로 무엇을 배웠는가?

연구원들은 단순히 점수만 본 것이 아니라, AI가 배운 기술이 무엇인지 확인하기 위해 코드 자체를 조사했습니다. 그들은 또 다른 AI("판사")를 사용하여 새로운 코드와 기존 코드 및 인간의 솔루션을 비교했습니다.

• "I/O" 기술: 가장 흔한 개선 사항은 입출력(Input/Output) 최적화였습니다. AI는 데이터를 더 효율적으로 읽고 쓰는 법을 배웠는데, 이는 마치 냉장고 문을 열고 닫는 데 시간을 낭비하지 않는 요리사와 같습니다. 이는 전체 승리의 **47%**를 차지했습니다.
• "수학" 지름길: **6%**의 사례에서 AI는 수학적 지름길을 찾아냈습니다. 즉, 모든 계산을 다 할 필요가 없다는 것을 깨달은 것입니다.
• "알고리즘" 변경: **13%**의 사례에서 AI는 문제를 해결하는 근본적인 방식 자체를 바꾸었습니다(예: 느린 브루트 포스 방식에서 스마트하고 효율적인 방식으로 전환). 이것이 바로 최적화의 "성배"입니다.
• 인간을 이기다: 인간은 여전히 더 복령한 개선을 찾아내는 경향이 있지만(복잡도 개선 사례에서 인간이 22% 승리 vs AI 7% 승리), AI는 복잡도 개선이 필요한 사례 중 **7%**에서 최고의 인간 솔루션을 이겨냈습니다.

한계와 미래

이 논문은 이것이 마법의 지팡이가 아님을 분명히 밝히고 있습니다. AI는 여전히 가장 어려운 문제들에서 어려움을 겪으며, 인간은 여전히 더 복잡한 알고리즘적 변화를 찾는 데 더 뛰어납니다(복잡도 개선에서 인간 22% vs AI 13%). 또한, AI는 가끔 더 빠르게 만들기 위해 필요한 코드 부분까지 제거해 버리는 경우가 있었는데, 이는 실제 소프트웨어 환경에서는 안전하지 않을 수 있습니다.

하지만 이 논문은 이것이 중대한 진전임을 시사합니다. 더 나은 "주방"(테스트와 샌드박스)을 구축하고 더 명확한 지침(보상 시스템)을 제공함으로써, AI가 단순히 올바른 코드가 아닌 효율적인 코드를 작성할 수 있음을 증명했습니다. 이는 AI가 단순히 소프트웨어를 작성하는 것을 넘어, 인간 전문가가 설계하는 것처럼 빠르게 실행되는 소프트웨어를 작성하는 미래를 위한 토대입니다. 연구원들은 다음 단계로 AI에게 왜 특정 솔루션이 빠른지에 대한 더 구체적인 피드백을 주어, 더욱 복잡한 알고리즘적 기술을 발견하도록 돕는 것을 제안합니다.