당신이 아주 똑똑하고 속도가 빠른 로봇에게 컴퓨터 코드를 쓰는 법을 가르치고 있다고 상상해 보세요. 이 로봇은 거대 언어 모델(LLM)로, 인터넷에 있는 거의 모든 책과 웹사이트를 읽었습니다. 이 로봇은 다음에 어떤 단어가 올지 예측하는 데 매우 뛰어나며, 마치 아주 발전된 자동 완성 기능과 같습니다. 하지만 까다로운 점이 하나 있습니다. 로봇이 겉보기에 완벽해 보이는 코드를 작성한다고 해서 그것이 실제로 작동한다는 보장은 없다는 것입니다. 문장은 완벽하게 들릴지 몰라도, 실행하는 순간 프로그램이 멈춰버릴 수도 있습니다. 이를 해결하기 위해 과학자들은 코드가 실제로 실행되어 테스트를 통과하는지 확인하는 일종의 연습 시험인 '벤치마크'를 사용합니다. 코드가 테스트를 통과하면 점수를 얻고, 오류가 나거나 틀린 답을 내놓으면 탈락합니다. 이 분야의 핵심 질문은 다음과 같습니다. 어떻게 하면 우리가 로봇의 뇌 전체를 다시 만들지 않고도, 이 로봇이 단순히 똑똑해 보이는 것을 넘어 실제 문제를 해결할 수 있을 만큼 정말 똑똑하게 만들 수 있을까요?

여기 새로운 연구가 등장했습니다. 이 연구는 로봇의 뇌를 새로 만들 필요가 없다고 제안합니다. 연구진인 Erxue Zhou, Jingxiang Meng, Aofan Liu는 RAV(Route, Align, Verify의 약자)라고 불리는 영리한 3단계 트릭을 제안합니다. 이것은 마치 학생을 큰 시험에 대비시키는 것과 같습니다. 첫째, 단순히 일반적인 학습 가이드를 주는 것이 아니라, 학생이 직면한 문제가 정확히 어떤 종류인지 파악하여 적절한 힌트를 줍니다(Route). 둘째, 교실에서 가르친 방식이 실제 시험 문제의 서술 방식과 정확히 일치하도록 하여, 표현 방식 때문에 혼란을 겪지 않게 합니다(Align). 마지막으로, 학생에게 답안을 딱 하나만 제출하게 하는 대신, 열 가지 서로 다른 해결책을 쓰게 한 뒤 각 해결책을 빠르게 검토하여 실제로 작동하는 것을 골라냅니다(Verify). 논문은 이 세 단계를 조율함으로써, 기본 모델을 변경하지 않고도 훨씬 더 나은 결과를 얻을 수 있다고 시사합니다.

3단계 마법의 기술

연구진은 그들의 아이디어를 MBPP라는 유명한 코딩 챌린지 세트에 테스트했습니다. 그들은 강력한 표준 코딩 모델(Qwen2.5-Coder-7B-Instruct)로 시작하여 다음과 같이 물었습니다. "우리가 모델에게 말을 거는 방식과 답을 고르는 방식을 바꾸는 것만으로, 이 특정 모델이 테스트를 통과하는 능력을 더 좋게 만들 수 있을까?"

이들의 3단계 프레임워크가 어떻게 작동하는지 재미있는 비유를 통해 설명하겠습니다.

1. Route: 스마트한 접수원
수천 개의 다양한 요청이 들어오는 바쁜 사무실을 상상해 보세요. 만약 당신이 그냥 "문제를 도와줘"라고 말한다면, 접수원은 상황에 맞지 않는 일반적인 답변을 줄지도 모릅니다. 하지만 접수원이 당신의 요청을 보고 "오, 문자열 처리에 관한 문제군요? '문자열 전문가' 가이드를 사용합시다!"라거나 "수학 문제인가요? 그럼 '수학 마법사' 가이드로 전환하겠습니다!"라고 말할 수 있다면 어떨까요?
논문에서 이것은 Route 단계입니다. 모델이 코드를 작성하기 전에, 가벼운 '라우터(router)'가 작업을 살펴봅니다. 만약 작업이 텍스트 조작(예: 회문 찾기)에 관한 것이라면 특정 프롬프트 스타일을 사용합니다. 만약 수학이나 알고리즘에 관한 것이라면 다른 스타일로 전환합니다. 이는 모델이 모든 상황에 적용되는 하나의 프롬프트가 아니라, 특정 작업에 맞는 '맛'이 담긴 지침을 받도록 보장합니다.

2. Align: 연습 경기
이제 축구 선수를 실제 경기와 전혀 다른 훈련으로 교육시킨다고 상상해 보세요. 무거운 공을 가지고 진흙탕 위에서 연습했는데, 실제 경기는 잔디 위에서 가벼운 공으로 치러진다면 어떨까요? 선수는 훈련은 잘할지 몰라도 실제 경기에서는 형편없을 수 있습니다. 이것이 바로 '불일치'입니다.
AI의 세계에서도 모델은 한 종류의 지시사항으로 훈련받지만, 다른 종류의 방식으로 테스트를 받곤 합니다. Align 단계는 이 문제를 해결합니다. 연구진은 훈련 데이터를 가져와서, 모델이 테스트 중에 보게 될 '라우팅된' 프롬프트와 똑같이 보이도록 재작성했습니다. 그리고 LoRA(모델의 뇌 전체를 다시 쓰지 않고도 새로운 기술을 가르치는 방법)라는 기법을 사용하여, 모델이 이러한 새로운 작업별 스타일에 맞춰 응답하는 법을 구체적으로 가르쳤습니다. 이는 마치 축구 선수에게 실제 경기 조건과 완벽하게 일치하는 연습 훈련을 제공하는 것과 같습니다.

3. Verify: 안전망
마지막으로, 최고의 훈련을 받고 적절한 힌트를 얻었더라도 모델은 여로 첫 번째 시도에서 실수를 할 수 있습니다. 과거에는 사람들이 모델이 준 첫 번째 답을 그대로 받아들이곤 했습니다. 하지만 모델이 열 가지 서로 다른 답을 내놓고, 우리가 그중 가장 좋은 것을 고를 수 있다면 어떨까요?
이것이 Verify 단계입니다. 모델은 여러 버전의 코드(후보군)를 생성합니다. 그런 다음 시스템은 각 버전을 문제에 포함된 공개 테스트에 실행합니다. 이는 마치 선생님이 열 개의 서로 다른 에세이를 채점한 뒤, A 학점을 받은 에세이 하나만을 제출하는 것과 같습니다. 시스템은 실제로 테스트를 통ผ่าน하는 코드를 선택합니다. 만약 두 개의 코드가 모두 통과된다면, 더 짧은 것을 선택합니다. 이 단계는 '아마도'를 '확실히'로 바꿔줍니다.

연구 결과

연구진이 이 세 단계를 모두 결합했을 때, 결과는 인상적이었습니다. 그들은 MBPP 벤치마크에 이 RAV 파이프라인을 테스트했습니다.

• MBPP Sanitized 세트(깨끗하게 정제된 테스트 버전)에서, 그들의 방식은 0.8911의 점수를 기록했습니다.
• MBPP Full 세트(전체 과정이 포함된 더 어려운 버전)에서, 그들은 0.8520에 도달했습니다.

이것을 비교해 보자면, 이러한 기술들을 적용하지 않은 원래의 모델은 Sanitized 세트에서 0.8276, Full 세트에서 0.7528을 기록했습니다. 이는 RAV 방식이 Sanitized 세트에서는 성공률을 6.35 퍼센트 포인트 향상시켰고, Full 세트에서는 무려 9.92 퍼센트 포인트나 향상시켰음을 의미합니다.

핵심 비결: 왜 함께 작동하는가

가장 흥-미로운 부분은 연구진이 각 단계를 개별적으로 시도했을 때 일어난 일입니다.

• 만약 Route와 Align만 사용하고 답을 확인하지 않았다면(Verify 생략), 개선 효과는 미미했습니다. 이는 마치 훌륭한 학생이 여전히 오타를 확인하지 않고 숙제의 초안을 그대로 제출하는 것과 같았습니다.
• 그러나 Route 또는 Align을 Verify와 결 조합했을 때, 점수는 크게 뛰어올랐습니다.

이는 Route와 Align이 반드시 모델이 첫 번째 시도에 '완벽한' 답을 쓰게 만드는 것이 아님을 시사합니다. 대신, 이들은 모델이 '더 나은 옵션 목록'을 쓰도록 만듭니다. 즉, 생성된 코드 더미 속에 정답이 숨어 있을 확률을 높여주는 것입니다. 그러면 Verify가 탐정이 되어 그 숨겨진 정답을 찾아내고 선택하는 역할을 수행합니다.

저자들은 결과가 단순히 운이 아니라는 것을 증 확인하기 위해 테스트를 여러 번 반복했습니다. 더 어려운 "Full" 세트에서도 개선 효과는 매우 안정적이었습니다. 또한 모델이 훈련 데이터의 답을 단순히 암기한 것인지(데이터 오염 문제) 확인하기 위해 테스트를 진행했으며, 그 증거를 발견하지 못했습니다.

요약

이 논문은 더 나은 코드를 얻기 위해 반드시 거대하고 매우 비싼 로봇의 뇌를 새로 발명할 필요는 없다고 제안합니다. 대신, 질문을 던지는 방식(Route), 모델과 연습하는 방식(Align), 그리고 최종 답을 고르는 방식(Verify)을 더 똑똑하게 만드는 것만으로도 훨씬 더 나은 결과를 얻을 수 있습니다. 이는 때때로 시스템을 개선하는 가장 좋은 방법이 더 큰 엔진을 만드는 것이 아니라, 드라이버와 지도, 그리고 목적지 체크인 프로세스를 정교하게 조정하는 것임을 상기시켜 줍니다.