SRPO: Self-Reflective Policy Optimization for Long-Horizon Reasoning

대규모 언어 모델은 복잡한 문제를 해결하고, 코드를 작성하며, 디지털 환경을 탐색할 수 있는 강력한 도구이지만, 긴 추론 과정이 필요한 과업에서는 종종 어려움을 겪습니다. 학생에게 어려운 수학 문제를 풀거나 여러 단계로 이루어진 쇼핑 계획을 세우라고 요청하는 상황을 상상해 보십시오. 만약 학생이 최종 답을 틀렸다면, 그 학생은 단순히 "틀렸다"라는 신호를 받게 됩니다. 이 피드백는 결과가 좋지 않았다는 사실은 알려주지만, 긴 사고의 사슬 중 구체적으로 어느 단계에서 오류가 발생했는지는 설명해주지 않습니다. 중간에 계산 실수를 한 것일까요? 아니면 시작 단계에서 잘못된 가정을 한 것일까요? 어디에서 문제가 발생했는지 알지 못하면, 모델은 다음에 더 잘하기 위해 학습하기가 쉽지 않습니다. 이는 인공지능에게 길고 복합적인 과업을 수행하도록 가르치는 데 있어 주요한 장애물인 '신용 할당 문제(credit assignment problem)'로 알려져 있습니다.

연구자들은 모델이 자신의 실수를 스스로 되돌아보게 함으로써 이를 해결하려고 노력해 왔으며, 이는 마치 사람이 시험을 검토하며 무엇이 잘못되었는지 이해하려는 과정과 유사합니다. 그러나 이러한 자기 성찰(self-reflection)을 훈련 과정에 사용하려 했던 이전의 시도들은 종종 비효율적이거나 불안정했습니다. 때때로 모델이 자신이 축적한 생각들에 의해 혼란을 겪게 만들거나, "내가 틀렸다"라는 모호한 느낌을 생성된 모든 단어에 대한 구체적인 교훈으로 바꾸는 데 실패하기도 했습니다. '자기 성찰적 정책 최적화(Self-Reflective Policy Optimization, SRPO)'라고 불리는 새로운 접근 방식은 다른 길을 제시합니다. SRPO는 최종 성적을 기다리는 대신, 모델이 완료된 시도들을 분석하고, 정확히 어디에서 경로를 벗어났는지 식별하며, 그 통찰을 사용하여 다음 시도를 안내하도록 함으로써 모델 스스로가 자신의 스승 역할을 하도록 가르칩니다.

리우 지아롱(Jialong Liu)과 동료들이 이끄는 SRPO 연구진은 언어 모델이 자신의 작업물을 되돌아보며 학습하도록 설계된 시스템을 고안했습니다. 이 과정은 두 가지 뚜렷한 단계로 진행됩니다. 첫째, 모델은 수학 문제를 풀거나 가상 상점을 탐색하는 것과 같은 과업을 시도합니다. 시도가 완료되면 모델은 잠시 멈추어 성찰합니다. 모델은 자신의 행동 전체 시퀀스와 최종 결과를 검토한 후, 무엇이 잘못되었는지 또는 어떤 핵심적인 결정이 올바르게 내려졌는지를 요약하는 짧고 간결한 노트를 작성합니다. 저자들이 '성찰 패치(reflection patch)'라고 부르는 이 노트는 긴 에세이가 아니라, 보통 몇 개의 불렛 포인트로 이루어진 실행 가능한 팁들의 집합입니다.

두 번째 단계에서 모델은 동일한 과업을 다시 시도하지만, 이번에는 원래의 질문과 방금 작성한 성찰 노트를 함께 가지고 시작합니다. 이 새로운 조합은 가이드 역할을 하여, 모델에게 지나온 경험을 통한 통찰력을 제공함으로써 두 번째 기회를 부여합니다. 모델은 이렇게 풍부해진 문맥을 바탕으로 더 높은 품질의 새로운 시도를 생성합니다. 결정적으로, 연구자들은 이 두 번째의 개선된 시도를 최종 정답으로 사용하지 않습니다. 대신, 이를 교육 신호로 사용합니다. 그들은 모델의 새롭고 개선된 생각과 원래의 안내받지 않은 생각을 비교합니다. 두 가지 사이의 차이를 분석함으로써, 시스템은 조밀한 학습 신호의 흐름을 만들어냅니다. 모델의 원래 시도에 포함된 모든 단어가 등급이 매겨집니다. 만약 어떤 단어가 성찰의 지혜와 일치한다면 보상을 받고, 만약 일치하지 않는다면 수정됩니다. 이를 통해 단일한 과업 끝의 "정답" 또는 "오답"이라는 성적을 모델이 쓴 모든 단어에 대한 수천 개의 작고 구체적인 레슨으로 변환합니다.

이 방법은 놀라울 정도로 효과적임이 입증되었습니다. 연구팀은 고급 수학 경시 대회와 디지털 환경을 탐색해야 하는 복잡한 에이전트 과업을 포함한 다양한 도전적인 벤치마크에서 SRPO를 테스트했습니다. AIME'24라는 어려운 수학 테스트에서 SRPO를 사용한 모델은 평균 73.3%(5회의 독립적인 실행에 대해 표준 편차 ±1.4)의 점수를 기록했습니다. 이는 다른 선도적인 방법들보다 유의미한 향상이었으며, 유사한 훈련에 일반적으로 요구되는 훈련 FLOPs의 8%만을 사용하여 달성한 결과입니다. 또한 시스템은 WebShop과 같은 장기적 목표(long-horizon) 과업에서 64.7%의 쇼핑 미션을 성공적으로 완료하였고, ALFWorld에서는 76.8%의 가사 시뮬레이션 과업을 해결하는 등 탁월한 성과를 보였습니다. 이러한 결과는 모델이 성찰하는 능력을 내재화함으로써, 외부의 더 큰 스승의 도움 없이도 자신의 추론 경로를 스스로 수정하는 법을 배웠음을 시사합니다.

연구진은 모델에게 새로운 기술을 가르치는 것이 이미 알고 있는 것을 잊게 만들 수도 있다는 인공지능 연구의 흔한 우려 사항도 다루었습니다. 연구진이 수학을 배운 후 코딩 과업에 대해 모델을 훈련했을 때, SRPO 방식은 모델이 기존 수학 능력을 95.2% 유지하도록 도왔습니다. 반면, 다른 방법들은 훨씬 더 큰 성능 저하를 보였습니다. 이는 모델이 외부 전문가를 모방하는 것이 아니라 자신의 사고 분포로부터 학습하기 때문에, 자신의 능력에 대한 보다 안정적인 이해를 유지한다는 것을 시사합니다.

연구진은 성공의 원인이 단순히 추가된 텍스트 때문이 아니라 성찰의 내용 덕분임을 확인하기 위해 주의를 기울였습니다. 그들은 완전히 다른 문제들을 위해 생성된 성찰을 입력하여 시스템을 테스트했습니다. 성찰이 과업과 일치하지 않을 때 모델의 성능은 기본 수준으로 떨어졌으며, 이는 특정하고 관련 있는 조언이 성능 향상을 이끌어냈음을 증명했습니다. 또한 그들은 성찰이 간결해야 한다는 점도 발견했습니다. 지나치게 길거나 장황한 노트는 오히려 노이즈와 혼란을 유발하여 성능을 저해했습니다.

궁극적으로 SRPO는 언어 모델이 자신을 비판하고 안내하는 법을 배움으로써 더 유능해질 수 있음을 보여줍니다. 희소한 최종 결과물을 밀도 높은 단어 단위의 가이드로 전환함으로써, 이 방법은 모델이 이전에 생각했던 것보다 훨씬 적은 사례와 적은 컴퓨팅 파워로 복잡한 추론 패턴을 학습할 수 있게 합니다. 이 연구는 인공지능 시스템이 자신의 추론 과정을 지속적으로 개선하여, 현실 세계의 도전 과제들을 정의하는 길고 복잡한 문제들을 해결하는 데 있어 더욱 신뢰할 수 있고 효율적인 시스템이 될 수 있는 미래를 제시합니다.