OPDSearch+: On-Policy Distillation with RL Refinement for Search-Augmented Reasoning

인공지능이 급격히 진화하는 세상에서, 연구자들은 컴퓨터 프로그램이 특히 방대한 정보의 바다 속에서 답을 찾아내는 데 있어 인간처럼 생각하도록 가르치기 위해 끊임없이 노력하고 있습니다. 수년 동안 표준적인 접근 방식은 사실을 암기하는 거대하고 비용이 많이 드는 모델을 훈련시키는 것이었으나, 이러한 시스템들은 새로운 정보를 찾아내거나 서로 다른 주제 간의 점들을 연결해야 할 때 종종 어려움을 겪습니다. 더 유망한 경로는 "검색 증강 추론(search-augmented reasoning)"으로, 이는 모델이 질문을 던지고, 찾은 답변을 읽고, 그 후 최종 응답을 합성하는 법을 배우는 것입니다. 하지만 더 작고 효율적인 모델에게 이 과정을 가르치는 것은 고질적인 문제였습니다. 일반적인 방법은 이미 검색에 전문가인 "교사(teacher)" 모델을 필요로 하지만, 모든 특정 작업에 맞춰 그러한 교사를 훈련시키는 것은 매우 비용이 많이 들고 느립니다. 더욱이, 단순히 교사의 답변을 복제하는 것은 학생 모델이 자신의 실수라는 루프에 갇히게 만들어, 실시간 검색 엔진의 역동적인 특성으로부터 학습하는 것을 불가능하게 만들기 때문에 종종 실패하곤 합니다.

한 연구팀은 학생이 학습하는 방식을 바꿈으로써 이러한 문제들을 해결하는 OPDSearch+라는 새로운 방법을 도입했습니다. 특정 직무를 위해 특별히 훈련된 교사에 의존하는 대신, 그들은 프로세스 도중 변경되지 않는 '동결(frozen)' 상태의 강력하고 기존에 존재하는 모델을 사용합니다. 이 교사는 최종 답을 주는 것이 아니라, 학생이 실시간 검색 엔진과 상호작용하는 모습을 지켜봄으로써 가이드 역할을 합니다. 학생이 질문을 던지고 결과를 읽음에 따라, 교사는 학생이 생성하는 모든 단어에 대해 즉각적이고 단계적인 피드백을 제공합니다. 이 피드백은 학생이 단순히 정답이 무엇인지뿐만 아니라, 어떻게 복잡한 질문을 분해하고, 어떻게 검색 쿼리를 구성하며, 어떻게 찾은 정보를 논리적인 논거로 엮어낼 수 있는지를 이해하도록 돕습니다.

이 과정은 두 개의 뚜렷한 단계로 진행됩니다. 첫째, 학생 모델은 정보를 능동적으로 찾는 동안 교사의 지도로부터 학습합니다. 이 단계는 매우 중요한데, 왜냐하면 학생이 교사의 검색 기록을 전혀 보지 못한 상태에서도 문제를 분해하고 증거를 통합하는 법과 같은 훌륭한 연구자의 습관을 가르쳐주기 때문입니다. 연구진은 이 초기 훈련이 학생의 행동을 재형성하여, 처음부터 시작하는 것보다 훨씬 더 강력한 토대를 구축한다는 것을 발견했습니다. 두त्मक 번째 단계에서, 학생은 최종 정답을 맞혔을 때 보상을 주는 기법을 통해 정교해집니다. 학생이 첫 번째 단계에서 매우 강력한 토대를 갖추었기 때문에, 학생은 훨씬 더 빠르게 학습할 수 있으며 스스로는 결코 도달할 수 없었던 수준의 성능에 도달할 수 있습니다.

이 접근 방식의 결과는 놀랍습니다. 일곱 가지의 서로 다른 질의응답 벤치마크에서 테스트했을 때, 이 새로운 방법은 파라미터가 30억 개에 불과한 비교적 작은 모델이 동일한 크기의 모든 이전 모델을 능가하게 했습니다. 여러 조각의 정보를 연결해야 하는 복잡한 작업에서 개선 효과는 특히 극적이어서, 모델은 한 주요 테스트에서 정확도가 13포인트 상승했고 다른 테스트에서는 8포인트 상승했습니다. 연구진은 이 방법이 단순한 미세한 조정이 아니라, 작은 모델이 검색 도구를 사용하여 추론하는 법을 가르치는 방식의 근본적인 변화임을 입증했습니다. 오프더쉘(off-the-shelf) 형태의 동결된 교사를 사용하여 실시간 상호작용을 통해 학생을 안내함으로써, 그들은 매우 효율적이면서도 놀라울 정도로 효과적인 시스템을 만들어냈으며, 작은 모델도 값비싼 특정 작업용 훈련 없이도 깊이 생각하고 현명하게 검색하는 법을 배울 수 있음을 증명했습니다.