당신이 로봇에게 까다로운 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 당신은 단순히 로봇이 정답을 맞히는 것만을 원하는 게 아니라, 로봇이 어떻게 그 답에 도달했는지 알고 싶어 합니다. 로bot이 지름길을 택했나요? 실수를 하고, 그것을 깨닫고, 스스로 수정했나요? 아니면 그냥 찍어서 운 좋게 맞춘 건가요?

로봇의 학습을 돕기 위해, 우리는 "보상 모델(Reward Model)"을 사용합니다. 이것은 로봇의 작업 과정을 채점하는 엄격한 선생님이라고 생각하면 됩니다. 오랫동안 수학 세계에서 가장 똑똑한 선생님들은 **과정 보상 모델(Process Reward Models, PRMs)**이었습니다. 이 선생님들은 로봇의 사고 과정 하나하나를 채점했습니다. 만약 로봇이 3단계에서 작은 실수를 하면, 선생님은 멈춰 서서 "게임 끝, 이건 틀렸어!"라고 말했습니다. 모든 단계를 채점하는 것이 마치 돋보기를 사용하는 것처럼 가장 세밀하고 도움이 되는 학습 방법이라고 여겨졌기 때문입니다.

하지만 반전이 있습니다. 이 논문은 대부분의 현실 세계 퍼즐(법률, 의학, 일반 상식 등)의 경우, 그 돋보기가 오히려 선생님의 눈을 멀게 할 수도 있다고 제안합니다.

거대한 실험: 14가지의 서로 다른 세계

연구진은 단순히 수학 문제만 본 것이 아닙니다. 그들은 네 가지 유형의 "선생님"을 14가지 다양한 도메인(법률, 생물학, 역사, 심리학 포함)에 걸쳐 테스트했습니다. 그들은 어떤 선생님이 로봇이 여러 개의 추측 중에서 최선의 해결책을 선택하도록 돕는 데 가장 뛰어난지 확인하고자 했습니다.

네 명의 선생님은 다음과 같습니다:

1. 최종 결과 채점자 (dORM): 최종 결과만 봅니다. "정답을 맞혔나? 예/아니오."
2. 단계별 채점자 (dPRM): 모든 단계를 확인합니다. "1단계는 좋음, 2단계는 나쁨, 중단."
3. 챗봇 최종 결과 채점자 (gORM): 약간의 설명을 작성하고 최종 판결을 내리는 똑똑한 AI입니다.
4. 챗봇 단계별 채점자 (gPRM): 모든 단계에 대해 설명을 작성하고 하나씩 채점하는 똑똑한 AI입니다.

놀라운 결과

수학의 세계에서는 단계별 선생님(PRM)이 보통 승리합니다. 하지만 연구진이 다른 13가지 도메인으로 옮겨갔을 때, 결과는 완전히 뒤집혔습니다:

• "단계별" 챗봇 (gPRM)이 최악이었습니다. 이 모델은 따라가는 데 어려움을 겪었습니다.
• "단계별" 인간 스타일의 선생님 (dPRM)은 그저 평범했습니다. 최종 결과 채점자와 비슷한 성능을 보였습니다.
• "챗봇 최종 결과" 채점자 (gORM)가 챔피언이었습니다. 이 모델은 테스트된 모든 도메인에서 일관된 개선을 보여주며 가장 강력한 모습을 보였습니다.

왜 단계별 선생님들은 실패했을까요?

논문은 두 가지 주요 이유를 제시하며, 이는 매우 영리한 통찰입니다.

1. "아하!(Aha!)" 모먼트 문제
로봇이 퍼즐을 푸는 장면을 상상해 보세요. 2단계에서 실수를 했지만, 로봇이 "아, 내가 실수했구나!"라고 깨닫고 3단계에서 이를 수정하여 결국 정답에 도달합니다. 이것을 "아하!" 모먼트라고 부릅니다.

• PRM의 문제: 단계별 선생님들은 만약 하나의 단계가 틀리면 전체가 틀린 것이라고 생각하도록 훈련되었습니다. 이들은 선수가 넘어지자마자 휘슬을 부는 심판과 같습니다. 설령 그 선수가 일어나서 결승 골을 넣더라도 말이죠. 논문은 이러한 다중 도메인 테스트에서, 이 선생님들이 너무 빨리 채점을 멈춰버림으로써 "아하!" 식의 회복 과정을 놓치는 경우가 많다는 것을 보여줍니다.
• 길이의 문제: 로봇의 사고 사슬이 길어질수록, 단계별 선생님이 채점 과정에서 실수를 할 가능성도 높아집니다. 논문은 사고 사슬이 길어질수록 단계별 선생님의 점수 오차가 커지며, 이로 인해 신뢰도가 떨어진다고 제안합니다.

2. "노이즈 라벨(Noisy Label)" 함정
수학에서는 모든 단계를 완벽하게 채점할 수 있는 완벽한 인간 선생님이 있습니다. 하지만 법률이나 의학에서는 로봇의 사고 단계를 하나하나 채점하기 위해 인간을 고용하는 비용이 너무 많이 듭니다. 그래서 우리는 자동적으로 단계를 채점하는 다른 AI들을 사용합니다.

• 문제: 이 자동 채점기들은 실수를 합니다(노이즈). 논문은 단계별 선생님들이 이러한 실수에 매우 민감하다는 것을 발견했습니다. 만약 자동 채점기가 실제로는 맞는 단계인데도 "3단계는 틀렸다"라고 말한다면, 단계별 선생님은 혼란에 빠져 실패하게 됩니다.
• 승자: 최종 결과 선생님들(특히 챗봇 버전인 gORM)은 훨씬 더 강인합니다. 이들은 중간의 작은 노이즈를 무시하고 최종 결과가 타당한지에 집중할 수 있습니다.

"컨센서스 필터(Consensus Filter)"의 결함

단계별 챗봇 (gPRM)이 실패한 데에는 또 다른 이유가 있습니다. 이를 훈련시키기 위해 연구진은 "컨센서스 필터링"이라는 방법을 사용했습니다. AI에게 자신의 단계를 채점하게 하되, 만약 AI의 채점이 "정답(Ground Truth)"과 일치하지 않으면 그 데이터를 버리는 방식이었습니다.

• 결과: 이 과정은 의도치 않게 길고 복잡한 "아하!" 스타일의 사고 사슬을 모두 버리게 만들었습니다. 결과적으로 선생님은 짧고 단순한 예시들만을 가지고 학습하게 되었습니다. 이 선생님이 실제 세상의 길고 복잡한 퍼즐을 채점하려고 할 때, 준비가 전혀 되어 있지 않았던 것입니다. 논문은 이 선생님의 훈련 데이터와 테스트 데이터가 매우 달랐음을 보여줍니다. 마치 학생에게 5학년 수학만 가르치고 나서 12학년 미적분 시험을 치르게 한 것과 같습니다.

핵심 요약

만약 당신이 로봇이 법률 사건이나 의료 조언 같은 복잡한 현실 세계의 문제를 생각하도록 돕는 시스템을 구축하고 있다면, 모든 단계를 채점하는 것에 집착하지 마세요.

이 논문은 생성형 결과 보상 모델 (gORM)—즉, 자신의 추론 과정을 설명하고 전체 해결책에 대해 최종적인 "예/아니오" 판결을 내리는 똑똑한 AI—이 가장 신뢰할 수 있는 도구라고 제안합니다. 이 모델은 강인하며, 긴 사고 사슬을 더 잘 처리하고, 노이즈가 섞인 데이터에도 흔들리지 않습니다.

단계별 선생님(PRM)은 완벽한 라벨이 있고 문제가 짧은 수학에서는 훌륭할 수 있지만, 이 논문은 더 무질서하고 길며 복잡한 현실 세계를 위해서는 "큰 그림"을 보는 선생님(gORM)이 당신의 편에 있어야 한다고 주장합니다.