LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL

당신이 로봇에게 이야기를 쓰거나, 퍼즐을 풀거나, 복잡한 지시를 따르는 법을 가르치고 있다고 상상해 보세요. 인공지능의 세계에서는 이를 **강화 학습(Reinforcement Learning, RL)**이라고 부릅니다. 이것은 마치 강아지를 훈련시키는 것과 같습니다. 당신이 강아지에게 명령을 내리면, 강아지는 그 명령을 수행하려고 노력하고, 만약 잘 해냈다면 당신은 간식("보상")을 줍니다. 제대로 하지 못했다면 간식을 주지 않습니다. 시간이 흐르면서 강아지는 더 많은 간식을 얻기 위해 올바른 행동을 하는 법을 배웁니다.

하지만 여기 까다로운 문제가 있습니다. 만약 명령이 "공룡을 좋아하는 조카를 위한 생일 축하 메시지를 써줘"와 같은 것이라면 어떨까요? 수학이나 코딩처럼 정답이 딱 정해져 있는 것이 아닙니다. 로봇의 이야기가 "좋다"는 것을 어떻게 알 수 있을까요? 보통 우리는 더 똑똑한 다른 AI를 '심판'으로 사용합니다. 이 심판은 이야기를 읽고 체크리스트("루브릭")를 바탕으로 점수를 매깁니다. 만약 이야기에 공룡이 언급되어 있고 행복한 분위기가 느껴진다면, 심판은 높은 점수를 줍니다.

문제는 때때로 로봇이 쉬운 명령에 너무 익숙해질 수 있다는 점입니다. 만약 당신이 "생일 축하 메시지를 써줘"라고 요청하면, 로봇은 매번 완벽하게 해낼 수도 있습니다. 심판은 로봇의 답변을 보고 이렇게 생각할 것입니다. "와, 전부 완벽하네!" 하지만 모든 답변이 완벽하다면, 심판은 어떤 것이 더 나은지 구별할 수 없습니다. 이는 마치 모든 학생이 100점을 맞은 학급에서 교사가 모든 학생에게 "A+"를 주는 것과 같습니다. 선생님은 누가 더 공부가 필요한지 알 수 없게 되고, 학생들은 도전 과제가 없기 때문에 더 이상 발전하지 못합니다.

---

상황을 어렵게 만드는 "튜터(Tutor)"

**"LLM-as-a-Tutor"**라는 새로운 논문은 이 문제에 대한 영리한 해결책을 제시합니다. 연구자들은 로봇이 특정 질문에 대해 너무 능숙해지면, 그 질문 자체가 너무 쉬운 것이라는 사실을 깨달았습니다. 다른 방법들이 단순히 채점 기준표를 바꾸려 했던 것과 달리, 그들은 질문 자체를 바꾸기로 했습니다.

그들은 특별한 AI "튜터"를 도입했습니다. 이 튜터는 두 가지 임무를 수행합니다:

1. 시험관(The Examiner): 튜터는 로봇이 질문에 두 번 답하는 과정을 지켜봅니다. 만약 두 답변이 기본적으로 같고 완벽하다면, 튜터는 "이 질문은 너무 쉽다! 로봇이 새로운 것을 배우지 못하고 있다!"라고 말합니다.
2. 도전 과제 생성기(The Challenge-Generator): 질문이 너무 쉬우면, 튜터는 질문 전체를 새로 쓰지 않습니다. 대신, 질문 끝에 아주 작고 구체적인 규칙 하나를 추가합니다.

이것은 비디오 게임과 같습니다. 만약 당신이 공룡 게임의 "쉬움" 단계를 너무 빨리 클리어했다면, 게임은 완전히 다른 게임을 새로 주지 않습니다. 대신 새로운 규칙을 하나 추가할 뿐입니다: "이제 플레이하는 동안 빨간 보석을 모아야 합니다." 게임은 여전히 공룡에 관한 것이지만, 이제는 더 어려워졌습니다. 로봇은 간식을 얻기 위해 더 노력해야 합니다.

실제 적용 방식

연구자들은 지시 사항을 따르는 로봇을 대상으로 이 아이디어를 테스트했습니다. 그들은 "생일 축하 메시지를 써줘"와 같은 단순한 프롬프트로 시작했습니다.

• 기존 방식: 로봇은 축하 메시지를 쓰고, 심판은 점수를 주며, 로봇은 간식을 받습니다. 하지만 로봇이 이미 축하 메시지를 쓰는 데 매우 능숙하다면, 로봇은 계속 똑같은 것만 반복할 것이고 점수는 변하지 않을 것입니다.
• 튜터 방식: 튜터는 로봇이 단순한 축하 메시지를 쓰는 것에 너무 능숙하다는 것을 알아챕니다. 그리고 제약을 추가합니다: "공룡을 좋아하는 조카를 위한 생일 축하 메시지를 쓰되, 파티 모자를 쓴 티라노사우루스를 반드시 언급할 것."

갑자기 로봇은 더 깊이 생각해야 합니다. 어떤 로봇은 모자를 까먹을 수도 있고, 다른 로봇은 공룡을 틀리게 묘사할 수도 있습니다. 이제 심판은 차이를 볼 수 있습니다! 어떤 답변이 더 나은지 구별할 수 있게 된 것입니다. 로봇은 어떻게 개선해야 하는지에 대한 명확한 신호를 얻습니다.

연구 결과

이 논문은 이 "튜터" 방식이 매우 효과적이라고 제안합니다. 연구진이 세 가지 종류의 복잡한 지시 사항(이메일 작성, 논리 퍼즐 해결, 엄격한 형식 준수 등)에 대해 테스트했을 때, 튜터와 함께 훈련받은 로봇은 기존 방식으로 훈련받은 로봇보다 더 높은 점수를 받았습니다.

연구진은 다음을 발견했습니다:

• 재작성보다 제약 추가가 더 효과적이다: 질문을 버리고 완전히 새롭고 혼란스러운 질문을 쓰는 것보다, 원래 질문에 작고 구체적인 규칙을 추가하는 것이 더 낫습니다.
• 확장성이 있다: 로봇이 똑똑해짐에 따라, 튜터는 로봇이 계속 도전받을 수 있도록 자동으로 더 많은 규칙을 추가합니다.
• "지루함" 문제를 해결한다: 핵심 목표는 로봇이 더 이상 배울 수 없는 쉬운 작업에 갇히는 것을 막는 것이었습니다. 작업을 딱 적당히 어렵게 만듦으로써, 로봇은 계속해서 똑똑해질 수 있습니다.

이것이 중요한 이유

이것은 단지 생일 축하 메시지나 공룡에 관한 이야기가 아닙니다. 이것은 AI가 현실 세계에서 얼마나 도움이 될 수 있는지에 관한 문제입니다. 우리가 AI가 복잡한 지시(예: 의사가 보고서를 쓰는 것을 돕거나, 학생이 새로운 주제를 배우는 것을 돕는 일)를 잘 따르기를 원한다면, AI가 항상 배울 수 있을 만큼 충분히 도전받으면서도, 포기할 정도로 너무 어렵지는 않게 유지하는 것이 필요합니다.

논문은 AI가 "튜터" 역할을 하여 이러한 작은 도전 과제들을 추가하게 함으로써, 스스로 발전하는 시스템을 만들 수 있다고 제안합니다. AI는 자신이 할 수 있는 능력의 한계를 끊임없이 찾아내고, 그 경계선을 조금씩 더 밀어붙임으로써 스스로를 더 낫게 만듭니다. 이것은 마치 당신의 운동을 지켜보며 말해주는 개인 트레이너와 같습니다. "좋아요, 팔굽혀펴기 10개를 쉽게 했나요? 그럼 이번에는 11개를 하되, 자세를 유지하며 3초간 버텨봅시다." 그 추가적인 노력이 당신을 더 강하게 만드는 것입니다.