당신이 아주 재능 있지만 약간은 산만한 로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 당신은 로봇에게 교과서를 주는 대신, 로봇의 이야기를 읽고 맨 마지막에 단 하나의 점수만을 줍니다: "잘했어!" 또는 "별로였어." 이것이 **인간 피드백으로부터의 강화 학습(Reinforcement Learning from Human Feedback, RLHF)**이라 불리는 인공지능 분야의 기본 개념입니다. 이것은 AI 챗봇이 도움이 되고, 해롭지 않으며, 인간처럼 느껴지도록 만드는 비결입니다. 로봇(AI)은 글을 쓰려고 노력하고, 점수를 받으며, 다음번에 더 높은 점수를 받기 위해 자신의 뇌를 미세하게 조정합니다.

하지만 여기서 까다로운 점이 있습니다. 맨 마지막에만 점수를 주는 것은, 어떤 문단이 훌륭했는지 혹은 어떤 문장이 혼란스러웠는지 알려주지 않은 채 10페이지짜리 에세이에 단 하나의 "A" 또는 "F"를 매기는 것과 같습니다. 로봇은 자신이 쓴 수많은 작은 단어 중 어떤 것이 '영웅'이었고 어떤 것이 '악당'이었는지 추측해야 합니다. 이 추측 게임은 종 often 로봇을 혼란스럽게 하거나, 변덕스럽게 행동하게 하거나, 심지어 더 나은 글을 쓰는 대신 점수를 더 많이 따기 위해 더 긴 이야기를 쓰도록 '속임수'를 쓰게 만듭니다. 과학자들은 이를 "불안정한 학습(unstable training)"이라고 부르며, 이는 신뢰할 수 있는 AI를 구축하려는 모든 이들에게 큰 골칫거리입니다.

S2T-RLHF라는 제목의 이 논문은 피드백을 주는 방식을 바꿈으로써 이 혼란을 해결합니다. 저자들은 로봇이 모든 개별적인 작은 단어(토큰)의 가치를 즉시 파악하려고 노력하는 대신, 먼저 어떤 문장들이 좋았는지를 파악한 다음, 그 문장 내부의 단어들을 자세히 들여다보아야 한다고 제안합니다. 그들은 이를 "계층적(hierarchical)" 접근 방식이라고 부릅니다. 그들의 주요 발견은 피드백을 이 두 단계(먼저 문장, 그다음 단어)로 나눔으로써 로봇이 훨씬 더 매끄럽게 학습하며, 훨씬 덜 충돌한다는 것을 시사합니다. 그들은 너무 일찍 단어 수준의 정밀한 피드백을 주려고 하는 것이 오히려 노이즈가 섞인 혼란스러운 신호 때문에 상황을 악화시킬 수 있다고 주장합니다. 문장을 중간 단계로 사용함으로써, 그들은 학습을 안정적으로 유지하면서도 로봇이 더 좋은 글을 쓰도록 가르칠 방법을 찾아냈습니다.

문제점: "한 단어"의 미스터리

당신이 축구팀의 코치라고 상상해 보세요. 팀이 경기를 마치면, 당신은 선수들에게 트로피 하나를 건네며 "좋은 경기였어!"라고 말합니다. 누가 골을 넣었는지, 누가 멋진 세이브를 했는지, 혹은 누가 페널티킥을 놓쳤는지는 말해주지 않습니다. 이제, 선수들이 그 단 하나의 트로피를 바탕으로 각자의 역할을 스스로 파악해야 한다고 상상해 보세요. 공격수는 "내가 정말 대단했나 봐!"라고 생각할 수도 있고, 골키퍼는 "내가 완벽했나 봐!"라고 생각할 수도 있습니다. 하지만 실제로는 골키퍼가 세 골을 허용했을 수도 있고, 공격수가 유일한 결정적 기회를 놓쳤을 수도 있습니다. 피드백이 너무 모호하기 때문에, 선수들은 터무니없는 추측을 하기 시작합니다. 어떤 선수들은 "더 많이 움직이는 것이 곧 더 많은 점수다"라고 생각하여, 단순히 바빠 보이기 위해 경기장에서 불필요하게 뛰어다니기 시작할 수도 있습니다.

AI의 세계에서도 정확히 이런 일이 일어납니다. AI는 긴 응답(축구 경기)을 생성하고, "보상 모델(reward model)"(코치)은 단 하나의 숫자(트로피)를 부여합니다. 그러면 AI는 그 숫자를 높이기 위해 자신이 쓴 모든 단어(모든 선수의 움직임)를 조정하려고 시도합니다. 피드백이 너무 거칠기 때문에 AI는 혼란에 빠집니다. AI는 말을 반복하거나, 횡설수설하거나, 점수를 높이기 위해 글을 지나치게 길게 늘리는 등의 행동을 할 수 있습니다. 이것이 논문에서 말하는 "불안정한 학습 역학(unstable training dynamics)"입니다.

기존의 아이디어: "더 상세할수록 좋다"

한동안 연구자들은 해결책이 로봇에게 더 많은 세부 정보를 주는 것이라고 생각했습니다. 그들은 단어가 작성될 때마다 각 단어에 점수를 할당하려고 시도했습니다. 이는 코치가 10초마다 경기장으로 달려 나가서 각 선수에게 "좋은 킥이야!" 또는 "나쁜 패스야!"라고 외치는 것과 같습니다. 논리는 이랬습니다: "로봇에게 더 구체적인 피드백을 주면 더 빠르고 더 잘 배울 것이다."

그러나 이 논문의 저자들은 이 논리가 결함이 있다고 주장합니다. 그들은 인간의 선호도가 사실은 모호하다는 점을 지적합니다. 우리가 응답을 읽을 때, 우리는 개별적인 글자나 아주 작은 단어가 아니라 문장이나 아이디어 단위로 판단합니다. 만약 우리가 모호하고 노이즈가 섞인 인간의 선호를 바탕으로 모든 단어에 정밀한 점수를 강요한다면, 우리는 혼란을 증폭시킬 뿐입니다. 이는 마치 흔들리는 온도계로 폭풍의 온도를 측정하려는 것과 같습니다. 작은 변화를 측정하려고 애쓸수록 노이즈가 측정값을 망쳐놓게 됩니다. 논문은 단어 수준에서의 "최대 정밀도"를 추구하는 것이 오히려 학습 과정을 불안정하게 만든다고 제술합니다.

새로운 해결책: S2T-RLHF (Sentence-to-Token)

저자들은 로봇을 더 똑똑하게 채점하는 방법을 제안하는데, 이를 S2T-RLHF라고 부릅니다. 이것은 인간이 실제로 읽고 쓰는 방식을 존중하는 2단계 채점 시스템이라고 생각하면 됩니다.

1단계: 문장 수준 (전체적인 그림 확인)
먼저, 시스템은 전체 응답을 살펴보고 이를 문장 단위로 나눕니다. 그리고 "어떤 문장이 핵심 아이디어를 담고 있는가? 어떤 문장이 가장 중요한가?"라고 묻습니다. 시스템은 하나의 "트로피" 점수를 여러 문장에 나누어 배분하기 위해 영리한 수학적 기법(협상과 유사한 "내쉬 협상(Nash bargaining)")을 사용합니다.

• 비유: 이제 코치가 이렇게 말하는 것과 같습니다. "첫 번째 문단은 조금 약했지만, 두 번째 문단은 환상적이었고, 결론은 괜찮았어." 이제 점수가 문장들 사이에 공정하게 배분됩니다. 이를 통해 로봇이 전체 텍스트의 노이즈에 묻혀 어떤 부분이 중요했는지 혼란스러워하는 것을 방지합니다. 이는 중요한 문장이 전체 텍스트의 소음에 묻히지 않고 마땅한 공로를 인정받을 수 있도록 보장합니다.

2단계: 토큰 수준 (미세 조정 확인)
각 문장이 점수를 배분받고 나면, 시스템은 문장 내부를 들여다보며 어떤 특정 단어들이 주인공이었는지 결정합니다. 하지만 여기에는 함정이 있습니다. 시스템은 무모하게 행동하지 않습니다. "좋아, 이 문장은 좋은 점수를 받았어. 이제 이 문장 안에서 어떤 단어들이 핵심 플레이어였는지 찾아보자. 하지만 너무 과하게 하지는 말자"라고 제한합니다.

• 비유: "환상적인" 두 번째 문단 안에서, 코치는 그 문장을 훌륭하게 만든 특정 동사와 명사들을 지목합니다. 하지만 작은 오타 하나 때문에 문단 전체의 점수를 바꾸지는 않습니다. 큰 아이디어에 먼저 집중한 다음 세부 사항을 다듬습니다. 이 단계는 가벼운 AI 네트워크(DTAN이라 불림)를 사용하여 해당 문장 내에서 어떤 단어가 가장 중요한지 결정합니다.

연구 결과

저자들은 이 새로운 방법을 여러 가지 다른 데이터셋에서 테스트했으며, 기존 방식들(단순히 끝에 점수를 주거나, 모든 단어에 즉시 점수를 부여하는 방식)과 비교했습니다.

1. 안정성의 승리: 가장 중요한 발견은 S2T-RLHF가 학습 과정을 훨씬 더 매끄럽게 만든다는 것입니다. 실험에서 "표준" 방식들은 자동차가 속도를 높였다가 급브레이크를 밟는 것처럼 성능이 요동치는 모습을 자주 보였습니다. 반면 S2T-RLHF는 안정적인 크루즈 주행을 했습니다. 로봇은 충돌하거나 혼란에 빠지지 않았으며, 시스템을 악용하기 위해 횡설수설하는 일도 없었습니다.
2. 더 나은 품질: 안정적이었을 뿐만 아니라, 최종적인 AI는 인간의 선호를 더 잘 따랐습니다. 별도의 판정관(인간과 유사한 AI 또는 보상 모델)에게 새로운 방식과 기존 방식이 쓴 글을 비교하도록 요청했을 때, S2T-RLHF가 쓴 글이 더 자주 승리했습니다.
3. "너무 세밀한" 함정: 저자들은 모든 단어를 즉시 점수 매기려는 시도(단어 전용 접근 방식)가 특히 학습이 공격적일 때 불안정성을 초р히한다는 것을 명확히 보여주었습니다. 이는 "더 많은 세부 정보"가 항상 더 나은 것은 아니라는 그들의 이론을 뒷받침합니다. 때로는 상황을 잡아줄 중간 단계(문장)가 필요합니다.

이것이 왜 중요한가

이 논문은 AI를 가르치는 핵심이 단순히 더 많은 데이터나 더 세밀한 정보를 주는 것이 아니라는 점을 시사합니다. 그것은 인간이 실제로 생각하는 방식과 일치하는 피드백을 주는 것입니다. 우리는 이야기를 단어 하나하나로 판단하는 것이 아니라, 흐름, 문장, 그리고 아이디어 단위로 판단합니다. AI의 학습 과정을 이러한 자연스러운 구조와 일치시킴으로써, 저자들은 AI 학습을 더 신뢰할 수 있고 오류가 적게 만들 방법을 찾아냈습니다.

그들은 단순히 추측한 것이 아니라 광범한 시뮬레이션과 실험을 수행했습니다. 그들은 언어의 "계층 구조"(먼저 문장, 그다음 단어)를 존중함으로써, 넓은 조망의 안정성과 미세 조정된 세부 사항의 정밀함이라는 두 마리 토끼를 모두 잡을 수 있음을 보여주었습니다. 이는 복잡한 문제를 해결하는 가장 좋은 방법이 최대한 가까이 줌인(zoom-in)하는 것이 아니라, 적절한 초점 수준을 찾는 것임을 상기시켜 줍니다.