Post-training makes large language models less human-like

상상해 보세요. 도서관의 거의 모든 책을 읽은 천재적이면서도 혼란스럽고 놀라울 정도로 창의적인 견습생이 있다고 말입니다. 이 견습생은 **기초 모델 (Base Model)**입니다. 이들은 원시적이고 필터링되지 않았으며, 인간이 하듯 그대로 말합니다: 독특한 버릇, 실수, 망설임, 그리고 실제 삶의 지저분한 논리로 가득 차 있습니다. 만약 이들에게 질문을 한다면, 그들은 넘어지거나 추측하거나, 기술적으로 '틀린' 답을 하더라도 매우 인간적으로 느껴지는 응답을 할지도 모릅니다.

그런 다음, 당신은 이 견습생을 유용한 조수로 훈련시키기로 결정합니다. 당신은 그들에게 엄격한 규칙을 따르고, '올바른' 답을 주며, 정중하고 논리적으로 행동하도록 가르칩니다. 이 과정은 **후학습 (Post-Training)**이라고 불립니다.

공유하신 논문인 *"후학습은 대규모 언어 모델을 덜 인간적으로 만든다"*는 제목의 논문은 놀랍고 역설적인 진실을 드러냅니다: 이 모델들을 완벽한 조수로 훈련시킬수록, 그들은 실제 사람처럼 들리는 정도는 오히려 줄어듭니다.

여기서 그들의 발견을 간단한 비유로 정리해 보겠습니다:

1. "완벽한 학생" 대 "실제 사람"

연구진들은 Psych-201이라는 거대한 테스트 장소를 구축했습니다. 이는 심리학 테스트, 게임, 퍼즐을 풀며 실제 사람들이 작성한 20 만 건 이상의 대화 기록을 담은 거대한 도서관과 같습니다. 이는 인간을 비교하기 위한 '대조군'을 갖춘 것과 같습니다.

그들은 두 가지 유형의 AI 를 테스트했습니다:

• 기초 모델: 책을 읽으며 배운 원시적인 견습생.
• 후학습 모델: 도움이 되고 규칙을 준수하는 조수가 되도록 가르침을 받은 동일한 견습생.

결과: 매번 '완벽한 학생'(후학습) 은 '원시적인 견습생'(기초) 보다 실제 사람이 무엇을 말하거나 할지 예측하는 데서 더 나빴습니다. AI 를 조수로서 '더 잘' 만들려고 시도함으로써, 그들은 사람들을 잘 시뮬레이션하게 만든 바로 그 인간적인 행동들을 실수로 제거해 버렸습니다.

2. 논리의 "불쾌한 골짜기"

왜 이런 일이 일어날까요?

• 기초 모델은 인간 언어의 거울과 같습니다. 그들은 우리의 편견, 우리의 단축키, 우리의 '직감', 그리고 우리의 실수를 모두 흡수했습니다. 만약 인간이 피곤하거나 혼란스러워서 틀린 추측을 한다면, 기초 모델도 그렇게 합니다.
• 후학습은 그 거울에 필터를 씌우는 것과 같습니다. 이는 AI 를 '규범적으로 올바른' 상태로 강제합니다. 이는 AI 에게 인간의 독특한 버릇을 무시하고 '올바른' 답에 집중하도록 가르칩니다.

해당 논문은 이 '교정'이 두 가지 영역에서 가장 치명적임을 발견했습니다:

• 심리언어학 (우리가 단어를 사용하는 방식): 인간은 언어를 지저분하게 사용합니다. 후학습 모델은 너무 완벽하게 사용합니다.
• 추론: 인간은 종종 논리적 오류를 범하거나 단축키 (휴리스틱) 를 사용합니다. 후학습 모델은 논리적으로 완벽하도록 강요받기 때문에, 인간의 사고 과정처럼 들리기보다는 계산기처럼 들립니다.

3. "새로울수록 더 나쁘다" 역설

AI 가 더 똑똑해질수록 인간을 모방하는 데도 더 능숙해질 것이라고 생각할 수 있습니다. 논문은 말합니다: 그렇지 않습니다.

• 기초 모델(원시적인 견습생)은 새로운 세대가 나올수록 인간을 모방하는 데 점점 더 능숙해지고 있습니다.
• 그러나 후학습 과정 ('조수' 훈련) 은 점점 더 공격적으로 변하고 있습니다. '원시적인 견습생'과 '완벽한 조수' 사이의 간격이 벌어지고 있습니다. 모델이 새로울수록, '조수' 기능을 켜면 더 '로봇 같아지고' 덜 인간적으로 변합니다.

4. "페르소나" 트릭은 작동하지 않는다

**페르소나 유도 (Persona-Induction)**라는 인기 있는 트릭이 있습니다. 이는 AI 에게 "브라질 출신 35 세 교사로 가장해 봐"라고 말해, 특정 사람처럼 행동하게 하려는 시도입니다.

연구진들은 이를 대규모로 테스트했습니다. 그들은 AI 에게 실제 사람들의 상세한 프로필 (나이, 국적, 학력) 을 제공하고, 그 특정 사람들이 어떻게 답할지 예측하도록 요청했습니다.
결과: 도움이 되지 않았습니다. '페르소나'를 아는 것이 AI 가 개별 인간의 행동을 더 잘 예측하게 만들지 못했습니다. 이는 배우에게 동의어를 사전을 주는 것과 같습니다; 그것이 그들을 더 나은 즉흥 연기자로 만들지는 않습니다.

큰 교훈

이 논문은 AI 를 유용하게 만드는 도구들 (지시 튜닝, 추론 훈련, 안전 필터) 이 바로 인간 행동을 시뮬레이션하는 데 나쁜 도구가 된다는 결론을 내립니다.

만약 AI 가 유용한 조수처럼 행동하기를 원한다면, 후학습된 버전을 사용해야 합니다.
하지만 AI 가 인간처럼 행동하기를 원한다면 (예를 들어, 치료 세션 중 환자의 반응을 시뮬레이션하거나 학생이 어떻게 학습할지 시뮬레이션하는 경우), 실제로는 기초 모델(원시적이고 훈련되지 않은 버전) 을 사용해야 합니다. 왜냐하면 그것은 여전히 지저분하고, 불완전하며, 인간일 수 있는 방법을 기억하고 있기 때문입니다.

간단히 말해: AI 를 더 유용하게 만들기 위해 우리는 그것을 덜 인간적으로 만들었습니다. 다시 더 인간적으로 만들기 위해서는, 아마도 그것을 너무 많이 '고치기'를 멈춰야 할지도 모릅니다.