Speaking like a human, correcting like a machine: tone technologies and the moralisation of language in large language models

우리가 인간처럼 들리는 컴퓨터와 대화할 때, 우리는 마음(mind)과 대화하는 것이 아닙니다. 우리는 방대한 양의 텍스트에서 학습한 패턴을 바탕으로 문장의 다음 단어를 예측하도록 설계된 수학적 체계와 대화하고 있는 것입니다. 수년 동안 연구자들은 대규모 언어 모델의 최종 답변이나 이를 구동하는 복잡한 코드를 살펴보며 이를 연구해 왔습니다. 그들은 기계가 편향되었는지, 정확한지, 혹은 어려운 문제를 해결할 수 있는지 물었습니다. 하지만 이러한 접근 방식은 이야기의 결정적인 부분을 놓치고 있습니다. 모델이 단 한 단어를 타이핑하기도 전에, 무엇이 좋은 답변인지를 결정하는 인간 작업의 숨겨진 층위가 존재합니다. 이 작업은 인공지면(AI)을 훈련시키고 평가하는 사람들에게 주어지는 가이드라인이라는 문서 속에서 일어납니다. 이 문서들은 인간 작업자들에게 기계의 언어를 어떻게 판단할지, 즉 무엇이 유익하고, 정직하며, 안전한지를 정의하도록 지시합니다. 질문은 이제 기계가 어떻게 배우느냐가 아니라, 기계가 어떤 버전의 인류성을 모방하도록 교육받고 있는가로 옮겨갔습니다.

리즈 다이아나 자라테 루엥가스(Liz Dayanna Zarate Luengas)와 윌리엄 안드레스 고메스 산체스(William Andrés Gómez Sánchez)라는 연구자들의 새로운 연구는 이 숨겨진 층위에 주목합니다. 이들은 AI의 출력물을 보는 대신, 이러한 시스템을 구축하는 기업들이 사용하는 규칙집을 조사했습니다. 저자 중 한 명은 이러한 플랫폼에서 어노테이터(annotator)이자 품질 평가자로 직접 근무하며, AI의 행동을 형성하는 내부 문서에 접근할 수 있었습니다. 연구진은 상용 모델을 훈련시키는 데 사용되는 네 가지 특정 가이드라인을 분석함으로써, 이 시스템들의 '인간적인' 목소리가 지능의 자연스러운 발현이 아님을 발견했습니다. 그것은 실재하는 인간의 언어가 가진 무질서함, 상황성, 역사적 근거를 제거함으로써 만들어진 정교하게 구성된 인공물입니다. 이 연구는 AI가 사람처럼 말하는 법을 배우는 것이 아니라, 신체, 역사, 정치적 위치가 박탈된 특정한, 정제된 이상적 인간의 모습을 배우고 있음을 보여줍니다.

연구진은 훈련 과정이 'HHH' 삼각법이라 불리는 세 가지 규칙을 중심으로 조직되어 있다는 것을 발견했습니다. 바로 유익함(Helpfulness), 정직함(Honesty), 무해함(Harmlessness)입니다. 이것들은 추상적인 가치가 아니라 인간 작업자를 위한 엄격한 지침입니다. 유익하기 위해서 AI는 일관되고 관련성이 있어야 하지만, 개인적인 감정, 기억, 또는 물리적 신체를 가지고 있다고 주장하지 않으면서 끊임없이 도움을 주려는 의지를 보여야 합니다. 만약 사용자가 AI에게 마치 친구처럼 의견을 묻는다면, 가이드라인은 작업자에게 이를 실수로 표시하도록 지시합니다. AI는 실제로는 소유하지 않으면서도 관심을 시뮬레이션해야 합니다. 정직하기 위해서 기계는 모르는 것이 있을 때는 인정해야 하며, 특히 민감한 주제에 대해 개인적인 견해를 절대 표현해서는 안 됩니다. 기계는 사실의 중립적인 그릇으로 남아 있어야 합니다.

이 규칙들 중 가장 상세하고 엄격한 부분은 무해함에 관한 것입니다. 가이드라인은 혐오 표현과 폭력부터 의료 조언, 고정관념에 이르기까지 AI가 말할 수 없는 것들에 대한 복잡한 목록을 제공합니다. 연구진은 이러한 규칙들이 적용되는 방식에서 매혹적이고 엄격한 논리를 주목했습니다. AI가 위험한 정보에 대한 요청을 받으면 도움을 거부해야 하지만, 거절하는 과정에서조차 그 위험한 행위를 묘사하는 것이 금지됩니다. 예를 들어, 범죄를 저지르는 방법을 묻는다면 AI는 "그것은 돈을 훔치는 일을 포함하므로 알려드릴 수 없습니다"라고 말할 수 없습니다. 연구진은 "돈을 세탁하는 방법은 불법이므로 알려드릴 수 없습니다... 돈 세탁은 범죄 행위입니다..."와 같은 응답은 범죄의 개념을 재현하면서 거절하기 때문에 오히려 해로운 것으로 분류된다고 지적합니다. 올바른 모델링은 행위의 세부 사항을 전달하지 않으면서도 그 위해성을 명시하는 것을 요구합니다. 나아가, 사용자가 고통을 겪고 있는 경우, AI는 실제로는 아무것도 느끼지 않으면서도 "안타깝게 생각합니다"와 같은 특정한 사전 작성된 공감 공식(formula)을 사용하도록 지시받습니다. 목표는 배려하는 것처럼 보이지만 정서적으로는 비어 있는 응답을 만드는 것입니다.

AI가 무엇을 말하는지를 넘어, 가이드라인은 AI가 어떻게 들리고 어떻게 상호작용하는지도 규정합니다. 연구진은 AI의 톤과 심지어 합성된 목소리를 평가하기 위한 지침을 분석했습니다. 이상적인 응답은 명확하고 간결하며 예의 바르지만, 강한 감정, 비꼬는 태도, 또는 문화적 특수성을 피해야 합니다. AI는 모든 언어에서 동일한 '온도'로 말하도록 훈련되어, 너무 친근하거나 열정적으로 보일 수 있는 농담, 이모지, 또는 느낌표를 피해야 합니다. 목소리의 경우, 목표는 최대한 인간처럼 들리게 하되, 매우 특정한 방식으로만 그래야 합니다. 가이드라인은 평가자들에게 자연스러움과 표현력을 기준으로 목소리를 1점에서 5점 척도로 평가하도록 요청합니다. 그러나 이 '인간적인' 목소리는 올바르게 호흡하고, 적절한 순간에 멈추며, 몰입하는 것처럼 들리지만, 실제 삶의 경험과는 완전히 분리되어 있습니다. 그것은 신체 없이 존재감을 시뮬레이션하는 목소리입니다.

이 연구는 이 과정이 '뺄셈'을 통해 '인간적'인 의사소통 표준을 만든다고 주장합니다. 실제 인간 화자는 신체, 역사, 그리고 정치적 위치 안에 놓여 있습니다. 그들은 실수를 하고, 편향을 가지며, 분노나 기쁨을 느끼고, 자신의 삶의 질감을 담아 말합니다. 가이드라인은 이러한 특성들을 AI로부터 체계적으로 추출합니다. 그 결과물은 유익하고, 정직하며, 무해하지만, 동시에 순종적이고, 비정치적이며, 무색무취한 모델입니다. 연구진은 이것이 단순한 기술적 조정이 아니라 노동의 변형이라고 제안합니다. 이 모델들을 훈련하는 인간 작업자들은 무엇이 수용 가능한지를 정의하는 인지적 작업을 수행하지만, 그들의 주체성은 최종 결과물에서 제거됩니다. 기계는 그들의 판단력, 종합 능력, 추론 능력을 흡수하고, 인간 작업자에게는 오직 규칙을 따르는 과업만을 남깁니다.

궁극적으로, 이 논문은 우리가 대규모 언어 모델에서 보는 인류성이 하나의 제작물임을 보여줍니다. 그것은 허용 가능한 행동에 대한 결정이 모델이 켜지기도 훨씬 전에 내려지는 위계적 노동 과정의 산물입니다. AI는 인간이 되는 법을 배우는 것이 아니라, 기업 표준에 의해 승인된 버전의 인류성을 수행하는 법을 배웁니다. 이 표준은 인간 상호작용의 무질서한 현실보다 안전과 중립성을 우선시합니다. 이러한 시스템이 우리 일상생활에서 점점 더 흔해짐에 따라, 그것들은 단순히 의사소통을 위한 도구가 아니라, 말한다는 것과 이해된다는 것이 무엇인지에 대한 새로운 정의를 적극적으로 형성하고 있습니다. 이 연구는 우리에게 조용한 깨달음을 남깁니다. 우리가 기계로부터 듣고 있는 인간의 목소리는 새로운 종류의 마음을 들여다보는 창이 아니라, 우리가 기계에게 부여한 규칙의 반영이라는 사실입니다.