언어는 반복의 강물입니다. 단 한 번의 대화 속에서도 우리는 같은 단어를 수십 번 사용하며, 종종 몇 문장 간격으로 같은 단어를 쓰기도 합니다. 인간은 방금 들었던 단어를 다시 들을 때, 뇌가 그 단어를 더 빠르고 쉽게 처리합니다. '반복 프라이밍(repetition priming)'이라고 알려진 이 현상은 우리가 학습하고 기억하는 방식의 근본적인 특징입니다. 이는 우리의 마음이 단어와의 모든 만남을 완전히 새로운 사건으로 취급하지 않는다는 것을 시사합니다. 대신, 이전의 만남에 대한 흔적을 남겨두어 다음 만남을 더 매끄럽게 만듭니다. 하지만 인공지능이 더욱 정교해짐에 따라 한 가지 의문이 생겼습니다. 챗봇과 검색 도구의 동력이 되는 이 시스템들도 같은 방식으로 작동할까요? 이 기계들이 이미 처리했던 단어를 볼 때, 단순히 오래된 기억을 재활성화하는 것일까요, 아니면 처음부터 단어를 다시 재평가하는 것일까요?

그 답은 이 시스템들의 내부 작동 원리를 밝혀준다는 점에서 중요합니다. 만약 모델이 단순히 기억을 재활성화한다면, 그것은 빠르고 자동적인 반응인 반사 작용처럼 행동하는 것입니다. 만약 모델이 재평가한다면, 그것은 결정을 내리기 전에 맥락을 따져보는 신중한 사색가처럼 행동하는 것입니다. 수년간 연구자들은 이 기계들이 일종의 '빠른' 직관을 가지고 있는지, 아니면 항상 느리고 신중한 추론에 참여하고 있는지를 두고 논쟁해 왔습니다. 예일 대학교와 캘리포니아 대학교 로스앤젤레스(UCLA) 연구진이 수행한 이번 새로운 연구는 서로 다른 유형의 언어 모델이 반복되는 단어를 어떻게 처리하는지 테스트함으로써 이 질문을 해결하고자 합니다. 연구진은 사전 학습된 가공되지 않은(raw) 모델과 지시사항을 따르도록 미세 조정(fine-tuning)된 버전을 비교했으며, 기계가 인간과 얼마나 대등한지 확인하기 위해 인간 자원봉사자들과 병렬 실험을 진행했습니다.

연구진은 인간 심리학에서 사용되는 고전적인 실험들을 모방하여 일련의 테스트를 설계했습니다. 그들은 15억 개의 파라미터를 가진 작은 시스템부터 140억 개의 파라미터를 가진 거대한 시스템에 이르기까지 15개의 다양한 모델에 단어와 문장을 입력했습니다. 또한 40명의 인간 참가자에게 동일한 과제를 수행하도록 요청했습니다. 테스트에는 두 가지 주요 활동이 포함되었습니다. 첫 번째로, 피험자들은 어떤 단어가 생물인지 혹은 무생물인지를 빠르게 결정해야 했습니다. 두 번째로, 문장 자체가 빈칸에 들어갈 단어에 대한 단서를 거의 제공하지 않는 상황에서 문장을 완성해야 했습니다. 핵심 변수는 첫 번째 타겟 단어가 나타난 후 두 번째로 나타날 때까지의 간격, 즉 '지연(lag)'이었습니다. 이 간격을 변화시킴으로써 연구진은 반복의 이점이 시간이 지나도 지속되는지, 아니면 사라지는지를 관찰할 수 있었습니다.

결과는 기계가 정보를 처리하는 방식에서 놀라운 차이를 드러냈습니다. 지시사항을 따르도록 배우기 전의 가공되지 않은 상태인 베이스 모델들은 일종의 자동적인 효율성을 보였습니다. 이들은 방금 마주친 단어를 볼 때, 그 사이에 얼마나 많은 다른 단어들이 나타났는지와 상관없이 더 빠르고 자신 있게 처리했습니다. 심지어 연구진이 대화 기록에서 이전 답변들을 제거하더라도, 베이스 모델들은 여전히 성능 향상을 보여주었습니다. 이는 이 모델들에게 있어 반복이 빠르고 자극 중심적인 반응을 유발한다는 것을 시사합니다. 단어 그 자체가 기억을 깨우기에 충분하며, 마치 반사 작용과 같습니다.

대조적으로, 지시사항 조정(instruction-tuned) 모델들은 매우 다르게 행동했습니다. 이들은 도움이 되는 조수 역할을 하고, 규칙을 따르며, 대화에 참여하도록 훈련된 버전들입니다. 이 모델들은 반복되는 단어를 보았을 때 동일한 자동적 향상을 보이지 않았습니다. 대신, 이들의 성능은 맥락에 크게 의존했습니다. 만약 첫 번째 등장과 두 번째 등장 사이에 많은 단어가 있었다면, 반복의 이점은 사라졌습니다. 더 나아가, 가장 크고 발전된 지시사항 조정 모델들의 경우, 반복이 오히려 방해가 되었습니다. 단어를 다시 보는 것이 모델을 더 느리게 만들고 정확도를 떨어뜨렸는데, 이는 마치 기계가 중복된 정보에 의해 혼란을 느끼는 것처럼 보였습니다. 이는 이 모델들이 단순히 단어에 반응하는 것이 아니라, 주변 대화를 바탕으로 단어를 능동적으로 재평가하고 있음을 나타냅니다. 만약 맥락이 기대와 일치하지 않으면, 반복은 오류로 느껴져 간섭을 일으킵니다.

연구진은 또한 이러한 행동이 모델의 크기가 커짐에 따라 어떻게 변하는지도 살펴보았습니다. 한 모델 제품군 내에서, 두 유형 사이의 격차는 규모가 커질수록 넓어졌습니다. 베이스 모델들은 자동적인 처리에 있어 일관성을 유지했지만, 지시사항 조정 모델들은 반복 사이의 간격에 점점 더 민감해졌습니다. 가장 큰 규모에서 지시사항 조정 모델들은 가장 강력한 간섭 징후를 보였으며, 이는 지시사항을 따르도록 가르치는 과정이 그들이 반복되는 정보를 다루는 방식을 근본적으로 변화시킨다는 것을 시사합니다. 이는 단순히 과업을 더 잘 수행하게 된 문제가 아니라, 운영 모드의 질적인 변화입니다.

아마도 가장 놀라운 발견은 기계와 인간 자원봉사자를 비교했을 때 나왔습니다. 인간은 이 두 범주 중 어느 하나에 딱 들어맞지 않았습니다. 지시사항 조정 모델들처럼 인간도 반복 사이의 간격에 민감했습니다. 즉, 지연 시간이 길어질수록 반응 속도가 느려졌습니다. 그러나 지시사항 조정 모델들과 달리, 인간은 결코 간섭을 겪지 않았습니다. 간격이 얼마나 길든 상관없이, 단어를 다시 보는 것은 항상 도움이 되었으며 결코 해가 되지 않았습니다. 인간은 중간 지점에 위치했습니다. 즉, 고급 기계들처럼 맥락에 민감하면서도, 베이스 모델들이 보여준 반복의 보편적인 이점을 유지했습니다.

이 연구는 언어 모델을 도움이 되고 순종적이도록 훈련하는 과정이 그 인지 구조를 근본적으로 변화시킨다는 점을 시사합니다. 가공되지 않은 모델은 단어가 나타나는 즉시 반응하는 빠르고 자동적인 시스템으로 작동합니다. 그러나 지시사항 조정 모델은 대화의 흐름에 맞지 않으면 반복을 거부하기도 하는, 끊임없이 맥락을 확인하는 통제된 시스템을 개발한 것으로 보입니다. 연구진은 이러한 변화가 단순히 출력의 변화가 아니라 근본적인 메커니즘의 변화라는 것을 발견했습니다. 모델의 내부를 들여다보았을 때, 베이스 모델들은 응답 속도를 높이기 위해 이전의 단어 발생에 직접적으로 주의를 기울이고 있었습니다. 반면, 지시사항 조정 모델들은 이 주의력을 최종 결정으로부터 분리하여, 자동적인 향상을 효과적으로 걸러내고 있었습니다.

이 작업의 함의는 이 기계들이 어떻게 생각하는지를 이해하는 것을 넘어 확장됩니다. 이는 현재의 인공지능이 인간의 인지와 구체적으로 어떻게 다른지를 강조합니다. 우리는 긴 대화 속에서 반복에 의해 주의가 분산될 수는 있지만, 단어를 이전에 보았다는 기본적인 이점을 결코 잃지는 않습니다. 지시사항 조정 모델들은 맥락을 인식하려는 노력 속에서, 이 근본적인 인간적 특성을 잃어버렸습니다. 그들은 너무 즉각적인 맥락에 집중한 나머지, 때때로 익숙한 단어를 실수로 취급하게 되었습니다. 이 연구는 기계가 반응하는 방식과 기계가 생각하는 방식의 차이를 볼 수 있는 정밀하고 측정 가능한 방법을 제시하며, 두 처리 모드가 갈라지는 지점을 명확히 그려내고 있습니다. 즉, 기계를 대화에서 더 인간답게 만드는 경로가 역설적으로 기초적인 기억 과정에서는 덜 인간답게 만들었을 수도 있다는 것을 보여줍니다. 이 연구는 기계 지능의 미스터리를 해결했다고 주장하는 것이 아니라, 반응하는 기계와 생각하는 기계의 차이를 볼 수 있는 정밀한 척도를 제공합니다.