Technical Manual for a Toolkit for Measuring Contextual Individuation in Transformer Language Models

현대 인공지능의 세계에서 컴퓨터는 방대한 인간 텍스트 라이브러리를 학습함으로써 읽고 쓰는 법을 배웠습니다. 오랫동안 이 기계들은 단어를 사전처럼 이해했습니다. 즉, 고정된 하나의 의미를 가진 정적인 항목으로서 말입니다. 만약 컴퓨터가 "bank"라는 단어를 본다면, 그 문장이 강에 관한 것인지 아니면 금융 기관에 관한 것인지와 상관없이 하나의 특정한 정체성을 부여했을 것입니다. 이러한 접근 방식은 기본적인 작업에는 충분히 효과적이었지만, 인간 언어의 근본적인 진실을 놓쳤습니다. 그것은 바로 의미는 유동적이라는 사실입니다. 우리는 단어를 그 자체의 정의뿐만 아니라 그 단어가 어디에 나타나는지에 따라 이해합니다. 트랜스포머 언어 모델로 알려진 차세대 AI 모델들은 이러한 유동성을 포착할 수 있다는 아이디어 위에 구축되었습니다. 이 모델들은 문장 속에서 어떤 동료(단어들)를 만나느냐에 따라 단어에 대한 이해를 변화시키도록 설계되었습니다. 하지만 이러한 모델들이 이 작업에 능숙하다고 널리 믿어지고 있음에도 불구하고, 이를 깔끔하게 증명하는 것은 어려웠습니다. 대부분의 증거는 모델이 특정 테스트에서 얼마나 잘 수행하는지를 관찰하는 데서 오는데, 이는 모델이 유용하다는 것을 알려줄 뿐, 모델이 자신의 마음속에서 단어를 어떻게 조직하는지까지는 반드시 알려주지 않습니다.

브라질 카리파스 대학교의 연구팀은 이 기계들을 직접 들여다보고 그들이 다의어를 어떻게 처리하는지 볼 수 있는 특화된 툴킷을 구축했습니다. 그들은 컴퓨터에게 정의를 추측하거나 퍼즐을 풀라고 요구하지 않았습니다. 대신, 맥락이 변함에 따라 단어의 내부 표현이 어떻게 변화하는지를 관찰하기 위한 통제된 실험을 설계했습니다. 그들의 연구는 AI가 언어를 이해하는 방식에 대한 미스터리를 해결했다고 주장하거나, 특정 모델이 어떻게 행동하는지에 대한 구체적인 발견을 보고하는 것이 아닙니다. 오히려, 다른 과학자들이 이 질문을 정밀하게 던질 수 있도록 하는 엄격하고 반복 가능한 도구—즉, 일련의 도구와 방법론—를 제공하는 것입니다. 연구진은 단어 자체는 고정시키고 그 단어가 나타나는 세계만을 변화시키는 방법을 설계하여, 만약 그러한 분리가 존재한다면, 기계가 하나의 의미를 다른 의미로부터 분리해내는 정확한 순간을 격리할 수 있는 방법을 만들어냈습니다.

그들 방법의 핵심은 "브릿지 폼(bridge form)"이라고 부르는 개념에 의존합니다. "current"와 같은 단 하나의 단어를 상상해 보십시오. 이 단어는 전기의 흐름, 금융 계좌, 또는 바닷물의 움직임을 의미할 수 있습니다. 표준 사전에서 이것들은 세 가지 서로 다른 정의입니다. 연구진의 실험에서, 그들은 "current"를 세 가지 서로 다른 세계를 여행하는 하나의 변하지 않는 객체로 취급합니다. 그들은 물리학, 경제학, 지리학에 관한 위키피디아 문서에서 "current"라는 단어가 포함된 수천 개의 문장을 수집합니다. 모든 문장에서 철자가 정확히 동일하기 때문에, 컴퓨터의 초기 이해는 동일합니다. 그런 다음 연구진은 이 문장들을 AI 모델에 입력하고, 정보가 모델의 더 깊은 층으로 이동함에 따라 어떤 일이 일어나는지 관찰합니다.

핵심적인 통찰은 만약 모델이 진정으로 맥락을 이해한다면, 모델 내부의 "current"라는 단어의 이미지는 돈에 관한 단어들에 둘러싸여 있을 때와 강에 관한 단어들에 둘려싸여 있을 때 서로 달라 보여야 한다는 것입니다. 모델의 초기 몇 개 층에서 단어는 사전에서의 모습처럼 동일하게 유지됩니다. 하지만 정보가 더 깊이 이동함에 따라, 연구진은 "electricity" 버전의 단어가 모델의 내부 공간에서 "money" 버전의 단어로부터 멀어지는지를 살펴봅니다. 이 표류(drift)를 측정하기 위해, 그들은 그룹 간의 점들이 얼마나 떨어져 있는지를 계산하는 통계적 도구를 사용합니다. 만약 물리 관련 문장의 점들이 조밀하게 모여 있고 경제 관련 문장들의 점들과는 멀리 떨어져 있다면, 이는 모델이 맥락에 따라 의미를 성공적으로 분리했음을 증명할 것입니다.

연구진은 이전 연구들을 오도했던 흔한 함정들을 피하도록 툴킷을 설계했습니다. 한 가지 주요 함정은 모델의 처리가 끝난 최종 결과만을 보고 그것이 의미가 존재하는 유일한 장소라고 가정하는 것입니다. 일부 초기 연구들은 모델이 중간 층에서 의미를 분리했다가 마지막에는 다시 하나로 합칠 수도 있다고 제안했습니다. 이를 포착하기 위해, 새로운 툴킷은 마지막 층뿐만 아니라 모델의 모든 층을 확인합니다. 또 다른 잠재적 오류는 너무 많은 의미를 동시에 비교하려는 시도입니다. 만약 연구자가 세 개나 네 개의 서로 다른 의미 사이의 분리를 동시에 측정하려고 하면, 수학적 왜곡이 발생하여 관련 없는 그룹들이 실제보다 더 가깝거나 멀게 보일 수 있습니다. 연구진은 한 번에 두 개의 의미만을 비교함으로써 이 문제를 해결했고, 이를 통해 측정이 깨끗하고 직접적이 되도록 보장했습니다.

그들은 또한 컴퓨터가 단어를 어떻게 인식하는지의 문제도 다루었습니다. 현대의 AI는 단어를 하나의 온전한 단위로 읽지 않고, 더 작은 조각들로 나눕니다. 때때로 같은 단어도 문장 내 위치에 따라 다르게 분절될 수 있습니다. 연구진은 자신들이 측정하고자 하는 것을 정확히 측정하기 위해, 관심 있는 단어의 정확한 조각을 찾아내어 원래 텍스트와 글자 단위로 일치시키는 정밀한 방법을 사용했습니다. 이는 기계가 텍스트를 어떻게 나누는지와 상관없이, 그들이 추적하는 것이 동일한 단어의 인스턴스임을 보장하며 혼란을 방지합니다.

이 툴킷은 연구자들이 결과를 이해하는 데 도움을 주기 위해 두 가지 유형의 시각적 증거를 생성합니다. 첫째, 모델의 마음속에서 단어의 위치가 시작 단계와 종료 단계에서 어떻게 되는지를 보여주는 지도를 만듭니다. 이 지도들에 공유된 참조 프레임을 사용함으로써, 연구자들은 단어가 이동했는지 혹은 그대로 머물러 있는지를 볼 수 있습니다. 둘째, 정보가 모델의 층을 통과하면서 의미의 분리가 어떻게 변하는지를 보여주는 그래프를 생성합니다. 이 그래프는 단어의 의미에 대한 심박수 모니터처럼 작동하여, 모델이 서로 다른 의미를 구별하기 시작하는 정확한 지점을 보여줍니다.

이 연구는 모델의 최종 출력에 의존하지 않고 AI의 내부 메커니즘을 테스트할 수 있는 방법을 제공한다는 점에서 중요합니다. "모델이 정답을 맞혔는가?"라고 묻는 대신, 연구진은 "모델이 자신의 생각을 올바르게 조직했는가?"라고 묻습니다. 이 툴킷은 다양한 유형의 AI 모델이 언어를 어떻게 다루는지 연구하고자 하는 누구라도 사용할 수 있도록 설계되었습니다. 이는 텍스트를 양방향으로 읽는 모델부터 왼쪽에서 오른쪽으로만 읽는 모델까지 다양한 모델 아키텍처와 호환됩니다. 이 현상을 측정하는 표준적인 방법을 제공함으로써, 연구진은 모델들을 공정하게 비교하고 그들의 언어적 능력의 한계를 이해할 수 있는 새로운 연구의 물결을 가능하게 하기를 희망합니다.

저자들은 자신들의 툴킷이 최종적인 답을 내놓는 원천이 아니라 측정 장치라는 점을 주의 깊게 명시합니다. 그들은 자신들의 특정 테스트가 모든 AI 모델이 작동하는 방식에 대한 보편적 진리를 밝혀냈다고 주장하지 않으며, 특정 모델이나 단어 집합에 대해 툴킷을 실행한 경험적 결과나 그 해석을 제시하지 않습니다. 이 툴킷은 하나의 발견이 아니라 하나의 도구이며, 하나의 주장이 아니라 하나의 도구입니다. 툴킷을 실행한 결과는 테스트되는 특정 모델과 선택된 특정 단어에 따라 달라집니다. 연구진이 제공한 것은 질문을 던질 수 있는 신뢰할 수 있는 방법입니다. 그들은 "맥락적 이해"라는 추상적인 개념과 구체적이고 측정 가능한 현실 사이의 다리를 놓았습니다. 단어는 일정하게 유지하고 그 주변의 세계를 변화시킴으로써, 그들은 이 복잡한 기계들이 어떻게 강과 은행(bank)을 구별하는 법을 배우는지 들여다볼 수 있는 투명한 창을 만들어냈습니다.