Language Models Generalize to Human-like Word Order Preferences

당신이 로봇에게 새로운 언어를 가르치려 한다고 상상해 보세요. 그런데 당신은 로봇에게 장난을 치기로 결셉니다. 당신은 로봇에게 방대한 양의 책 도서관을 주지만, 명사에 대한 설명(수식어)이 두 개 이상 포함된 문장이 있는 모든 페이지를 정성스럽게 찢어버립니다. 그래서 로봇은 "그 빨간 공(the red ball)"이나 "그 큰 공(the big ball)"이라고 말하는 법은 배우지만, "그 크고 빨간 공(the big red ball)"이나 "그 빨간 큰 공(the red big ball)"처럼 여러 설명을 쌓아서 말하는 법은 결코 보지 못하게 됩니다. 로봇은 여러 수식어를 함께 배치하는 법에 대한 직접적인 증거를 전혀 얻지 못한 것입니다. 이제, 여기서 큰 질문이 생깁니다. 만약 당신이 로봇에게 "그 크고 빨간 공(the big red ball)"과 같은 새로운 문장의 순서를 추측해 보라고 요청한다면, 로봇은 그냥 무작위로 추측할까요? 아니면 인간 아이처럼 언어의 숨겨진 논리를 파악하여 올바른 순서를 선택해 낼까요?

이것은 언어학과 인공지능의 핵심에 자리 잡고 있는 바로 그 종류의 퍼즐입니다. 과학자들은 오랫동안 인간이 단어의 순서를 정하는 방법을 알려주는 특별한 '언어 칩'을 뇌 속에 가지고 태어나는 것인지, 아니면 우리가 듣는 것에서 나타나는 패턴을 관찰함으로써 모든 것을 배우는 것인지 궁금해해 왔습니다. 이를 테스트하기 위해 연구자들은 '인공 언어 학습(Artificial Language Learning)'이라는 것을 사용합니다. 이것은 사람이나 기계에게 빠진 부분이 있는 아주 작은 가공의 언어를 가르쳐서, 그들이 어떻게 빈칸을 채우는지 확인하는 통제된 실험과 같습니다. 만약 학습자가 한 번도 본 적 없는 패턴을 특정하여 선택한다면, 이는 그들이 단순히 단어의 빈도수가 아니라 구조적 세계에 기반한 내재된 편향(bias)이나 영리한 추측 방식을 가지고 있음을 시사합니다. 이 논문은 현대적인 AI 언어 모델을 실험 대상으로 삼아 이 미스터리를 파헤칩니다.

---

거대한 단어 순서의 미스터리

이 연구에서 연구자 아만다 포파디치(Amanda Popadich)와 셰인 스타이니어트-스레인델드(Shane Steinert-Threlkeld)는 컴퓨터 프로그램, 즉 언어 모델이 인간 학습자가 보여주는 것과 같은 마법을 부릴 수 있는지 알아보고자 했습니다. 그들은 기계가 단 하나의 중첩된 구절(stacked phrase)도 보지 못한 채, 형용사와 숫자를 쌓는 '규칙'을 배울 수 있는지 알고 싶었습니다.

그들이 찾고 있던 구체적인 규칙은 **범위 동형성(scope-homomorphism)**이라 불리는 것입니다. 이것은 구절 내의 단어 순서가 그 의미의 순서와 일치해야 한다는 멋진 표현입니다. 러시아 인형(마트료시카)을 생각해보세요. 만약 "크고 빨간 공(big red ball)"이 있다면, "빨간(red)"이라는 단어는 공을 직접적으로 설명하고, "큰(big)"은 "빨간 공"을 설명합니다. 영어에서 우리는 자연스럽게 더 크고 바깥쪽인 설명("big")을 먼저 두고, 더 구체적이고 안쪽인 설명("red")을 명사에 더 가깝게 배치합니다. 연구진은 AI 모델들이 단 하나의 중첩된 구절도 보지 못한 채 훈련되었음에도 불구하고, 자연스럽게 이 "러시아 인형" 식의 순서를 선호하는지 확인하고자 했습니다.

실험: 언어 식단

이를 테스트하기 위해 팀은 매우 엄격한 훈련 환경을 조성했습니다. 그들은 인터넷의 거대한 덩어리(구체적으로는 2023년 위키피디아 데이터)를 가져와 필터링했습니다. 그들은 컴퓨터 프로그램을 사용하여 두 개 이상의 수식어가 붙은 명사가 포함된 모든 문장을 찾아내어 이를 분해했습니다. 예를 들어 "그 두 마리의 털이 뭉실뭉실한 개들(those two fluffy dogs)"이라는 문장이 있다면, 이를 "그 개들(those dogs)", "두 마리의 개들(two dogs)", "털이 뭉실뭉실한 개들(fluffy dogs)"과 같은 별개의 예시로 대체했습니다.

그 결과는 '자극의 빈곤(poverty of the stimulus)' 식단이었습니다. 모델들은 1억 단어를 학습했지만, 두 개의 수식어가 붙은 명사를 단 하나도 보지 못했습니다. 모델들은 개별 재료는 배웠지만, 완성된 케이크는 보지 못한 채 학습되었습니다. 그런 다음 연구진은 모델들에게 두 가지 버전의 문장 중 하나를 선택하게 함으로써 테스트를 진행했습니다. 하나는 "러시아 인형" 논리를 따르는 버전이고, 다른 하나는 그렇지 않은 버전입니다.

그들은 세 가지 서로 다른 크기의 AI 모델을 테스트했습니다: 작은 모델(5,200만 파라미터), 중간 모델(1억 1,000만), 그리고 큰 모델(3억 5,000만).

결과: AI가 정답을 맞히다

결과는 놀라울 정도로 일관적이었습니다. 모델들이 훈련 과정에서 여러 수식어가 붙은 구절을 단 한 번도 본 적이 없음에도 불구하고, 세 모델 모두 일관되게 "러시아 인형" 순서를 선호했습니다.

연구진이 모델들에게 "그 두 마리의 개들(those two dogs)"(논리적 순서)과 "두 마리의 그 개들(two those dogs)"(뒤섞인 순서) 중 하나를 고르게 했을 때, 모델들은 압도적으로 논리적인 쪽을 선택했습니다.

• 작은 모델은 약 **76%**의 확률로 정답을 맞혔습니다.
• 중간 모델은 약 **73%**의 확률로 정답을 맞혔습니다.
• 큰 모델은 약 **70%**의 확률로 정답을 맞혔습니다.

이는 모델들이 단순히 훈련 데이터를 암기한 것이 아니라, 규칙을 일반화했다는 것을 시사합니다. 모델들은 여러 설명이 있을 때 그것들을 배치하는 특정한 논리적 방법이 있다는 것을, 직접적인 예시를 보지 않고도 스스로 알아낸 것입니다. 흥상하게도 모델의 크기가 결과에 큰 영향을 미치지는 않았습니다. 작은, 중간, 큰 모델 모두 이러한 편향을 보였으며, 이는 이 현상이 시스템이 언어를 배우는 방식의 견고한 특징임을 시사합니다.

반전: 단순한 단어 쌍의 문제가 아니다

연구진은 이어서 다음과 같은 후속 질문을 던졌습니다: 모델들이 어떻게 이것을 알아냈는가? 한 가지 유력한 이론은 학습자가 단어들이 얼마나 자주 함께 어울리는지를 본다는 것입니다. 예를 들어, "빨간(red)"이 보통 "공(ball)" 바로 옆에 나타나므로, "크다(big)"보다 항상 명사에 더 가까이 있어야 한다는 식입니다. 이는 **점별 상호 정보량(Pointwise Mutual Information, PMI)**이라 불리는, 두 단어가 얼마나 강하게 연관되어 있는지를 측정하는 점수로 계산됩니다.

팀은 수학적 검증을 수행했습니다. 그들은 훈련 데이터 내의 단어 연관 점수를 계산했습니다. 그 결과, 형용사는 명사와 강하게 연관되어 있고, 숫자나 지시사(예: "those")는 그렇지 않다는 것을 발견했습니다. 만약 모델들이 단순히 이러한 연관 점수를 따르고 있었다면, 모델들은 단어 순서를 완벽하게 예측할 수 있어야 했습니다.

하지만 여기에 반전이 있었습니다: 연관 점수는 모델의 선택을 예측하는 데 실패했습니다.

연구진이 모델의 실제 선택과 수학적 예측치를 비교했을 때, 상관관계는 거의 제로에 가까웠습니다. 모델들은 올바른 순서를 선택하고 있었지만, 단어들이 얼마나 자주 함께 나타나는지를 세어서 그렇게 한 것이 아니었습니다. 이는 모델들이 단순한 단어 쌍의 통계를 넘어, 언어가 작동하는 방식에 대한 더 깊은 구조적 이해를 포착하고 있음을 시사합니다.

이것이 의미하는 바

이 연구는 언어 모델이 '빈곤한' 입력으로부터 인간과 유사한 언어적 일반화를 회복할 수 있음을 보여줍니다. 새로운 언어에서 올바른 단어 순서를 추측하는 인간 아이처럼, 이 AI 모델들도 훈련 데이터에 명시적으로 존재하지 않는 패턴을 찾아냈습니다.

그러나 저자들은 이것이 AI가 인간과 똑같은 방식으로 학습한다는 것을 증명하는 것은 아니라고 주의를 기울였습니다. 모델들은 의식을 가진 아이가 아니라 복잡한 통계 엔진입니다. 하지만 이러한 편향을 사전에 프로그래밍하지 않고도 개발했다는 사실은, 이러한 규칙을 배우기 위해 반드시 특수한 '언어 칩'이 필요한 것은 아닐 수도 있다는 점을 시사합니다. 때때로는 언어의 규칙이, 비록 증거가 불완전할지라도 학습의 경험으로부터 자연스럽게 창발될 수 있습니다.

또한 연구진은 AI와 인간 사이의 작은 차이점을 언급했습니다: 인간은 대개 지시사와 형용사(예: "저 큰 개")의 순서 선호도가 가장 높은 반면, AI 모델은 지시사와 숫자의 순서(예: "저 두 마리의 개")에서 가장 강한 선호도를 보였습니다. 이는 일반화 능력은 갖추고 있지만, 편향의 구체적인 양상은 훈련 데이터의 세부 사항에 따라 달라질 수 있음을 암시합니다.

결국, 이 논문은 언어를 이해하기 위한 멋진 새로운 도구를 제공합니다. AI 모델에게 정보가 누락된 식단을 제공함으로써, 우리는 그들이 스스로 무엇을 "추측"하는지 볼 수 있으며, 이를 통해 언어의 규칙이 타고난 것인지 아니면 세상의 패턴으로부터 학습되는 것인지를 이해하는 데 도움을 얻을 수 있습니다.