Shared Circuits for Shared Grammar: Tracing Subject-Verb Agreement Across Languages
5개의 모델 제품군에 걸친 29개 언어를 분석함으로써, 본 연구는 다국어 거대 언어 모델이 주어-동사 일치를 위해 부분적으로 공유된 계산 회로를 활용하며, 형태론적 굴절을 명시적으로 표현하는 언어일수록 교차 언어적 중첩 정도가 증가한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
많은 언어를 읽고 쓸 수 있는 현대의 컴퓨터는 놀라울 정도로 숙련되어, 하나의 뇌로 수십 개의 언어를 번역하거나 질문에 답하곤 한다. 그러나 이러한 유창함에도 불구하고, 과학자들은 이 시스템들이 내부에서 어떻게 작동하는지 완전히 이해하지 못하고 있다. 핵심적인 미스터리는 다국어 컴퓨터가 모든 언어의 문법을 처리하기 위해 하나의 보편적인 규칙 세트를 사용하는지, 아니면 각 언어마다 별도의 고유한 엔진을 구축하는지 여부이다. 이 질문이 중요한 이유는, 만약 기계가 서로 다른 언어에 대해 동일한 내부 기제를 사용한다면 한 언어를 연구하여 얻은 통찰이 다른 모든 언어를 이해하는 데 도움이 될 수 있기 때문이다. 반면, 만약 기계가 별개의 엔진을 구축한다면, 영어를 통해 배운 것이 스페인어나 중국어를 처리하는 방식에 대해서는 아무것도 알려주지 못할 것이다. 이 연구가 다루는 구려한 퍼즐은 모델이 주어-동사 일치, 즉 'he'가 주어일 때 'walk'를 'walks'로 바꾸는 것처럼 동작을 수행하는 주체에 맞춰 동사의 형태를 변화시켜야 하는 문법 규칙을 어떻게 처리하느냐 하는 것이다.
이를 해결하기 위해, 연구진은 다섯 가지 서로 다른 계열의 오픈 소스 언어 모델이 29개 언어에 걸쳐 이 문법 규칙을 어떻게 처리하는지 조사했다. 그들은 컴퓨터의 사고 과정 중 특정 순간, 즉 동사의 마지막 글자나 단어를 예측하기 직전의 찰나에 집중했다. 연구팀은 올바른 문장에서의 내부 신호를 약간 변형된 틀린 문장으로 교체하는 기법을 사용하여, 컴퓨터 네트워크의 정확히 어느 부분이 문법을 제대로 맞추는 데 책임이 있는지를 찾아낼 수 있었다. 그들은 스페인어처럼 동사가 심하게 변하는 언어, 중국어처럼 동사가 전혀 변하지 않는 언어, 그리고 영어처럼 몇 가지 특정한 경우에만 변하는 언어를 대상으로 이 방법을 테스트했다.
조사 결과, 이 모델들은 모든 언어에 대해 완전히 별개의 엔진에 의존하지도 않으며, 그렇다고 모든 언어에 대해 단일하고 동일한 엔진을 사용하지도 않는 것으로 나타났다. 대신, 그들은 필요할 때만 공유된 내부 경로를 재사용하는 것처럼 보인다. 연구진이 동사가 주어와 일치하도록 눈에 띄게 변해야 하는 언어들을 살펴보았을 때, 거의 모든 언어에서 동일한 특정 부분의 컴퓨터 네트워크가 활성화된다는 것을 발견했다. 이러한 공유된 경로는 컴퓨터가 두 동사 형태 사이의 정확한 차이를 복구해야 할 때, 예를 들어 "I walk"와 "he walks"를 구별해야 할 때 가장 일관되게 나타났다. 이러한 순간에 모델은 문법적 계산을 수행하기 위해 공통의 공유된 회로에 의존하는 듯 보였다.
그러나 이러한 공유는 균일하게 일어나지 않는다. 연구진이 동사가 전혀 변하지 않는 언어들을 살펴보았을 때, 내부 경로는 매우 다르게 나타났다. 컴퓨터는 이러한 언어들을 위해 동일한 공유 기제를 사용하는 것처럼 보이지 않았다. 더욱 결정적인 것은 영어의 행동이었다. 영어는 3인칭 단수에서만 동사를 변화시키기 때문에, 컴퓨터의 내부 배선은 대부분의 시간 동안 동사가 심하게 변하는 언어들과는 다르게 보였다. 하지만 컴퓨터가 바로 그 특정 "he walks" 형태를 만들어내야 하는 순간, 내부 활동은 동사가 끊임없이 변하는 언어들에서 보이는 패턴과 거의 똑같이 변했다. 이는 컴퓨터가 언어 자체에 따라 공유 엔진을 사용하기로 결정하는 것이 아니라, 그 순간 수행하는 특정 문법적 연산에 따라 결정한다는 것을 시사한다.
연구는 또한 네트워크의 이러한 공유된 부분이 실제로 어떻게 작동하는지도 조사했다. 그들은 서로 다른 언어에서 일치를 담당하는 특정 구성 요소들이 문장의 동일한 부분에 주의를 기울인다는 것을 발견했다. 모델이 동사 형태를 결정할 때, 이 공유된 구성 요소들은 스페인어든 프랑스어든 혹은 영어의 특정 사례든 상관없이 주어 대명사와 동사 자체에 주의를 집중한다. 이는 이러한 중첩이 단순히 위치의 우연이 아니라, 공유된 부분이 주어에 대한 정보를 동사로 전달하는 동일한 역할을 실제로 수행하고 있음을 나타낸다.
궁극적으로, 이번 연구 결과는 다국어 컴퓨터가 단순히 모든 언어에 대한 별도의 규칙을 암기하는 것도, 하나의 경직된 시스템을 모든 것에 사용하는 것도 아님을 시사한다. 그들은 언어가 동일한 문법적 연산을 가시적으로 수행할 것을 요구할 때마다 공유된 내부 구조를 재사용하는 유연한 구조를 가지고 있는 것으로 보인다. 이러한 구조의 공유 정도는 언어의 정체성보다는, 해당 언어가 컴퓨터로 하여금 그 문법적 차이를 명시적으로 계산하고 표시하도록 강제하는지 여부에 달려 있다. 이는 인공지능이 인간 문법의 복잡하고 다양한 규칙을 다루는 법을 배울 때, 완전히 새로운 도구를 만드는 대신 기능적인 도구를 재사용함으로써 이해를 구축한다는 점을 보여주며, AI가 어떻게 학습하는지에 대한 더 명확한 그림을 제공한다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.