Beyond next-word prediction: hierarchical linguistic composition drives LLM-brain alignment in time

예측성이 일치된 문장에서 언어적 특징을 조작함으로써 본 연구는 계층적 언어 구성, 특히 구문 구조와 연관적 의미가 LLM 표현과 인간 뇌 활동 간의 정렬을 크게 주도하는 반면, 구성적 의미는 인간 뇌에서 더 독특하게 부호화되는 것으로 나타났음을 보여준다.

핵심

당신의 뇌와 초지능 컴퓨터(대형 언어 모델, 즉 LLM) 가 모두 구두로 읽히는 이야기를 듣고 있다고 상상해 보세요. 과학자들은 인간이 이야기를 들을 때 뇌파가 컴퓨터가 수행하는 내부 계산과 유사한 리듬으로 "춤을 춘다"는 점을 발견했습니다. 하지만 왜 그럴까요? 단순히 뇌와 컴퓨터 모두 다음에 어떤 단어가 올지 예측하는 데 능하기 때문인가요 (문장을 완성하는 것처럼), 아니면 언어의 구조를 이해하는 방식에 더 깊은 무언가가 있는 걸까요?

이 논문은 뇌와 컴퓨터를 같은 요리를 재현하려는 두 명의 다른 셰프로 비유합니다. 연구자들은 다음과 같은 질문을 던졌습니다: 두 존재가 재료를 잘 알고 있기 때문에 (통계적 패턴) 같은 레시피를 따르는 것일까요, 아니면 실제로 조리 과정 (계층적 구성) 을 같은 방식으로 이해하고 있는 것일까요?

이를 규명하기 위해 연구팀은 인간 자원자들 (EEG 모자로 뇌파를 기록하면서) 과 GPT-2 라는 컴퓨터 모델에게 문장을 제시했습니다. 연구팀은 단어의 "예측 가능성"이 동일하게 유지되도록 문장을 세 가지 특정 방식으로 정교하게 변형시켰습니다. 이렇게 함으로써 유일한 차이점은 의미의 유형이 되도록 했습니다:

1. "문법 골격" (구문 구조): 그들은 명확하고 조직화된 문법을 가진 문장을 분석했습니다.

   • 결과: 문장이 강력한 문법적 구조를 가질 때, 컴퓨터의 내부 "생각"과 인간의 뇌파가 더욱 잘 일치했습니다. 마치 두 셰프가 야채를 썰 때 동일한 특정 칼질 기술을 사용하고 있다는 것을 발견한 것과 같습니다.

2. "구성 요소 의미" (구성적 의미론): 이는 구의 의미가 그 구성 요소들의 의미에서 엄격하게 도출되는 경우입니다 (예: "빨간 차"는 빨간색인 차를 의미함).

   • 결과: 놀랍게도, 문장이 이러한 구성 요소 의미에 크게 의존할 때 컴퓨터와 뇌 사이의 일치도는 떨어졌습니다. 마치 인간 셰프가 컴퓨터가 전혀 갖지 못한 비밀 가전 기술을 사용하기 시작한 것처럼 보였습니다. 인간의 뇌는 이러한 특정 유형의 의미를 컴퓨터가 완벽하게 재현하지 못하는 독특한 방식으로 처리하는 것으로 보입니다.

3. "단어 연상" (연상적 의미론): 이는 단어들이 느슨한 연결이나 습관에 의해 연결되는 경우입니다 (예: "빵"을 들으면 "버터"를 연상함).

   • 결과: 이러한 연상을 변경해도 일치도는 전혀 변하지 않았습니다. 컴퓨터와 뇌는 이미 이러한 느슨한 연결에 관해 완전히 동일한 페이지에 있었습니다. 마치 두 셰프 모두 특별한 지시 없이도 "소금"과 "후추"가 함께 간다는 것을 자동으로 알고 있는 것과 같습니다.

핵심 결론
이 연구는 인간 뇌와 인공지능 간의 연결이 단순히 다음 단어를 예측하는 것에 그치지 않음을 보여줍니다. 컴퓨터와 뇌는 문법과 단어 연상에 관해서는 실제로 "같은 언어"를 사용하고 있습니다. 그러나 작은 부분들로부터 복잡한 의미를 구성하는 데 있어서는, 인간의 뇌가 컴퓨터가 아직 완전히 마스터하지 못한 독특하고 특별한 방식을 가지고 있습니다. 컴퓨터는 우리의 습관과 규칙을 훌륭하게 모방하지만, 우리의 뇌는 의미가 구성되는 방식에 있어 기계가 아직 따라 배우고 있는 독특한 flair 를 지니고 있습니다.

기술 요약

기술적 요약: 다음 단어 예측을 넘어

문제 제기
대규모 언어 모델 (LLM) 의 내부 표현이 언어 이해 과정에서 인간의 신경 활동과 상관관계를 가진다는 것이 관찰되었습니다. 그러나 이 "LLM-뇌 정렬"을 이끄는 근본적인 메커니즘은 여전히 논쟁의 대상입니다. 한 가지 지배적인 가설은 이러한 정렬이 두 시스템에 내재된 통계적 패턴 (예: 예측 가능성) 에 대한 공유된 민감성에서 비롯된 것에 불과하다고 주장합니다. 반면, 다른 관점은 이 정렬이 공유된 구조화된 언어 표현의 출현을 반영한다고 봅니다. 본 연구는 인간 언어의 근본적인 속성으로 간주되는 "계층적 언어 구성"이 단순한 통계적 예측 가능성과 구별되는 이 정렬의 구체적인 동인인지 조사합니다.

방법론
언어 구조를 통계적 요인으로부터 분리하기 위해, 저자들은 GPT2-XL 과 인간 참가자를 모두 포함하는 통제된 실험 설계를 사용했습니다:

• 자극 조작: 영어 문장을 구문, 구성적 의미론, 연상적 의미론이라는 세 가지 언어 차원에 걸쳐 체계적으로 조작했습니다.
• 예측 가능성 매칭: 핵심적으로, 언어적으로 조작된 자극들은 예측 가능성 측면에서 일치시켰습니다. 이 통제를 통해 연구자들은 통계적 확률의 효과로부터 언어 구조의 효과를 분리해 낼 수 있었습니다.
• 데이터 수집: 인간 참가자들은 이러한 문장을 처리하는 동안 뇌파 (EEG) 실험을 받았습니다. 동시에 GPT2-XL 의 은닉층에서 단어 단위로 문맥 임베딩을 추출했습니다.
• 분석: 연구는 선형 인코딩 모델을 사용하여 LLM-EEG 정렬 점수를 계산했습니다. 예측 가능성이 일치된 조건 간에 이러한 점수를 비교함으로써, 저자들은 특정 언어 조작이 인간의 뇌 활동과 모델 표현 간의 정렬을 어떻게 조절하는지 평가했습니다.

주요 기여 및 결과
이 연구는 언어적 특징이 어떻게 LLM-뇌 정렬을 조절하는지에 관한 세 가지 뚜렷한 패턴을 확인했으며, 이러한 효과가 예측 가능성을 넘어선다는 것을 입증했습니다:

1. 구문 구조: 구문 구조를 가진 단어 시퀀스에 대해 정렬이 증가합니다. 이는 LLM 과 인간 뇌 모두 구문 계층을 유사한 방식으로 인코딩함을 시사합니다.
2. 구성적 의미론: 구성적 의미론이 관련된 문장에 대해 정렬이 감소합니다. 이는 구성적 의미의 인코딩이 인간 뇌에 더 고유하며 LLM 의 내부 표현과는 덜 공유됨을 나타냅니다.
3. 연상적 의미론: 이 차원은 정렬을 유의미하게 조절하지 않으며, 이는 연상적 의미 정보가 LLM 과 인간 뇌 모두에 의해 유사하게 인코딩됨을 의미합니다.

의의
본 논문은 계층적 언어 구성이 통계적 패턴 매칭의 부산물에 불과하다는 관점을 도전하며, LLM-뇌 정렬을 이끄는 결정적 요인이라고 주장합니다. 결과는 이러한 시스템들이 언어를 처리하는 방식에서 미묘한 차이를 보여줍니다. 즉, LLM 과 인간 뇌는 연상적 의미와 구문 구조의 특정 측면에 대한 표현을 공유하지만, 인간 뇌는 GPT2-XL 모델에서 완전히 반영되지 않는 구성적 의미 인코딩에 대한 고유한 능력을 지니고 있습니다. 이 작업은 LLM-뇌 정렬이 일반적인 통계적 공발생이 아닌 특정 언어적 속성에 의해 주도된다는 경험적 증거를 제공합니다.