When word order matters: human brains represent sentence meaning differently from large language models

본 연구는 7T fMRI 데이터를 분석한 결과, 트랜스포머 기반의 대규모 언어 모델이 단어 순서를 고려하지 않는 모델보다 뇌의 언어 처리를 더 잘 모방하지만, 여전히 인간의 뇌가 문장 구조를 어떻게 표현하는지에 비해 문장 의미 표현 능력이 현저히 떨어지며 구조적 관계를 명시적으로 인코딩한 모델보다도 성능이 낮음을 보여줍니다.

핵심

이 논문은 **"인공지능 (LLM) 이 인간처럼 문장의 의미를 이해하는가?"**라는 아주 흥미로운 질문을 던지며 시작합니다. 연구자들은 뇌를 스캔하는 fMRI 기기를 이용해 사람들이 문장을 읽을 때 뇌가 어떻게 반응하는지 관찰하고, 이를 최신 인공지능 모델의 반응과 비교했습니다.

결론부터 말씀드리면, **"인공지능은 단어의 나열은 잘 기억하지만, 문장의 구조 (어떤 단어가 어떤 역할을 하는지) 를 인간처럼 깊이 있게 이해하지는 못한다"**는 것이 핵심입니다.

이 복잡한 연구를 마치 요리 대회에 비유해서 쉽게 설명해 드릴게요.

---

1. 실험의 설정: "재료"와 "요리법"의 차이

연구자들은 108 개의 문장을 만들었습니다. 이 문장들은 모두 **같은 재료 (단어)**를 사용하지만, **요리법 (문장 구조)**만 다르게 변형한 것이었습니다.

• 예시:
  • A 문장: "카메라맨이 장비로 감독을 데려왔다." (원래 의미)
  • B 문장: "감독이 장비로 카메라맨을 데려왔다." (주어와 목적어를 바꿈)

두 문장은 단어는 똑같지만, 누가 무엇을 했는지 (역할) 가 완전히 달라 의미가 정반대가 됩니다. 연구자들은 이 문장들을 사람들에게 보여주고 뇌를 스캔했습니다.

2. 세 명의 요리사 (모델) 비교

연구자들은 이 문장들의 의미를 분석하는 세 가지 '요리사 (모델)'를 비교했습니다.

1. 단순한 재료 섞기 (Mean 모델):

   • 이 요리사는 문장을 볼 때 단어만 보고 "아, 카메라맨, 장비, 감독이 있네"라고 생각합니다. 문장 순서나 역할은 무시하고 단어들을 그냥 섞어놓습니다.
   • 결과: 뇌의 반응과는 전혀 맞지 않았습니다. 인간은 단어 순서가 바뀌면 의미가 완전히 달라진다는 것을 알기 때문입니다.

2. 최신 AI 요리사 (Transformer/LLM):

   • GPT-4 같은 최신 AI 입니다. 문맥을 이해하는 능력이 뛰어나다고 알려져 있죠.
   • 결과: 단어 섞기 모델보다는 훨씬 나았지만, 여전히 실패했습니다. AI 는 "주어와 목적어가 바뀌었어도 단어는 같으니까 의미가 비슷할 거야"라고 생각했습니다. 하지만 인간의 뇌는 "아니야, 이건 완전히 다른 이야기야!"라고 반응했습니다. AI 는 문장의 구조적 뉘앙스를 놓치고 있었습니다.

3. 구조 분석가 요리사 (VerbNet-CN 모델):

   • 이 모델은 문장을 볼 때 "누가 (주어), 무엇을 (목적어), 어떻게 (동사) 했는지"를 **역할 (Role)**로 나누어 분석합니다.
   • 결과: 가장 훌륭했습니다. 인간의 뇌 반응과 가장 비슷하게 반응했습니다. 즉, 인간은 문장을 이해할 때 단순히 단어를 나열하는 게 아니라, **각 단어가 문장에서 어떤 역할을 하는지 (구조)**를 중요하게 여긴다는 뜻입니다.

3. 핵심 발견: "순서"가 생명입니다

이 연구의 가장 큰 깨달음은 **"단어의 의미만으로는 부족하고, 단어들이 어떻게 배치되었는지 (구조) 가 중요하다"**는 점입니다.

• 인간의 뇌: 문장을 읽을 때 "카메라맨이 감독을 데려왔다"와 "감독이 카메라맨을 데려왔다"를 완전히 다른 사건으로 인식합니다.
• 최신 AI: 두 문장이 가진 '단어들의 집합'이 비슷해서, 의미도 비슷할 것이라고 오해하는 경향이 있었습니다.

마치 레고 블록을 예로 들면, 인간은 "빨간 블록을 파란 블록 위에 올린 것"과 "파란 블록을 빨간 블록 위에 올린 것"을 완전히 다른 구조로 인식합니다. 하지만 최신 AI 는 "빨간 블록과 파란 블록이 다 있네? 비슷하겠지"라고 생각할 수 있다는 것입니다.

4. 왜 이 연구가 중요한가요?

지금까지 우리는 "AI 가 인간처럼 말을 잘하니까, 뇌도 AI 처럼 작동할 거야"라고 생각했습니다. 하지만 이 연구는 **"아니요, AI 는 아직 인간처럼 문장의 '뼈대 (구조)'를 이해하지 못합니다"**라고 경고합니다.

• 인간: 문장의 뼈대 (누가 무엇을 했는지) 를 통해 의미를 파악합니다.
• AI: 단어들의 확률적 연결을 통해 의미를 유추합니다.

이는 AI 가 인간처럼 사고하는 '진짜 지능'을 갖기 위해서는, 단순히 방대한 데이터를 읽는 것을 넘어 문장의 구조와 논리를 명확히 파악하는 방식을 배워야 함을 시사합니다.

요약

이 논문은 **"인간은 문장을 읽을 때 단어의 나열보다 '누가 무엇을 했는지'라는 구조를 훨씬 더 중요하게 생각한다"**는 것을 증명했습니다. 최신 AI 는 단어의 의미는 잘 알아내지만, 문장의 구조가 바뀌면 의미가 어떻게 변하는지를 인간만큼 민감하게 느끼지 못한다는 것이죠.

결국, 진짜 인간다운 언어 이해를 위해서는 AI 도 단어의 '역할'과 '구조'를 더 깊이 있게 이해해야 한다는 교훈을 줍니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 트랜스포머 (Transformer) 아키텍처 기반의 대규모 언어 모델 (LLM, 예: GPT-4, Llama 등) 은 인간과 유사한 언어 생성 능력을 보여주지만, 이들이 문장의 의미를 인코딩하고 처리하는 방식이 인간 뇌와 유사한지 여부는 여전히 불분명합니다.
• 기존 연구의 한계:
  • 기존 연구들은 주로 자연어 (naturalistic stimuli) 를 사용하여 뇌 활동과 언어 모델 간의 상관관계를 분석했으나, 이는 특정 언어학적 가설을 평가하기 위해 설계되지 않았습니다.
  • 단어 수준의 의미 (lexical semantics) 와 문장 구조 (sentence structure) 를 명확히 분리하여 분석하기 어렵습니다. 즉, 모델이 뇌 활동을 예측하는 것이 단어의 의미 때문인지, 아니면 문장 구조를 인간처럼 이해하기 때문인지 구분하기 모호합니다.
  • 기존 벡터 기반 모델과 그래프 기반 모델 간의 비교가 제한적이었습니다.
• 핵심 질문: 인간 뇌가 문장 구조를 어떻게 표현하는지, 그리고 트랜스포머 모델이 이를 인간과 유사하게 표현하는지 여부를 명확히 규명할 수 있는가?

2. 연구 방법론 (Methodology)

2.1 자극 (Stimuli) 설계

• 108 개의 수동 제작 문장: 어휘적 유사성 (lexical similarity) 을 통제하면서 문장 의미의 구조적 변화를 체계적으로 변형시킨 문장 세트를 제작했습니다.
• 블록 대각선 (Block Diagonal) 설계: 6 개의 하위 집합으로 나누어, 각 집합 내에서는 동일한 단어들을 사용하되 역할 (Subject, Object 등) 을 변경하거나 추가/삭제하는 방식으로 문장을 구성했습니다.
  • Swapped (교환): 주어와 목적어 등의 역할을 서로 바꾸어 문장 구조는 유지하되 의미가 완전히 달라지도록 설계 (예: "카메라맨이 장비를 감독에게 가져감" vs "감독이 카메라맨을 장비에게 가져감").
  • 이 설계를 통해 어휘적 유사성은 높게 유지하면서 문장 구조적 차이를 극대화하여, 모델이 구조에 얼마나 민감한지 테스트했습니다.

2.2 실험 절차

1. fMRI 실험: 30 명의 참가자가 108 개의 문장을 읽으며 7T fMRI 데이터를 수집했습니다. 문장 이해도를 확인하기 위해 무작위 질문을 삽입했습니다.
2. 행동 실험 (Behavioral Ratings): 502 명의 온라인 참가자가 문장 쌍의 의미 유사성을 1~7 점 척도로 평가했습니다.
3. 계산 모델 비교: 4 가지 주요 접근법의 모델을 사용하여 문장 표현을 생성하고 뇌 데이터 및 행동 데이터와 비교했습니다.
   • Mean-CN: 정적 단어 임베딩의 단순 평균 (문장 구조 무시, 어휘 정보만 반영).
   • Transformer: 5 가지 트랜스포머 모델 (ERNIE, AMRBart, SentBERT, DefSent, OpenAI) 의 평균 표현.
   • Graph (AMR-Smatch): 추상 의미 표현 (AMR) 그래프 기반의 구문 분석 모델.
   • Hybrid (VerbNet-CN): 동사 네트워크 (VerbNet) 기반의 의미 역할 (Semantic Roles) 태그와 ConceptNet 임베딩을 결합한 하이브리드 모델.

2.3 분석 기법

• 표현 유사성 분석 (Representational Similarity Analysis, RSA): 모델이 생성한 문장 쌍의 유사성 행렬 (RSA Matrix) 과 참가자의 뇌 활성화 패턴 (voxel activations) 또는 행동 평가 유사성 행렬 간의 부분 상관관계 (partial correlation) 를 계산했습니다.
• 통제 변수: 문장 길이, 최소 문장 길이, 시각적 유사성 등을 통제하여 순수한 의미 구조의 영향을 분리했습니다.

3. 주요 결과 (Key Results)

3.1 fMRI 결과 (뇌 표현과의 일치도)

• 전체 문장 쌍: 모든 모델이 뇌 활동과 양의 상관관계를 보였으나, 이는 대부분 어휘적 차이로 인한 것으로 해석됩니다.
• 블록 대각선 문장 쌍 (구조 민감성 테스트):
  • Mean-CN: 강한 음의 상관관계 (-0.204). 뇌가 문장 구조에 매우 민감함을 시사하며, 구조를 무시한 모델은 뇌와 정반대 방향으로 작동함을 보여줍니다.
  • Transformer: 약한 음의 상관관계 (-0.045). Mean-CN 보다는 낫지만 여전히 뇌 표현과 부정적으로 일치합니다. 즉, 트랜스포머는 단어 순서 변경 (swapped) 에 대해 인간 뇌처럼 민감하게 반응하지 못합니다.
  • VerbNet-CN (Hybrid): 양의 상관관계 (0.070). 구조적 차이를 명확히 구분하여 뇌 표현과 가장 잘 일치했습니다.
  • AMR-Smatch (Graph): VerbNet-CN 과 유사한 양의 상관관계 (0.047) 를 보였습니다.
• 뇌 영역: 언어 네트워크 (temporal lobe, frontal lobe 등) 에서 VerbNet-CN 과 AMR-Smatch 모델의 상관관계가 가장 높게 나타났으며, 특히 후두엽 (visual cortex) 이나 체감각 영역에서는 모델 간 차이가 작았습니다.

3.2 행동 실험 결과

• 인간 참가자의 유사성 평가와 모델 간의 상관관계는 fMRI 결과와 유사한 패턴을 보였으나, 상관 계수 값은 더 높았습니다 (노이즈 감소).
• Swapped 문장 쌍: 인간은 구조가 바뀐 문장을 매우 다르게 평가했으나, Mean-CN 과 Transformer 모델은 이를 여전히 유사하다고 평가하는 경향이 있었습니다. 반면 VerbNet-CN 과 AMR-Smatch 는 인간과 유사하게 구조적 변화를 감지했습니다.

3.3 트랜스포머 레이어 분석

• Llama 3 모델의 레이어별 분석에서 초기 레이어 (0-1) 는 Mean-CN 과 유사한 부정적 상관관계를 보였으며, 중간 레이어 (2-3) 에서 VerbNet-CN 과 유사한 양의 상관관계가 잠시 나타났으나, 후기 레이어로 갈수록 다시 감소하는 경향을 보였습니다. 이는 트랜스포머가 구조 정보를 인코딩할 수는 있으나, 인간 뇌와 유사한 통합된 의미 표현을 형성하지는 못함을 시사합니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 구조적 민감성의 규명: 본 연구는 어휘적 유사성을 통제했을 때, 인간 뇌가 문장 구조 (특히 의미 역할의 교환) 에 매우 민감하게 반응함을 fMRI 를 통해 직접 증명했습니다.
2. 트랜스포머 모델의 한계 지적: 최신 트랜스포머 모델 (LLM) 이 인간 수준의 언어 능력을 보이지만, 문장 의미의 표현 방식 (representation) 은 인간 뇌와 근본적으로 다르다는 것을 통계적으로 입증했습니다. 트랜스포머는 구조적 변화를 인간만큼 민감하게 포착하지 못합니다.
3. 하이브리드 및 그래프 모델의 우위: 의미 역할 (Semantic Roles) 을 명시적으로 인코딩하는 하이브리드 모델 (VerbNet-CN) 과 그래프 기반 모델 (AMR) 이 뇌 표현을 가장 잘 설명했습니다. 이는 뇌가 문장 의미를 단순한 단어의 집합이나 트랜스포머의 임베딩이 아닌, 구조화된 의미 역할의 관계로 처리할 가능성을 강력히 시사합니다.
4. 방법론적 혁신: 자연어 자극의 한계를 극복하고, 어휘와 구조를 분리하여 모델 성능을 평가하는 정교한 실험 설계 (Handcrafted stimuli) 와 RSA 분석 기법을 적용했습니다.

5. 결론 (Conclusion)

이 연구는 대규모 언어 모델이 인간과 유사한 언어 처리 능력을 갖추었음에도 불구하고, 문장 구조를 표현하는 방식에서는 인간 뇌와 상당한 차이가 있음을 보여줍니다. 인간 뇌는 단어의 순서와 의미 역할을 구조적으로 통합하여 문장 의미를 구성하는 반면, 트랜스포머 모델은 이러한 구조적 민감성이 부족합니다. 따라서 인간 뇌의 언어 처리 메커니즘을 더 잘 이해하고 모방하기 위해서는 단순한 트랜스포머 아키텍처를 넘어, 명시적인 의미 구조와 역할을 통합하는 모델 개발이 필요하다는 점을 시사합니다.