Diverging Transformer Predictions for Human Sentence Processing: A Comprehensive Analysis of Agreement Attraction Effects
본 논문은 다양한 트랜스포머 모델이 인간 문장 처리의 동의어 유인 현상을 설명하는지 조사한 결과, 전치사구 구성에서는 인간의 읽기 시간 데이터와 일치하지만 관계절 구성에서는 예측이 크게 불일치하여 현재 트랜스포머 모델이 인간의 형태통사적 처리를 설명하지 못한다고 결론지었습니다.
연구자들은 최신 AI 모델 (트랜스포머) 이 인간의 뇌처럼 문장을 처리하는지 확인하기 위해 **'동일성 유혹 (Agreement Attraction)'**이라는 재미있는 현상을 실험했습니다.
1. 실험의 핵심: "주인공이 누구야?"
인간은 문장에서 문법적으로 맞지 않는 단어를 볼 때, 그 사이사이에 끼어 있는 다른 단어를 보고 혼란을 겪습니다.
예시: "The key to the cabinetswere rusty." (키가 녹슬었다)
진짜 주인공: '키 (Key, 단수)'
방해꾼: '캐비닛 (Cabinets, 복수)'
문법 오류: 동사 'were(복수)'는 '키'와 맞지 않습니다.
인간의 반응: 하지만 인간은 '캐비닛'이라는 복수형 단어가 눈에 띄어서, "아, 복수형이니까 'were'가 맞겠지?"라고 잠깐 속아 넘어가거나 처리 속도가 빨라지는 현상을 보입니다. 마치 방해꾼이 주인공을 가리고 길을 잘못 안내하는 것과 같습니다.
연구자들은 AI 가 이 인간의 '속임수'를 똑같이 겪는지 확인했습니다.
🧪 두 가지 실험: "편의점" vs "미로"
연구팀은 AI 를 두 가지 다른 문장 구조로 테스트했습니다.
1 실험: 편의점 (전치사구 구조)
상황: "The slogan on the poster(s) was/were..." (포스터의 슬로건이...)
결과:AI 는 인간과 거의 똑같이 행동했습니다!
AI 도 방해꾼 ('포스터들') 을 보고 혼란을 겪으며, 인간처럼 문법 오류가 있을 때만 속아 넘어가는 패턴을 보였습니다.
비유: 마치 편의점에서 물건을 고르는 것처럼, AI 는 익숙하고 단순한 문장에서는 인간처럼 똑똑하게 행동했습니다.
2 실험: 복잡한 미로 (관계절 구조)
상황: "The marine(s) who the officer(s) want(s) to promote..." (장교가 승진시키고 싶어 하는 해병대...)
결과:AI 는 완전히 혼란스러워졌습니다 (Chaos).
AI 모델들마다 결과가 제각각이었습니다. 어떤 모델은 인간처럼 속았고, 어떤 모델은 전혀 다른 반응을 보였습니다.
심지어 인간은 절대 하지 않는 문법적으로 틀린 반응을 하기도 했습니다.
비유: 이제 복잡한 미로에 들어간 것입니다. AI 는 길을 잃고, 때로는 벽을 뚫고 가거나, 엉뚱한 방향으로 뛰쳐나가는 등 예측 불가능한 행동을 했습니다.
🔍 연구의 결론: "AI 는 아직 인간 뇌가 아니다"
이 연구는 다음과 같은 중요한 사실을 발견했습니다.
단순한 건 잘하지만, 복잡한 건 못한다: AI 는 쉬운 문장 (편의점) 에서는 인간처럼 보이지만, 복잡한 문장 (미로) 에서는 인간의 심리나 문법 처리 방식을 제대로 따라 하지 못합니다.
모델마다 천차만별: 같은 'AI'라고 해서 다 같은 게 아닙니다. 어떤 모델은 인간을 닮았고, 어떤 모델은 전혀 달랐습니다. 이는 AI 가 인간처럼 '보편적인 언어 능력'을 가진 것이 아니라, 단순히 훈련 데이터에 있는 실수 패턴을 외운 것일 수 있음을 시사합니다.
경고: "이 AI 가 인간처럼 말하니까, 인간의 뇌도 이렇게 작동한다"라고 결론 내리는 것은 위험합니다. 단순한 예시 하나만으로 AI 의 능력을 과대평가하면 안 됩니다.
💡 한 줄 요약
"AI 는 쉬운 문장에서는 인간처럼 척척하지만, 복잡한 문장에서는 인간처럼 '혼란'을 겪는 법을 아직 배우지 못했습니다. 따라서 AI 가 인간의 뇌를 완벽하게 모방했다고 보기에는 아직 멀었습니다."
이 연구는 AI 개발자와 언어학자들에게 **"단순한 테스트만으로는 AI 의 진정한 능력을 알 수 없으니, 더 다양하고 까다로운 상황 (미로) 에서도 테스트해야 한다"**고 경고하고 있습니다.
논문 요약: 인간 문장 처리에 대한 트랜스포머 예측의 불일치: 일치 유인 효과 (Agreement Attraction) 에 대한 종합 분석
이 논문은 자연어 처리 (NLP) 분야에서 표준이 된 트랜스포머 (Transformer) 기반 언어 모델이 인간의 문장 처리 인지 과정을 얼마나 잘 반영하는지 평가하기 위해 수행된 연구입니다. 저자들은 '일치 유인 효과 (Agreement Attraction)'라는 심리언어학적 현상을 중심으로, 다양한 크기와 아키텍처를 가진 11 개의 오토레거시 (autoregressive) 트랜스포머 모델을 분석했습니다.
1. 연구 배경 및 문제 제기
배경: 트랜스포머 아키텍처는 현재 최첨단 대규모 언어 모델 (LLM) 의 기반이며, 인간 언어 처리의 인지 모델로서 가능성을 보여주고 있습니다. 이전 연구들은 LSTM 과 같은 신경망 모델이 인간의 읽기 시간 데이터를 잘 예측한다고 보고했습니다.
문제: 기존 트랜스포머 연구들은 다음과 같은 한계가 있었습니다:
제한된 구문: 주로 전치사구 (Prepositional Phrase) 구조만 테스트했고, 객체 추출 관계절 (Object-Extracted Relative Clause) 과 같은 다른 구조는 테스트되지 않았습니다.
불완전한 조건: 유인 효과가 관찰되는 조건 (단수 주어 + 부정문) 만 테스트하고, 효과가 나타나지 않아야 하는 조건 (복수 주어 또는 문법적 문장) 을 충분히 검증하지 않았습니다.
모델 일반화 부족: 주로 GPT-2 등 단일 모델에 의존하여 트랜스포머 전체의 일반화 가능성을 입증하지 못했습니다.
인지적 타당성: 양방향성 (Bi-directional) 을 가진 BERT 계열 모델은 인간이 좌에서 우로 문장을 처리하는 방식과 달라 인지 모델로 적합하지 않을 수 있습니다.
2. 방법론 (Methodology)
실험 설계: 인간 심리언어학 연구 (Wagers et al., 2009) 의 데이터를 기준으로 두 가지 실험을 수행했습니다.
실험 1 (전치사구 구조): "The key to the cabinets were rusty"와 같이 전치사구 내의 명사가 동사의 수 (단수/복수) 와 일치하지 않을 때 발생하는 유인 효과.
실험 2 (객체 추출 관계절 구조): "The marine(s) who the officer wants to promote"와 같이 관계절 내의 명사가 주절 동사의 수와 일치하지 않을 때 발생하는 효과.
조건: 주어의 수 (단수/복수), 문법성 (문법적/비문법적), 유인 명사 존재 여부 (2x2x2 설계) 를 조작하여 총 8 가지 조건을 테스트했습니다.
모델 선택: 124M 에서 4B 파라미터 사이의 11 개의 오토레거시 트랜스포머 모델 (GPT, GPT-2, Bloom, XGLM, Gemma-3 등) 을 사용했습니다.
측정 지표:서프라이설 (Surprisal) 이론을 적용했습니다. 언어 모델이 다음 단어를 예측할 때의 음의 로그 확률 (-log P) 을 계산하여, 이를 인간의 읽기 시간 (Reading Time) 과 연관 지었습니다.
분석: 개별 모델의 t-검정과 모델 간 편차를 분석하는 선형 회귀 모델을 사용하여 인간 데이터와의 일치도를 평가했습니다.
3. 주요 결과 (Key Results)
연구 결과는 구문 구조에 따라 극명하게 갈렸습니다.
실험 1: 전치사구 구조 (Prepositional Phrases)
결과: 트랜스포머 모델들의 예측은 인간 데이터와 높은 일관성을 보였습니다.
세부 사항:
인간과 마찬가지로, 단수 주어 + 비문법적 동사 조건에서 유인 효과 (복수 명사 'cabinets'가 동사 처리를 용이하게 함) 가 명확하게 관찰되었습니다.
대부분의 모델이 인간이 보이지 않는 조건 (예: 복수 주어 조건에서의 유인 효과) 에서도 유인 효과를 예측하지 않아, 인간 처리 패턴을 잘 포착했습니다.
모델 간 예측이 매우 유사하게 나타났습니다.
실험 2: 객체 추출 관계절 구조 (Object-Extracted Relative Clauses)
결과: 모델들의 예측은 인간 데이터와 심각하게 불일치했으며, 모델 간에도 예측이 크게 갈렸습니다.
세부 사항:
인간은 특정 조건 (단수 주어 + 비문법적 동사) 에서만 유인 효과를 보이지만, 트랜스포머 모델들은 다양한 조건에서 인간에게 관찰되지 않는 유인 효과를 예측했습니다.
특히 문법적인 문장이나 복수 주어 조건에서도 유인 효과가 발생하는 등, 이론적으로 설명 불가능한 패턴을 보였습니다.
어떤 모델도 인간이 보이는 비대칭적 간섭 패턴 (Asymmetric Interference Patterns) 을 성공적으로 재현하지 못했습니다.
모델 크기가 커질수록 인간 데이터와의 괴리가 더 커지는 경향도 관찰되었습니다 (Gemma-3 모델이 특히 큰 편차를 보임).
4. 기여 및 의의 (Contributions & Significance)
트랜스포머의 인지적 한계 규명: 트랜스포머 모델이 특정 구문 (전치사구) 에서는 인간 처리를 잘 모방하지만, 더 복잡한 구문 (관계절) 에서는 실패함을 보여줌으로써, 현재 트랜스포머가 인간의 형태구문 처리 (morphosyntactic processing) 를 포괄적으로 설명하지 못함을 증명했습니다.
방법론적 경고: 개별 모델이나 단일 구문 구조의 결과만으로 트랜스포머 전체의 인지적 능력을 일반화하는 것은 위험하다고 경고합니다.
종합적 평가 프레임워크 제안: 향후 연구에서는 다음과 같은 엄격한 실험 설계를 요구합니다:
현상의 다양한 구문 실현 (Syntactic Realizations) 과 통제 조건을 포괄할 것.
아키텍처, 학습 방식, 크기가 다른 다양한 언어 모델을 평가할 것.
다수준의 원칙 있는 통계 분석을 수행할 것.
5. 결론
이 연구는 트랜스포머 기반 LLM 이 인간 언어 처리의 인지 모델로서 여전히 논쟁의 여지가 있음을 시사합니다. 모델이 인간과 유사한 오류 패턴을 보이는 것은 인간과 유사한 인지적 편향 (Inductive Bias) 을 갖기 때문이라기보다, 학습 데이터에 존재하는 표면적 오류 패턴을 모방했을 가능성이 높습니다. 특히 복잡한 구문 처리에서 모델 간 예측이 분열되고 인간 데이터와 불일치한다는 사실은, 트랜스포머가 인간 언어 처리의 본질을 완전히 설명하지 못함을 의미합니다.