Different types of syntactic agreement recruit the same units within large language models

이 논문은 대규모 언어 모델 (LLM) 내부에서 문법적 지식이 어떻게 표현되고 구현되는지, 특히 다양한 구문 현상들이 모델의 동일한 구성 요소를 공유하는지 아니면 별개의 구성 요소를 사용하는지 규명하기 위한 연구입니다. 인지 신경과학의 '기능적 국소화 (functional localization)' 접근법을 차용하여, LLM 의 특정 문법 규칙 처리에 관여하는 뉴런 (단위) 을 식별하고 그 기능을 분석했습니다.

다음은 이 논문의 기술적 요약입니다.

1. 연구 문제 (Problem)

LLM 은 문법적으로 올바른 문장과 그렇지 않은 문장을 구별할 수 있는 능력이 입증되었지만, 이러한 문법 지식이 모델 내부의 어떤 구조적 메커니즘으로 구현되는지는 여전히 불분명합니다.

• 핵심 질문: 특정 문법 규칙을 적용할 때 모델의 동일한 하위 집합이 항상 활성화되는가? 서로 다른 문법 규칙 (예: 주어 - 동사 일치, 대명사 일치, 한정사 - 명사 일치 등) 은 모델의 동일한 단위들을 공유하는가, 아니면 완전히 별개의 부분에서 처리되는가?
• 다국어적 관점: 이러한 처리 메커니즘이 서로 다른 언어 간에 어떻게 공유되거나 분리되는가?

2. 방법론 (Methodology)

저자들은 인지 신경과학에서 뇌의 특정 기능을 국소화하는 방식을 LLM 에 적용했습니다.

• 모델 및 데이터:
  • 7 개의 오픈 가중치 LLM(GPT-2 XL, Llama-3.2, Falcon3, Phi-4, Gemma-3, DeepSeek, Mistral 등) 을 사용했습니다.
  • 67 가지의 영어 구문 현상을 포함하는 BLiMP 벤치마크를 주된 데이터로 사용했으며, 러시아어 (RuBLiMP), 중국어 (SLING), 그리고 57 개 언어의 MultiBLiMP 벤치마크를 통해 다국어 분석을 수행했습니다.
• 기능적 국소화 (Functional Localization):
  • 문법적인 문장과 문법적으로 틀린 문장 (최소 쌍, minimal pairs) 사이에서 모델의 활성화 (activation) 차이를 측정했습니다.
  • 각 현상별로 문법/비문법 문장 간의 활성화 크기 (magnitude) 차이를 가장 크게 보이는 **상위 1% 의 단위 (units)**를 식별했습니다 (Welch t-test 사용).
  • 이러한 단위가 해당 문법 현상에 대해 일관되게 반응하는지 2-fold 교차 검증을 통해 확인했습니다.
• 인과적 검증 (Causal Verification):
  • 식별된 상위 단위를 **제거 (ablation)**하거나 값을 0 으로 설정하여 모델의 문법성 판단 정확도가 얼마나 떨어지는지 측정했습니다. 이는 해당 단위가 문법 처리에 인과적으로 필수적인지 확인하는 과정입니다.
• 중첩 분석 (Overlap Analysis):
  • 서로 다른 문법 현상 간에 식별된 단위 집합이 얼마나 겹치는지 (Overlap) 분석하여, 특정 문법 범주 (예: 일치 관계) 가 공유 자원을 사용하는지 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 문법 현상 반응 단위 식별: 67 가지 구문 현상 각각에 대해 일관되게 반응하고, 제거 시 모델 성능을 저하시키는 인과적 단위를 7 개의 모델에서 성공적으로 식별했습니다.
2. 일치 (Agreement) 의 기능적 범주화: 영어, 러시아어, 중국어에서 주어 - 동사, 대명사, 한정사 - 명사 등 서로 다른 유형의 '일치 (agreement)' 현상들이 모델 내에서 겹치는 단위 집합을 공유한다는 것을 발견했습니다. 이는 '일치'가 LLM 의 표현 공간에서 의미 있는 기능적 범주임을 시사합니다.
3. 언어 간 유사성과 단위 공유: 다국어 모델에서 언어 간의 구문적 유사성이 높을수록 (예: 영어와 러시아어 vs 영어와 중국어), 일치 관련 단위들의 중첩도가 높아진다는 것을 57 개 언어에 걸친 분석을 통해 입증했습니다.

4. 주요 결과 (Results)

• 단위 일관성: 동일한 문법 현상의 다른 문장实例들 사이에서 식별된 단위들의 중첩률은 매우 높았습니다 (평균 63%~95%). 이는 단위가 특정 문법 규칙에 대해 안정적으로 반응함을 의미합니다.
• 인과적 중요성: 식별된 상위 1% 단위를 제거했을 때, 무작위 단위 제거에 비해 문법성 판단 정확도가 평균 7.61% 더 크게 감소했습니다 (무작위 제거 시 1.68% 감소). 이는 해당 단위들이 문법 처리에 필수적임을 보여줍니다.
• 일치 현상의 공유 자원:
  • BLiMP 의 12 개 범주 중 일치 (Agreement) 관련 범주 (주어 - 동사, 대명사, 한정사 - 명사) 는 범주 내 단위 중첩률이 매우 높았습니다 (예: 한정사 - 명사 일치 범주 내 68.91%).
  • 반면, 다른 범주 (예: 생략, 논증 구조) 는 범주 내 중첩률이 낮거나 범주 간 중첩률과 차이가 크지 않았습니다.
  • 결론: 서로 다른 유형의 일치 현상들은 LLM 내에서 공통된 하위 네트워크 (기능적 기저) 를 공유합니다.
• 다국어적 확장:
  • 러시아어와 중국어에서도 일치 현상들이 범주 내에서 높은 단위 중첩을 보였습니다.
  • 언어 간 중첩: 영어와 러시아어 (구문적 유사성 높음) 간의 일치 단위 중첩률은 영어와 중국어 (구문적 유사성 낮음) 간 중첩률보다 유의미하게 높았습니다.
  • 57 개 언어 분석: 57 개 언어 쌍에 대한 분석 결과, 언어 간의 구문적 유사성 (syntactic similarity) 이 높을수록 주어 - 동사 일치 관련 단위들의 중첩도가 선형적으로 증가하는 상관관계가 확인되었습니다 (Spearman 상관 계수 0.46).

5. 의의 및 시사점 (Significance)

• LLM 의 문법 구조 이해: LLM 이 문법 처리를 위해 완전히 분산된 (distributed) 방식만 사용하는 것이 아니라, 특정 문법 규칙 (특히 일치 관계) 에 대해 기능적으로 특화된 (functionally specific) 단위 집합을 활용한다는 것을 보여줍니다. 이는 LLM 이 인간과 유사하게 문법적 범주를 조직화하고 있음을 시사합니다.
• 인지 신경과학과의 연결: 뇌의 기능적 국소화 연구와 유사한 패턴이 LLM 에서 발견됨으로써, LLM 이 인간 언어 처리의 신경 조직에 대한 가설을 생성하는 강력한 도구로 활용될 수 있음을 보여줍니다.
• 다국어 모델의 조직 원리: 다국어 모델은 단순히 각 언어를 별개로 학습하는 것이 아니라, 언어 간의 구문적 유사성에 따라 표현 공간을 조직화하여 관련 언어 간에 공유 자원을 효율적으로 활용함을 시사합니다.
• 한계 및 향후 연구: 현재 연구는 주로 문법/비문법 문장 비교에 의존하며, 분산된 표현이나 의미 - 문법 분리 문제 등을 완전히 포착하지 못할 수 있습니다. 향후 더 다양한 구문 현상과 언어로 연구 범위를 확장할 필요가 있습니다.

이 논문은 LLM 의 내부 작동 원리를 '기능적 국소화'라는 렌즈를 통해 해석함으로써, 기계가 문법을 어떻게 '이해'하고 처리하는지에 대한 새로운 통찰을 제공합니다.