Blackbird Language Matrices (BLM): 언어 모델의 언어적 능력 조사를 위한 프레임워크에 대한 기술적 요약

이 논문은 지능 테스트인 '레이븐 점진적 행렬 (Raven Progressive Matrices, RPM)'에서 영감을 받아 개발된 새로운 언어 태스크인 **Blackbird Language Matrices (BLM)**와 이를 기반으로 구축된 데이터셋, 벤치마킹, 그리고 이를 통한 언어 모델 (LLM) 의 체계적 일반화 능력에 대한 실험 결과를 제시합니다.

1. 문제 정의 (Problem)

현재의 대규모 언어 모델 (LLM) 은 유창한 텍스트 생성과 복잡한 질문 답변이 가능하지만, 다음과 같은 근본적인 한계를 보입니다:

• 저자원 언어 처리의 어려움: 영어를 내부 피벗 언어로 의존하는 경향이 강함.
• 데이터 부족에 대한 취약성: 대량의 데이터가 없는 작업에서는 성능이 급격히 떨어짐.
• 비인간적 한계: 사실적 오류, 일관성 부족, 그리고 가장 중요한 추상화 (abstraction) 와 체계적 일반화 (systematic generalization) 능력의 부재.
• 기존 데이터셋의 한계: BLiMP 와 같은 최소 대비 쌍 (minimal pairs) 데이터셋은 이진 분류기로 해결 가능하여 복잡한 추론 과정을 드러내지 못하며, ARC 와 같은 시각적 테스트는 언어의 본질적 특성을 반영하지 못함.

따라서, LLM 이 언어의 규칙을 실제로 이해하고 있는지, 문법적 객체와 속성을 식별하는지, 그리고 문장 간 체계적인 패턴을 학습하는지 평가할 수 있는 구조화된 언어 퍼즐이 필요합니다.

2. 방법론 (Methodology)

2.1 Blackbird Language Matrices (BLM) 태스크

BLM 은 시각적 RPM 과 유사한 논리적 구조를 가진 언어 퍼즐입니다.

• 구조: 문맥 (Context) 으로 주어지는 7 개의 문장 시퀀스와 정답 (Answer) 을 고르는 8 개의 후보 문장으로 구성됩니다.
• 원리: 문맥의 문장들은 특정 언어적 규칙 (문법, 의미, 어순 등) 에 따라 생성된 패턴을 따릅니다. 모델은 이 패턴을 학습하여 8 번째 문장 (정답) 을 예측해야 합니다.
• 오답 설계: 오답들은 정답과 최소한의 차이 (contrastive) 를 가지며, 문법 오류, 의미 매핑 오류, 시퀀스 규칙 위반 등 다양한 유형의 실수를 포함하도록 설계되어 모델의 오류 원인을 정밀하게 분석할 수 있게 합니다.

2.2 데이터셋 구축 및 템플릿

BLM 은 7 가지 주요 언어 현상을 다루며, 다국어 (영어, 프랑스어, 이탈리아어, 루마니아어 등) 로 확장되었습니다.

1. 동사 교대 (Verb Alternations):
   • Spray/Load: "The truck was loaded with hay" vs "The hay was loaded on the truck" 와 같은 논리적 구조 매핑.
   • Causative (CoS) & Roll: 상태 변화 동사 (break, open) 와 운동 방식 동사 (roll) 의 타동사/자동사 교대.
   • Object-drop: 목적어 생략 교대 (paint the door vs paint).
2. 구조 의존적 현상 (Structure-Dependent Phenomena):
   • 주어 - 동사 일치 (Agreement): 중간에 개입하는 구 (attractors) 가 있어도 문법적 수 일치 규칙을 유지해야 함.
   • 시제 일관성 (Sequence of Tense): 문장 간의 시제 조화 규칙.
   • 혼합 (Mixture): 일치 규칙과 시제 규칙이 결합된 복잡한 패턴.

데이터 생성 파이프라인:

• 시드 데이터 (Seed): 자연어 코퍼스나 실험적 자극에서 수동으로 추출.
• 증강 (Augmentation): 마스킹 모델 (DistilBERT, RoBERTa) 이나 LLM (GPT-4) 을 사용하여 어휘를 변형하고 문장을 확장하되, 언어적 타당성을 수동으로 검증 (Human Validation) 함.
• 레벨: Type I (어휘 고정), Type II (제한적 어휘 변형), Type III (완전 무작위 어휘 변형) 으로 난이도와 일반화 능력을 단계별로 테스트.

2.3 실험 설계

• 기저 모델 (Baselines): Electra (Encoder) 와 OpenAI-GPT (Decoder) 의 임베딩을 평균화하여 문장 표현을 생성하고, 이를 FFNN(Feed-Forward Neural Network) 이나 CNN 에 입력하여 정답을 예측.
• 구조 탐지 (Structure Detection): VAE(변분 오토인코더) 기반 아키텍처를 사용하여 문장 임베딩을 압축된 잠재 공간 (latent space) 으로 변환. 이를 통해 문장 내 '조 (chunk)' 구조와 문법적 속성이 모델 내부에 인코딩되었는지 분석.
• 체계성 탐지 (Systematicity): 2 단계 VAE를 도입. 첫 번째 단계는 문장 수준에서 구조를 압축하고, 두 번째 단계는 문장 시퀀스의 체계적 관계를 학습하여 정답을 도출.

3. 주요 기여 (Key Contributions)

1. 새로운 평가 프레임워크: 단순한 이진 분류가 아닌, 언어적 규칙과 논리적 추론을 동시에 요구하는 BLM 태스크를 제안.
2. 다층적 분석 가능성: 문장 내부 구조, 문장 간 시퀀스, 그리고 후보 정답 간의 미세한 차이를 모두 분석할 수 있는 풍부한 데이터셋 제공.
3. 내부 표현의 가시화: LLM 이 토큰 수준을 넘어 '구 (phrase)'나 '문법적 객체'와 같은 고차원 구조를 내부 표현으로 학습하고 있음을 실험적으로 증명.
4. 체계적 일반화 검증: 모델이 단순한 암기가 아닌, 문장 간 규칙의 체계적 패턴을 추출하여 새로운 어휘나 구조에 적용할 수 있는지 검증.

4. 실험 결과 (Results)

• 태스크 해결 가능성: 간단한 기저 모델 (FFNN) 로도 BLM 태스크를 일정 수준 (F1 > 0.4~0.9) 해결 가능. 이는 태스크가 학습 가능함을 의미.
• 구조 인식: VAE 실험 결과, LLM 의 임베딩에는 문장 내 '조 (chunk)' 구조와 문법적 속성 (주어 - 동사 일치, 시제 등) 이 명확하게 인코딩되어 있음이 확인됨. 잠재 공간의 클러스터링 분석을 통해 구조적 패턴이 분리되어 표현됨을 입증.
• 체계성 학습:
  • 기저 모델: 어휘 변형 (Type III) 이 심해질수록 성능이 저하되거나, 문법 규칙은 학습했으나 시퀀스 규칙 (퍼즐의 논리) 을 학습하지 못해 특정 오류 (Sequence errors) 가 빈번히 발생.
  • 2 단계 VAE: 문장 구조를 명시적으로 압축하여 학습한 모델은 Type III 데이터에서도 성능이 향상됨. 이는 모델이 어휘적 변형을 넘어 **체계적인 규칙 (systematic rules)**을 학습했음을 시사.
• 오류 분석: 모델은 주로 문법적 규칙은 잘 따르지만, 문맥적 논리나 시퀀스 패턴을 위반하는 오류를 범함. 이는 LLM 이 언어의 '형식적 지식'은 갖추고 있으나, '기능적 추론'에는 약점이 있음을 보여줌.

5. 의의 및 결론 (Significance)

• LLM 의 언어 능력 재평가: BLM 은 LLM 이 인간처럼 추상화와 일반화를 수행하는지, 아니면 통계적 패턴 매칭에 의존하는지를 구분하는 강력한 도구입니다.
• 설명 가능성 (Explainability): curated(선별된) 이고 구조화된 데이터셋을 통해 모델이 왜 특정 오답을 선택했는지, 어떤 규칙을 잘못 학습했는지를 심층적으로 분석할 수 있습니다.
• 인공지능 연구의 방향성: 단순한 성능 벤치마크를 넘어, 기계 지능의 본질인 '유연한 추론'과 '체계적 일반화' 능력을 측정하는 새로운 표준을 제시합니다.
• 다국어 및 다과제 연구: 여러 언어와 다양한 언어 현상에 적용 가능하여, 보편적인 언어 능력과 언어별 특이성을 비교 연구할 수 있는 기반을 마련했습니다.

결론적으로, Blackbird Language Matrices 는 LLM 이 언어를 얼마나 깊이 이해하고 있는지, 그리고 인간과 유사한 추론 능력을 갖추기 위해 어떤 구조적 학습이 필요한지를 규명하는 데 필수적인 프레임워크입니다.