Implicit Representations of Grammaticality in Language Models

기술적 요약: 언어 모델 내 문법성의 암시적 표현

문제 제기
인간 언어에서 문법성(구문 규칙 준수) 과 가능성(자연어 텍스트 내 통계적 빈도) 은 구별되는 개념입니다. 문법적이지만 매우 가능성이 낮은 문장 (복잡한 의미) 이나, 문법적이지 않지만 가능성이 높은 문장 (일반적인 오류) 이 존재할 수 있습니다. 사전 훈련된 언어 모델 (LM) 은 코퍼스 가능성을 최대화하도록 훈련된 확률적 시스템입니다. 최소 쌍 과제 (문법적 문장과 최소한으로 변형된 비문법적 문장을 구분하는 과제) 에서는 잘 수행되지만, 원시 문자열 확률은 일반적으로 문법적 문장과 비문법적 문장을 명확하게 구분하지 못하는 경우가 많습니다. 이는 구문적 정확성을 의미적 타당성과 빈도와 혼동하기 때문입니다.

이 논문이 다루는 핵심 질문은, LM 이 오직 가능성 (likelihood) 만으로 훈련되었음에도 불구하고, 문자열 확률과 분리 가능한 문법성에 대한 고유한 표현을 은닉층 내에서 암시적으로 획득하는지 여부입니다.

방법론
저자들은 비용이 많이 드는 인간 주석 문법성 데이터셋에 의존하지 않고 LM 의 내부 표현을 조사하기 위해 선형 프로빙 (linear probing) 접근법을 제안합니다.

1. 합성 훈련 데이터 생성:

   • 소스: "문법적" 예시로 사용하기 위해 펜 Treebank 와 프로젝트 구텐베르크에서 50,000 개의 문장을 샘플링했습니다.
   • 변조: 원래 문장에 세 가지 노이즈 함수를 적용하여 비문법적 예시를 생성했습니다:
     • 삽입: 코퍼스에서 1~5 개의 토큰을 무작위로 삽입.
     • 삭제: 1~5 개의 토큰을 무작위로 제거.
     • 로컬 셔플: 연속된 5 토큰 창을 무작위로 순열.
   • 검증: LLM 판정자가 변조된 문장의 93.72% 가 실제로 비문법적임을 확인했습니다.
   • 분할: 데이터의 80% 를 훈련에, 20% 를 개발 (하이퍼파라미터 튜닝) 에 사용했습니다.

2. 프로브 아키텍처:

   • 문장의 마지막 토큰에서 LM 의 은닉 상태를 기반으로 로지스틱 회귀 분류기 (선형 프로브) 를 훈련했습니다.
   • 프로브는 이진 레이블 (문법적 vs 비문법적) 을 예측하도록 훈련되었습니다.
   • 실험에서는 신호를 담당하는 희소 신경군을 식별하기 위해 $\ell_2$ 정규화 (표준) 와 $\ell_1$ 정규화 (LASSO) 를 활용했습니다.

3. 평가 프레임워크:

   • 모델: 정렬 혼란을 피하기 위해 지시 튜닝 변형을 제외한 오픈 가중치 기반 모델 (OLMo-2/3, Llama-3.2/3.1, Gemma-2) 에서 테스트했습니다.
   • 벤치마크:
     • 문법성: BLiMP (최소 쌍), CoLA, SyntaxGym (단독 수용성).
     • 크로스링구얼: 제로샷 전이를 사용하여 여섯 가지 언어 (스웨덴어, 네덜란드어, 이탈리아어, 러시아어, 일본어, 중국어).
     • 의미적 타당성: 최소 쌍 구성원 모두 문법적이지만 의미적 타당성이 다른 세 가지 데이터셋.
   • 지표: 최소 쌍에 대한 정확도 (ACC) 와 단독 수용성에 대한 ROC 곡선 아래 면적 (AUC).
   • 베이스라인: LM 문자열 로그 확률 (길이 정규화 누적 로그 확률) 과 비교.

주요 결과

• 문자열 확률보다 우월함: 합성 데이터셋으로 훈련된 프로브는 문법성 벤치마크 (BLiMP, CoLA, SyntaxGym) 에서 LM 로그 확률보다 현저히 우수한 성능을 보였습니다. 이는 최소 쌍 및 비최소 쌍 설정 모두에서 유효했습니다.
• 가능성과의 구별:
  • 프로브 점수는 LM 로그 확률과 중간 정도의 상관관계 (Spearman's $\rho \approx 0.23–0.47$) 만 보였으며, 이는 서로 다른 정보를 포착함을 시사합니다.
  • 로그 확률을 추가 특성으로 프로브에 추가해도 일관되게 성능이 향상되지 않았으며, 이는 은닉 상태가 이미 문법성과 관련된 필요한 가능성 정보를 이미 인코딩하고 있음을 의미합니다.
  • 반대로, 은닉 상태에서 로그 확률을 예측할 때 리지 회귀는 중간 정도로 높은 $R^2$ ($0.51–0.73$) 을 달성하여 표현 내에 가능성 정보가 존재함을 확인했습니다.
• 의미적 선택성: 의미적 타당성 벤치마크에서 문법성 프로브는 문자열 확률보다 더 낮은 성능을 보였습니다. 이는 프로브가 의미적 가능성보다는 구문적 수용성에 선택적으로 튜닝되어 두 개념을 효과적으로 분리함을 나타냅니다.
• 크로스링구얼 일반화: 영어 데이터만으로 훈련된 프로브는 유형학적으로 다양한 언어 (스웨덴어, 네덜란드어, 이탈리아어, 러시아어, 일본어, 중국어) 로 일반화되었으며, 종종 모델의 모국어 문자열 확률보다 우수한 성능을 보였습니다.
• 뉴런 국소화: LASSO 를 사용하여 저자들은 문법성 신호가 극히 작은 뉴런 부분집합 (전체의 0.01% 인 약 10 개 뉴런) 으로 포착될 수 있음을 발견했으나, 신호는 계층 전반에 분산되어 있기도 했습니다.

의의 및 주장
이 논문은 LM 이 근본적으로 가능성으로 훈련된 통계적 시스템임에도 불구하고, 대규모 훈련이 은닉 표현 내에서 암시적 문법성 구분을 유도한다고 주장합니다.

• 회의론에 대한 도전: 문법성 - 가능성 구분이 LM 에게 "전혀 낯선" 것이라는 관점 (예: Katzir, 2023) 을 도전합니다. 저자들은 명시적인 언어적 감독 없이도 LM 이 출력 확률과 구별되는 문법성 개념을 획득한다고 제안합니다.
• 방법론적 기여: 이 연구는 자연어의 합성 변조가 문법성 프로브 훈련을 위한 견고하고 확장 가능한 대리 수단으로 기능할 수 있음을 보여주며, 훈련을 위한 작고 비싼 인간 큐레이션 데이터셋의 필요성을 우회합니다 (평가에는 여전히 사용됩니다).
• 언어 인지학적 함의: 저자들은 LM 이 인간 언어 습득의 완전한 모델이라고 주장하지는 않지만, LM 이 분포 학습에서 구문 지식이 어떻게 발현될 수 있는지 연구하기 위한 실행 가능한 테스트베드로서 기능한다고 봅니다. 이 발견은 인간에서 관찰되는 "능력 - 수행" 격차 (화자가 규칙을 알지만 오류를 범할 수 있음) 가 LM 에서도 평행하게 존재하며, 은닉 표현이 표면 문자열의 노이즈가 있는 가능성과 구별되는 문법성을 인코딩함을 시사합니다.

저자가 인정한 한계

• 합성 훈련 데이터는 불완전합니다. 원본 문장에 오류가 포함될 수 있으며, 변조는 순수한 구문 오류 대신 의미적 비타당성을 도입할 수 있습니다.
• 이 연구는 자연어에 초점을 맞추고 있으며 형식 언어나 훈련 중 문법성이 언제 획득되는지 학습 역동성을 다루지 않습니다.
• 이 작업은 훈련 시간 동안의 표현 진화가 아닌 최종 체크포인트의 정적 표현을 조사합니다.