Do Language Models Encode Knowledge of Linguistic Constraint Violations?

기술적 요약: 언어 모델이 언어적 제약 위반에 대한 지식을 인코딩하는가?

문제 제기
대규모 언어 모델 (LLM) 은 언어적 벤치마크에서 강력한 성능을 보이며 원시 텍스트에서 문법적 규칙성을 일반화하지만, 잘 형성된 문장과 잘못 형성된 문장을 구별하게 하는 내부 메커니즘은 여전히 불분명하다. 구체적으로, 특히 트랜스포머 기반 아키텍처를 가진 LLM 이 문법적 위반을 마주치면 문장의 로그 가능도 (log-likelihood) 를 패널티로 부과하기 위해 활성화되는 특정 "검출기 특징 (detector features)"을 인코딩하는지는 열린 질문이다. 본 연구는 Hu 등 (2026) 의 프레임워크에서 변수 $G$로 표기된 언어적 제약 위반에 대한 잠재적 표현을 LLM 이 보유하고 있으며, 이는 문법적으로 잘못된 입력을 처리하는 동안 선택적으로 활성화된다는 가설을 검증한다.

방법론
본 연구는 희소 오토인코더 (Sparse Autoencoders, SAEs) 를 활용하여 LLM 의 다의적 (polysemantic) 활성화를 희소하고 단일 의미 (monosemantic) 특징으로 분해하는 기계적 해석 가능성 접근법을 사용한다.

• 데이터셋: 저자들은 13 가지 언어적 현상을 제공하는 BLiMP 벤치마크 (Warstadt 등, 2020) 를 활용한다. 각 현상은 잘 형성된 문장 ($x_{good}$) 과 잘못 형성된 문장 ($x_{bad}$) 이 정확히 한 단어 차이로 이루어지는 최소 쌍 (minimal pairs) 으로 구성된다. 이 설계는 의미 메시지 ($m$) 를 일정하게 유지하면서 문법적 제약 ($G$) 만을 변화시킨다.
• 모델: 실험은 세 가지 계열에 속한 여섯 가지 모델에서 수행되었다: GPT-2 (small), Gemma-3 (270M, 1B, 4B), 그리고 Qwen3.5 (2B, 9B).
• 특징 분해: 사전 훈련된 SAE(SAELens, Qwen Scope, Gemma Scope 2 에서 제공) 를 모델 깊이의 25%, 50%, 65%, 85% 에 해당하는 특정 레이어의 잔류 스트림 (residual streams) 에 적용하였다.
• 민감도 점수 ($\Phi$): 제약 위반 입력에 대해 잘 형성된 입력보다 선호적으로 활성화되는 SAE 특징을 순위 매기기 위한 민감도 점수가 도입되었다. 높은 양의 $\Phi$ 점수를 가진 특징이 후보 위반 검출기로 선정되었다.
• 연합 반증 프레임워크: 후보 특징이 실제로 위반 검출기를 인코딩하는지 검증하기 위해, 표적 특징 제거 (targeted feature ablation) 를 통해 세 가지 기준을 공동으로 평가하는 프레임워크를 제안한다:
  1. F1 (위반에 대한 인과적 효과): 후보 특징을 제거하면 무작위 대조군에 비해 문법적으로 잘못된 문장의 로그 가능도가 유의미하게 증가해야 한다.
  2. F2 (비위반의 안정성): 제거는 잘 형성된 문장의 로그 가능도를 유의미하게 저하시켜서는 안 된다 (안정성 임계값 $|\bar{M}_{good}| < 0.05$).
  3. F3 (선호적 효과): 제거로 인해 발생하는 선호도 마진 (잘 형성된 대 잘못 형성된) 의 변화는 엄격히 양수여야 하며 무작위 대조군보다 유의미하게 커야 하므로, 그 효과가 위반에 선택적임을 보장해야 한다.

주요 기여

1. 민감도 점수 ($\Phi$): 라벨된 감독 없이 후보 위반 특징을 표적 선택할 수 있도록, 제약 위반 입력에 의해 선호적으로 활성화되는 특징을 식별하는 비지도 메트릭.
2. 연합 반증 프레임워크: 단순한 일반 유창성이나 문장 가능도와 상관관계가 있는 특징과 진정한 위반 특이적 검출기를 구별하도록 설계된 엄격한 세 가지 기준 (F1, F2, F3) 테스트.
3. 실증 분석: 13 가지 언어적 현상과 여섯 가지 모델에 걸친 포괄적 평가로, 모델이 위반과 관련된 정보를 포함하고는 있지만, 현재 개입 프레임워크 하에서는 이를 통합적이고 선택적인 검출기로 깔끔하게 분리할 수 없음을 드러냄.

결과
실증 결과는 통합적이고 선택적인 위반 검출기에 대한 가설에 대해 대체로 부정적이다:

• F1 성능: 인과적 효과 기준 (F1) 은 모델과 현상 전반에 걸쳐 광범위하게 통과하였다. 높은-$\Phi$ 특징은 제약 위반 입력과 상관관계가 있으며, 이를 제거하면 문법적으로 잘못된 문장의 가능성이 증가한다.
• F2 및 F3 실패: 안정성 (F2) 과 선호적 효과 (F3) 기준은 대부분의 경우에서 실패하였다. 위반에 민감하다고 식별된 특징은 종종 잘 형성된 문장에도 인과적 영향을 미쳐 (F2 위반) 문법적 문장과 문법적이지 않은 문장에 동등한 크기로 영향을 미치거나 (F3 위반).
• 연합 충족: 연합 기준 (F1 $\cap$ F2 $\cap$ F3) 은 모든 모델에서 한 가지 현상 (GPT-2 의 불규칙 형태) 에 대해서만 충족되었다.
• 특징 얽힘: 결과는 위반 관련 특징이 고립되어 있지 않음을 시사한다. 대신, 이들은 일반적인 유창성 정보를 인코딩하거나 일반 메시지 ($m$) 를 나타내는 특징과 얽혀 있어, 제거를 통해 순수한 "문법성" 변수 $G$ 를 분리하기 어렵게 만든다.

의의 및 주장
본 논문은 현재 LLM 이 선택적으로 활성화되고 일반 문장 표현과 인과적으로 구별되는 통합된 문법 위반 검출기 세트를 인코딩하지 않는 것으로 결론지었다. 모델이 문법적 위반과 관련된 정보를 보유하고 있기는 하지만, 현재 개입 프레임워크 하에서는 이 정보가 더 넓은 문장 수준의 표현으로부터 깔끔하게 분리되지 않는다.

저자들은 부정적인 결과가 다음과 같은 원인에서 비롯되었을 것이라고 가설을 세운다:

1. 민감도 점수가 F2 와 F3 을 만족하는 특징을 발견하지 못함.
2. SAE 가 F2 와 F3 에 해당하는 특징을 복원하지 못하여, 이 특징들이 다른 특징들에 흡수되었을 가능성.
3. 관련 특징이 단일 레이어에 국한되지 않고 여러 레이어에 분산되어 있음.

본 연구는 문법적 표현의 존재 자체를 완전히 반증한다고 주장하지는 않으며, 오히려 이러한 특정 잠재 변수를 분리하는 데 있어 현재 기계적 해석 가능성 도구 (특히 SAE 와 제거) 의 한계를 강조한다. 이 연구는 주장이 겸손하며, 주요 발견이 부정적임을 지적하고, 놀라움 (surprisal) 이나 의미적 이상 현상을 대상으로 하는 대안적 프레임워크가 보완적인 관점을 제공할 수 있음을 언급한다.