Probing Minimalist Phase Structure in LLMs: What Universal Dependencies Cannot Represent

기술적 요약: LLM 에서의 미니멀리즘 위상 구조 탐지

문제 제기
구조적 탐지 (structural probing) 는 대규모 언어 모델 (LLM) 이 은닉 표현에 구문론적 구조를 인코딩한다는 것을 입증해 왔으며, 이는 일반적으로 범용 의존성 (Universal Dependencies, UD) 트리 거리를 복원하도록 훈련됩니다. 그러나 UD 는 주석 체계일 뿐 생성 문법이 아니며, 위상 경계 (phase boundaries)(미니멀리즘 프로그램에서 유래) 나 **위상 내부 응집성 (phase-internal cohesion)**과 같은 형식적 구문 추상화를 포함하지 않습니다. 따라서 표준 UD 기반 탐지는 LLM 이 이러한 더 깊은 구조적 속성을 인코딩하는지 여부를 판단할 수 없습니다. 만약 탐지기가 조건 간 차이를 감지하더라도, 이것이 대상 구문론적 추상화를 반영하는 것인지, 아니면 단순히 UD 거리나 표면적 속성의 재인코딩에 불과한 것인지 불분명합니다. 본 논문은 주석 기반 탐지의 범위를 넘어선 형식적 구문 추상화를 LLM 이 인코딩하는지 여부에 대한 열린 질문에 답합니다.

방법론
저자들은 **wh-이동 자극 (wh-movement stimuli)**을 사용하여 탐지 실험을 설계했는데, 여기서 탐지된 단어 쌍 간의 UD 트리 거리는 구성상 조건 간에 **불변 (invariant)**으로 유지됩니다. 이는 탐지기가 감지하는 모든 비영향 (non-zero) 효과가 UD 로 포착되지 않은 구조적 정보를 반영함을 보장합니다.

1. 자극 구성:
   각 항목에 대해 세 가지 조건을 생성하며, wh-요소가 통과하는 미니멀리즘 프로그램 (MP) 위상 경계의 수에 따라 순서를 매깁니다:

   • 벌어 작은 문장 (Bare Small Clause): (예: What did she see him eat?) – 추가 위상 0 개.
   • 부정사 (Infinitival): (예: What did she expect him to eat?) – 추가 위상 1 개 (vP).
   • 유한 (Finite): (예: What did she think he ate?) – 추가 위상 2 개 (vP 및 CP).

   두 가지 탐지 쌍을 측정합니다:

   • 절 간 (wh–내부 주어): "위상 수 기울기 (phase-count gradient)"(구조적 깊이) 를 테스트합니다.
   • 절 내 (내부 주어–내부 동사): "위상 내부 응집성"을 테스트합니다. 중요한 점은 이 쌍에 대한 UD 거리가 세 조건 모두에서 정확히 1 개의 간선 (nsubj) 이라는 것입니다.

2. 탐지 프로토콜:

   • 선형 탐지기는 범용 의존성 영어 웹 트리뱅크 (UD-EWT) 를 훈련하여 은닉 상태를 유클리드 공간에 매핑합니다.
   • 이러한 훈련된 탐지기는 추가 피팅 없이 wh-이동 자극에 대해 평가됩니다.
   • 효과 크기 ($\beta$) 는 유한 (Finite) 및 부정사 (Infinitival) 조건을 벌어 (Bare) 기준선과 비교하는 OLS 회귀를 통해 추정됩니다.
   • 정규 계층 보고: 계층의 기회적 선택 (서로 다른 대비가 서로 다른 계층에서 정점을 이루는 일반적인 문제) 을 피하기 위해, 저자들은 가장 신뢰할 수 있는 대비 ($\beta_{fin}$) 를 최대화하는 계층을 기준으로 각 모델당 단일 "정규 계층"($L^*$) 을 정의합니다. 모든 다른 대비는 이 고정된 계층에서 보고됩니다.

3. 인과적 검증:
   활성화 패치 (activation patching) 실험이 수행됩니다. 부정사 소스에서 온 내부 주제의 잔류 스트림 표현을 벌어 표적에 패치합니다. 만약 표현이 문장 유형 정보를 인코딩한다면, 이는 예측된 방향으로 탐지 거리를 이동시켜야 합니다.

4. 모델:
   본 연구는 Gemma-3, Llama-3, Mistral, Qwen 네 가지 계열의 13 개의 디코더 전용 기본 모델을 평가합니다.

주요 결과

1. 위상 수 기울기 (절 간):
   13 개 모델 중 12 개에서 wh-요소와 내부 주어 간의 탐지 거리는 예측된 기울기를 따릅니다: $\beta_{fin} > \beta_{inf} > 0$. 이는 UD 거리가 불변임에도 불구하고 모델 표현이 통과하는 위상 경계의 수 증가를 반영함을 나타냅니다.

2. 부호 비대칭 (절 내):
   UD 거리가 동일한 내부 주어–동사 쌍에서 강력한 13/13 부호 비대칭이 관찰됩니다:

   • 유한 조건: $\beta < 0$(표현이 기준선보다 가깝습니다).
   • 부정사 조건: $\beta > 0$(표현이 기준선보다 멀어집니다).

   이 패턴은 대안적 설명과 모순됩니다:

   • UD 거리: $\beta \approx 0$(거리는 일정함) 을 예측합니다.
   • 선형 거리: $\beta_{inf} > 0$이지만 $\beta_{fin} \approx 0$(유한과 벌어는 인접함; 부정사는 중간에 'to'가 있음) 을 예측합니다.
   • 단조 복잡성: $\beta_{fin} > \beta_{inf} > 0$(더 많은 구조 = 더 큰 거리) 을 예측합니다.

   관찰된 음의 $\beta_{fin}$은 위상 내부 응집성에 의해 구체적으로 예측되는데, 이는 동일한 완료된 위상 (유한 CP) 내의 항목들이 응집된 단위로 표출되어 표현적으로 더 가까워지는 MP 추상화입니다.

3. 인과적 확증:
   내부 주어 위치에서의 활성화 패치는 13 개 모델 중 12 개에서 예측된 방향으로 탐지 거리를 성공적으로 이동시킵니다. 이는 식별된 표현이 모델의 계산에서 인과적으로 활성화됨을 확인시켜 주며, 탐지기가 모델이 실제로 사용하는 표현을 복원하는지에 대한 회의론을 해소합니다.

주요 기여

1. 불변 UD 거리 탐지: 저자들은 UD 거리가 엄격하게 통제되는 구문 구조 탐지 방법을 입증하여, 감지된 효과가 UD 를 넘어선 구조를 반영함을 보장합니다.
2. 정규 계층 보고: 모든 대비를 단일 계층에 고정하는 더 엄격한 보고 표준을 도입하여 자유도를 제거하고, 대비별 정점 보고가 숨길 수 있는 이질성 (예: Qwen-3-4B 의 실패) 을 드러냅니다.
3. 인과적 증거: 활성화 패치를 통해 위상 구조 표현이 단순히 상관관계가 아닌 계산적으로 활성화됨을 직접적으로 입증합니다.

의의 및 주장
본 논문은 분포적 사전 훈련이 UD 기반 주석으로는 보이지 않는 형식적 구문 추상화 (특히 위상 경계와 위상 내부 응집성) 와 정렬된 표현을 유도한다고 주장합니다. 절 내 쌍에서 관찰된 13/13 부호 비대칭은 LLM 이 표준 탐지로는 접근할 수 없는 구조적 정보를 인코딩한다는 존재 증명 역할을 합니다.

저자들은 UD 기반 탐지기는 구문 인코딩에 대한 하한선일 뿐 상한선이 아니다라고 결론 내립니다. 이 발견들은 LLM 이 명시적 문법 지시가 아닌 훈련 데이터의 통계적 규칙성에 의해 주도되어 표준 의존성 주석으로 포착되는 것보다 더 풍부한 구문 표현을 가질 수 있음을 시사합니다.

한계
본 연구는 영어와 특정 동사 클래스로 제한됩니다. 저자들은 위상 수 기울기가 방향적 (순서는 예측하지만 크기 비율은 아님) 이며, 모델 계열 내 스케일링 효과가 이질적이라고 지적합니다. 인과적 주장은 보수적이며, 부호 비대칭에 대한 구체적인 메커니즘을 증명하기보다는 일반적으로 탐지 거리에 영향을 미치는 내부 주제의 표현에 국한됩니다.