기술적 요약: 언어 모델에서의 등장적 의미 역할 이해

문제 정의

본 연구에서 다루는 핵심 문제는 대규모 언어 모델 (LLM) 의 언어 능력 기원에 대한 모호함이다. 구체적으로, 의미 역할 이해 (SRL)—즉, "누가 누구에게 무엇을 했는지" (술어 - 논항 구조) 를 식별하는 능력—가 다음 토큰 예측 목표를 위한 사전 학습 (pre-training) 에서만 등장하는 것인지, 아니면 작업별 미세 조정 (fine-tuning) 이 필요한 능력인지는 여전히 불분명하다. LLM 이 작업 간 일반화를 보이지만, 특정 의미 구조가 사전 학습된 가중치에 인코딩된 정도와 적응 과정에서 학습된 정도는 완전히 규명되지 않았다. 또한, 모델 규모와 이러한 능력의 등장 간의 관계, 그리고 이를 지원하는 내부 신경 메커니즘 (예: 분산 표현 대 국소화 표현) 에 대한 체계적인 조사가 필요하다.

방법론

저자들은 사전 학습과 미세 조정의 효과를 분리하기 위해 디코더 전용 트랜스포머 모델을 처음부터 훈련하는 통제된 실험 설계를 사용한다.

1. 모델 훈련: 0.4M 에서 57M 개의 파라미터에 이르는 네 가지 디코더 전용 트랜스포머 모델 (Tiny, Small, Base, Medium) 을 인과적 언어 모델링 목표 (다음 토큰 예측) 를 사용하여 WikiText-103 코퍼스로 처음부터 훈련하였다. 아키텍처는 공유 임베딩과 고정 어휘를 갖춘 GPT-2/GPT-3 표준을 따른다.
2. 작업 정의: 평가 작업은 질문 - 답변 기반 의미 역할 라벨링 (QA-SRL) 이다. 이는 SRL 을 추출형 질문 답변 (예: "누가 산책을 했는가?"를 통해 행위자 (Agent) 식별) 으로 재구성하여, 탐지 (probing) 단계에서 명시적인 PropBank 스키마 주석을 피한다.
3. 탐지 프로토콜:
   • 전체 미세 조정: 모든 파라미터 (트랜스포머 및 QA 헤드) 를 업데이트하여 상한 성능을 확립한다.
   • 동결 선형 탐지 (Frozen Linear Probe): 사전 학습된 트랜스포머 가중치와 위치 임베딩을 동결한다. 토큰 임베딩 ( [question] [SEP] [sentence] 형식에 적응하기 위해) 과 QA 헤드만 훈련한다. 이는 의미 역할 정보가 사전 학습된 표현에서 디코딩 가능한지 테스트한다.
   • 무작위 기준선: 훈련된 임베딩과 QA 헤드를 가진 훈련되지 않은 (무작위 초기화된) 모델은 학습된 표현과 무작위 용량을 구분하기 위한 성능 바닥을 제공한다.
   • 정규화된 등장 점수: $E = \frac{F1_{frozen} - F1_{random}}{F1_{full} - F1_{random}}$으로 정의되며, 사전 학습에 존재하는 작업 성능의 비율을 정량화한다.
4. 메커니즘 분석:
   • 시간적 CKA: 미세 조정 체크포인트와 사전 학습된 모델 간의 표현적 이동을 측정하기 위해 중심 커널 정렬 (Centered Kernel Alignment) 을 사용한다.
   • 뉴런 제거 (Ablation): 주성분 분석 (PCA) 은 "역할 선택적 뉴런" (예: 행위자 또는 시간 역할에 대해 매우 활발한 뉴런) 을 식별한다. 이러한 뉴런을 제거 (가중치를 0 으로 설정) 하여 인과적 필요성을 테스트한다.
   • 시각화: PCA 와 t-SNE 를 사용하여 표현 공간에서 의미 역할의 군집화를 시각화한다.

주요 결과

1. 의미 역할 이해의 등장

• 사전 학습 기여: 동결된 탐지기는 모든 모델 규모에서 무작위 기준선보다 일관되게 우월하여 12~19 점의 F1 격차를 보인다. 이는 술어 - 논항 구조가 사전 학습만으로 인코딩됨을 확인한다.
• 규모 의존성: 사전 학습은 일관된 의미 정보 기준선을 제공하지만, 정규화된 등장 점수는 모델 규모가 증가함에 따라 감소한다. 이는 미세 조정의 기여도 ($\Delta_{ft}$) 가 규모에 따라 (~8 에서 ~21 F1 점까지) 크게 증가하는 반면, 사전 학습의 기여도 ($\Delta_{pre}$) 는 상대적으로 일정하게 유지되기 때문이다. 따라서 더 큰 모델은 사전 학습에 기본 정보가 존재함에도 불구하고 최고 성능에 도달하기 위해 미세 조정에 더 크게 의존한다.
• 층별 인코딩: 순수 사전 학습 표현에 대한 선형 탐지 (임베딩 적응 없이) 는 10~26% 의 F1 을 달성하여, 정보가 트랜스포머 가중치에 존재함을 확인한다. 일반적으로 더 깊은 층일수록 디코딩 가능성이 높다.

2. 내부 표현 역동성

• 표현적 이동: 미세 조정 중 더 깊은 층이 사전 학습 상태와 가장 크게 이격된다 (CKA 가 0.25~0.49 로 하락), 이는 의미 표현의 상당한 재구성을 나타낸다.
• 뉴런 선택성: 순방향 피드포워드 층의 특정 뉴런은 의미 역할에 대한 선택성을 보인다 (예: "행위자 뉴런", "시간 뉴런").
  • 시간 뉴런: 모든 규모에서 일관된 인과적 중요성을 보이며, 이를 제거하면 성능이 저하된다.
  • 행위자 뉴런: 규모 의존적 반전을 보인다. 작은 모델에서는 행위자 뉴런을 제거하면 성능이 저하된다 (인과적). 그러나 더 큰 모델 (Base 및 Medium) 에서는 이러한 뉴런을 제거하면 성능이 향상되어, 이러한 뉴런이 더 큰 용량에서는 간섭하거나 불필요해짐을 시사한다.
  • 위치/방식 뉴런: 최소한의 인과적 효과를 보여, 이러한 역할은 특정 국소화된 뉴런이 아닌 더 분산된 방식으로 표현됨을 시사한다.
• 공동 활성화: 동일 역할 뉴런은 교차 역할 뉴런보다 더 높은 공동 활성화 상관관계를 보이지만, 이 분리는 약하며 층이 깊어질수록 증가한다.

3. 재현

행위자 뉴런의 규모 의존적 전환 (인과적에서 간섭적으로) 에 대한 발견은 GPT-2(124M, 355M) 와 Pythia(70M, 160M, 410M) 모델에서 재현되어, 이 현상이 특정 훈련 설정이나 코퍼스의 인공물이 아님을 확인했다.

주요 기여

1. 체계적 방법론: 선형 탐지와 정규화된 등장 점수를 사용하여 사전 학습된 가중치에서 디코딩 가능한 정보와 미세 조정 중에 생성된 정보를 구분하는 프레임워크.
2. 시간적 분석: 사전 학습된 널 (null) 모델에 대한 미세 조정 중 표현 진화를 추적하기 위한 CKA 기반 프레임워크 도입.
3. 신경 메커니즘 식별: 역할 선택적 뉴런의 발견과 의미 역할이 표현 공간에서 명확한 군집을 형성하며, 더 깊은 층으로 갈수록 분리가 증가한다는 증거.
4. 규모 의존적 재구성: 의미 역할의 신경 구현이 규모에 따라 변화한다는 경험적 증거. 구체적으로, 작은 모델에서 인과적으로 필수적이었던 행위자 선택적 뉴런이 큰 모델에서는 간섭적으로 전환된다는 사실은, 작은 모델에서 식별된 회로가 더 큰 규모에서도 기능을 유지한다는 가정에 도전한다.

중요성과 주장

본 논문은 의미 역할 이해가 작은 모델 규모에서도 단순히 사전 학습에서 등장하는 능력이며, 인코딩을 위해 작업별 감독을 엄격하게 필요로 하지 않는다고 주장한다. 그러나 이 능력의 효율성과 구현은 규모에 따라 변화한다.

저자들은 다음과 같이 주장한다:

• 등장은 이분법이 아니다: 사전 학습이 상당한 기반 (12~19 점의 F1) 을 제공하지만, 특히 더 큰 모델에서 성능을 완전히 최적화하려면 미세 조정이 필요한 연속적인 과정이다.
• 해석 가능성은 가능하다: 역할 선택적 뉴런의 존재는 등장적 언어 능력이 부분적으로 국소화될 수 있음을 시사하며, 이는 기계적 해석 가능성에 적합하게 만든다.
• 회로 안정성은 보장되지 않는다: 더 큰 모델에서 행위자 뉴런이 간섭적으로 변한다는 발견은 신경 회로가 정적이지 않으며, 용량이 증가함에 따라 재구성됨을 시사한다. 이는 작은 모델을 분석하여 얻은 통찰이 이러한 구조적 변화를 고려하지 않고는 더 크고 능력 있는 시스템에 직접 적용될 수 없음을 의미한다.
• 교차 역할 간섭: 더 큰 모델은 역할별 뉴런이 다른 역할을 억제할 수 있는 복잡한 상호작용을 보이며, 이는 작은 모델에는 존재하지 않는 현상이다.

이 연구는 언어 모델링 목표가 의미 역할 구조를 인코딩하기에 충분하지만, 이 지식의 내부 조직은 모델 규모에 따라 크게 진화하여, 더 집중된 인과적 표현에서 분산되고 때로는 간섭적인 표현으로 이동한다고 결론지었다.