On the Persistent Effects of Lexicality in Large Language Mod

기술 요약: 대규모 언어 모델(LLM)에서 어휘성(Lexicality)의 지속적인 효과에 대하여

문제 제기
대규모 언어 모델(LLM)은 검색, 클러스터링 및 평가를 위한 범용 임베딩 엔진으로 점점 더 많이 활용되고 있다. 해당 분야의 지배적인 가정은 모델의 깊이가 진행됨에 따라 표현이 국소적인 어휘 구조에서 추상적인 시퀀스 수준의 의미론(semantics)으로 전이된다는 것이다. 그러나 본 논문은 이러한 가정이 취약하다고 주장한다. 경험적 증거에 따르면 어휘적 중첩(lexical overlap)이 임베딩 기하학에 지속적으로 남아, 모델이 표면 형태의 유사성을 의미적 동등성과 혼동하게 함으로써 어휘적 영향을 유발한다는 것을 보여준다. 이러한 "어휘적 영향"은 문서 검색 및 모델 편집과 같이 의미 중심의 표현에 의존하는 다운스트림 작업의 성능을 저하시키는데, 이는 모델이 의미적 내용보다 공유된 토큰을 우선시하게 만들기 때문이다. 저자들은 이러한 어휘적 영향과 의미적 내용 사이의 관계, 그리고 모델의 깊이 및 학습 체계에 따른 전파 방식이 여전히 제대로 이해되지 않고 있다고 언급한다.

연구 방법론
저자들은 적대적 스트레스 테스트, 레이어별 프로빙(layer-wise probing), 정보 이론적 분석을 포함한 다각적인 접근 방식을 사용하여 모델 깊이에 따른 어휘 및 의미 표현의 진화를 조사한다.

1. 적대적 스트레스 테스트: 연구는 CounterFact와 SugarCrepe++ (SCPP) 데이터셋을 사용하는 트리플릿(triplet) 기반 스트레스 테스트를 채택한다. 각 트리플릿은 앵커($a$), 의미를 보존하는 패러프레이즈($p$), 그리고 앵커와 상당한 토큰 중첩을 공유하지만 의미는 다른 어휘적 방해 요소($d$)로 구성된다. 성공의 기준은 모델이 앵커를 방해 요소보다 패러프레이즈에 더 가깝게 임베딩하는 것으로 정의된다. 이 메트릭은 어휘적 중첩에 의해 발생하는 실패율을 정량화한다.
2. 레이어별 프로빙:
   • 어휘 해독 가능성(Lexical Decodability): 은닉 상태(hidden states)에 선형 프로브를 훈련하여 입력 토큰의 정체성을 예측한다. 이는 각 레이어에서 표면 형태 정보의 선형적 접근성을 측정한다.
   • 의미적 충실도(Semantic Fidelity): 각 레이어의 문장 임베딩을 MTEB(Massive Text Embedding Benchmark)에서 표준 경량 헤드를 사용하여 평가하며, 백본의 태스크 특화 미세 조정 없이 의미적 성능을 평가한다.
3. 정보 이론적 분석: 저자들은 프롬프트 엔트로피를 레이어 전반에 걸쳐 분석하여 정보 압축 및 해제 역학을 특징짓고, 이러한 변화를 관찰된 어휘 및 의미 행동과 연관시킨다.
4. 다운스트림 사례 연구: 어휘적 영향의 실제적 영향은 추상적 요약 평가(BERTScore 및 BARTScore 사용)와 사실적 모델 편집(AlphaEdit 사용)이라는 두 가지 실질적인 시나리오에서 조사된다.

주요 결과

• 어휘적 영향의 지속성: 어휘적 영향은 얕은 레이어에 국한되지 않으며, 의미적 유사성을 위해 특별히 훈련된 모델(임베딩 모델)을 포함하여 전체 모델 깊이에 걸쳐 지속된다. 지시어 튜닝(instruction tuning)과 메트릭 학습(metric learning)이 전반적인 임베딩 품질을 개선하지만, 어휘적 중첩 적대 공격에 대한 취약성을 제거하지는 못한다.
• 중간 깊이의 계곡(The Mid-Depth Valley): 중간 레이어(대략 모델 깊이의 40~60%)에서 일관된 "계곡"이 관찰된다. 이 영역에서는 다음과 같은 현상이 나타난다:
  • 어휘 해독 가능성이 최저치를 기록한다(토큰 정체성을 선형적으로 복구하기 가장 어려움).
  • 의미적 충실도가 분류, 검색 및 의미적 텍스트 유사성 작업 전반에서 정체되거나 저하된다.
  • 어휘적 실패율이 정점에 달하며, 이는 표현이 표면 형태와 의미 모두에 대해 취약함을 나타낸다.
• 비단조적 진행(Non-Monotonic Progression): 어휘적 표현에서 의미적 표현으로의 전이는 매끄럽고 단조로운 과정이 아니다. 토큰 정체성 해독 가능성은 변동하며, 의미적 성능은 저엔트로피 병목 구간 이후인 후기 레이어에서만 회복된다.
• 정보 이론적 정렬: 중-깊이 계곡은 저엔트로피 병목 구간 및 즉각적인 재확장(re-expansion) 단계와 일치한다. 저엔트로피 병목 구간이 가장 강력한 표현을 보유한다는 기존의 가설과 달리, 저자들은 이곳에서 의미적 성능이 가장 약하다는 것을 발견했다. 더 강력하고 의미에 민감한 기하학적 구조는 재확장 단계 중에 나타난다.
• 다운스트림 함의:
  • 요약: 어휘적 중첩은 BERTScore와 같은 평가 지표가 의미적 일관성이 부족하더라도 비요약문(방해 요소)의 순위를 실제 요약문보다 높게 책정하도록 만든다.
  • 모델 편집: 특정 사실을 겨냥한 업데이트가 어휘적으로 유사하지만 의미적으로는 관련 없는 프롬프트에 불균형적으로 일반화된다. 이러한 "어휘적 편향(lexical skew)"은 편집 프롬프트와 표면 토큰을 공유하는 방해 요소에 대해 모델 동작의 의도치 않은 변화를 일으켜 편집의 국소성(locality)을 해친다.

의의 및 주장
본 논문은 어휘적 영향이 사전 학습, 지시어 튜닝, 대조 학습을 포함한 다양한 학습 체계에서도 살아남는 LLM 표현의 근본적이고 지속적인 속성이라고 주장한다. 저자들은 최종 레이어 임베딩을 사용하거나 깨끗한 어휘-의미 전이를 가정하는 표준 휴리스틱이 불충분하다고 주장한다.

주요 의의는 다음과 같다:

1. 어휘적 편향은 견고함: 이는 이를 최소화하도록 명시적으로 훈련된 모델에서도 지속되며, 현재의 학습 패러다임이 어휘적 지름길을 줄일 수는 있지만 완전히 제거하지는 못함을 시사한다.
2. 중간 레이어 표현은 과도기적임: 중간 레이어는 어휘적 신호와 의미적 신호가 모두 약한 체제이며, 이는 중간 레이어가 특징 추출에 균일하게 최적이라는 견해에 도전한다.
3. 평가 및 편집의 취약성: 임베딩 기하학에 의존하는 실제 응용 프로그램은 표면 형태의 중첩에 의해 체계적으로 편향되며, 이는 잘못된 유사도 점수 산출과 모델 편집의 국소성 저해로 이어진다.

저자들은 어휘적으로 통제된 스트레스 테스트가 표현 학습, 자동 메트릭 및 모델 개입에 대한 표준 진단 도구가 되어야 하며, 이를 통해 중첩에 의한 의미적 실패에 대한 강건성을 확보해야 한다고 결론짓는다. 또한, 중-깊이 전이 체제를 분석하기 위해 비선형 변환을 사용하여 그곳에서 형성되는 구조를 파악하고 어휘적 중첩에 의한 오류를 방지하는 후속 연구를 제안한다.