기술 요약: LLM은 설명하지 못한다: 트랜스포머 모델의 의미론적 해석 가능성에 대한 사후 분석(Post-Mortem)

문제 정의

본 논문은 대규모 언어 모델(LLM)의 해석 가능성, 특히 모델이 압축되어 시스템 구성 요소로 배포되는 편재형 및 분산 컴퓨팅 환경에서의 해석 가능성에 존재하는 결정적인 간극을 다룬다. 어텐션 헤드(attention-head) 분석이나 임베딩 기반 속성 추론(embedding-based property inference)과 같은 방법들이 LL적으로 관계(언어적 관계, 개념적 지식 등)와 같은 내부적인 의미 구조를 LLM이 보유하고 있다고 주장하기 위해 널리 사용되고 있지만, 저자들은 이러한 기법들의 방법론적 토대가 여전히 입증되지 않았다고 주장한다. 핵심 문제는 이러한 해석 가능성 방법론들이 실제 모델의 이해를 반영하는 것이 아니라, 데이터셋의 구조나 방법론적 제약으로 인해 발생하는 결과물(artifact)임에도 불구하고 설득력 있는 시각화나 높은 예측 점수를 만들어낼 수 있다는 점이다. 저자들은 LLM에서 언어적 추상성을 탐지하기 위해 확립된 파이프라인들이 체계적인 검증 하에서도 유효한지를 조사한다.

방법론

저자들은 통제되고 투명한 실험을 통해 두 가지 표준적인 해석 가능성 파이프라인을 재현함으로써 "사후 분석(post-mortem)"을 수행하였다. 저자들은 기존 문헌의 설정과 일치하도록 BERT를 포함한 트랜스포머 기반 모델과 표준 데이터셋을 활용하여, 구현상의 오류가 아닌 방법론적 결함을 격리하고자 하였다.

1. 어텐션 기반 관계 설명 (Attention-Based Relational Explanations)

• 가설: 어텐션 가중치는 토큰 간의 영향력을 나타내며, 이는 의미적 또는 구문적 관계(예: "dog"와 "Labradoodle" 사이의 상위어 관계)를 반영한다.
• 테스트된 가정:
  1. 토큰 정체성 지속성(Token Identity Persistence): 더 깊은 층의 특정 위치에 있는 은닉 표현(hidden representation)이 여전히 원래의 입력 토큰에 대응한다.
  2. 어텐션 해석 가능성: 어텐션 분포가 의미 있는 정보 흐름을 인코딩한다.
• 절차: 저자들은 모든 레이어와 헤드로부터 어텐션 행렬을 추출하여 히트맵과 의존성 스타일의 다이어그램을 생성했다. 또한 토큰 임베딩 셔플링, 어텐션 로짓(logits)에 노이즈 주입, 위치 교환 등의 섭동(perturbation)을 도입하여 시각화의 강건성을 테스트했다.

2. 임베딩 기반 속성 추론 (Embedding-Based Property Inference)

• 가설: 만약 예측 모델이 단어 임베딩을 인간이 해석 가능한 의미적 특징(예: 지각적 속성, 분류학적 범주)으로 매핑할 수 있다면, 해당 임베딩은 그러한 의미적 지식을 인코딩하고 있는 것이다.
• 테스트된 가정: "예측이 곧 설명이다(prediction-as-explanation)"라는 가정—즉, 성공적인 예측이 내재된 지식을 의미한다는 가정.
• 절차:
  • 데이터셋: 세 가지 특성-규범(feature-norm) 데이터셋인 McRae(범주형), Buchanan(범주형), Binder(연속형)를 사용했다.
  • 매핑: 0번째 레이어의 타입 레벨 임베딩을 부분 최소 제곱 회귀(PLSR) 및 피드포워드 신경망(FFNN)을 사용하여 특성으로 매핑했다.
  • 대조군: 의미적 인코딩과 방법론적 결과물을 구분하기 위해 저자들은 다음과 같은 절제 연구(ablation studies)를 수행했다:
    • 상한 실험(Upper-bound experiments): 특성 행렬을 자기 자신에게 매핑.
    • 무작위/셔플 베이스라인(Random/Shuffled baselines): 특성을 무작위 노이즈로 교체하거나 희소성을 유지하며 값을 셔플함.
    • 의미론적 부패(Semantic corruption): 올바른 분류학적 관계를 무작위 대안으로 교체.
    • 구조적 무의미성(Structured nonsense): 연속적인 값을 문자 길이 차이로 교체.

주요 결과

어텐션 기반 파이프라인의 실패

저자들은 토큰 정체성 지속성 가정이 깊은 층에서 유효하지 않음을 발견했다.

• 토큰 정체성 상실: 잔차 연결(residual-stream) 추적 결과, 토큰 표현이 상류의 여러 위치가 혼합된 상태로 빠르게 변한다는 것을 밝혀냈다. 중간 깊이의 레이어에 도달하면 토큰의 은닉 상태와 원래 임베딩 사이의 코사인 유사도가 크게 감소한다.
• 인위적 구조: 어텐션 시각화는 토큰 임베딩을 셔플하거나 노이즈를 주입했을 때도 언어적으로 그럴듯한 구조를 유지했다. 이는 어텐션 맵에서 관찰되는 "구조"가 진정한 토큰 수준의 추론이 아니라, 어텐션 메커니즘의 혼합 특성과 비선형 변환(MLP, 레이어 정규화)의 결과임을 나타낸다.

임베딩 기반 속성 추론의 실패

저자들은 속성 추론에서의 높은 예측 점수가 의미적 내용이 아닌 데이터셋의 기하학적 구조와 희소성에 의해 주도된다는 것을 입증했다.

• 무의미한 값의 예측 가능성: 모델은 특성을 무작위로 셔플하거나 무의미한 값(예: 문자 길이 차이)으로 교체했을 때도 상당한 성능(방법론적 상한에 근접하는 수준)을 달성했다.
• 의미론적 무감각성: 유의미한 분류학적 상위어를 무작위 대안으로 교체했을 때 성능 저하가 미미했다(예: McRae F1@10이 0.25에서 0.23으로 거의 떨어지지 않음).
• 기하학적 vs 의미론적: 이웃 정확도(neighborhood accuracy) 분석 결과, 매핑 방법은 주로 데이터에 내재된 기하학적 클러스터 구조를 재현할 뿐이었다. 높은 점수는 의미적 속성의 디코딩이 아니라 특성 규범의 저계수(low-rank) 제약과 희소성을 반영하는 것이다.

주요 기여

1. 핵심 가정의 경험적 반박: 본 논문은 "토큰 연속성" 가정(어텐션 분석)과 "예측이 곧 설명이다"라는 가정(속성 추론)이 방법론적으로 타당하지 않다는 체계적인 증거를 제공한다.
2. 결과물의 원인(Artifact) 식별: 저자들은 해석 가능성 방법론의 외견상 성공이 실제로는 방법론적 상한, 데이터셋의 희소성, 그리고 기하학적 유사성 때문임을 밝혀냈다. 이는 실제 의미적 이해로 오인될 수 있다.
3. 부정적 결과(Negative Results)를 위한 방법론적 프레임워크: 본 연구는 셔플링, 부패, 상한 추정 등의 통제된 절제 연구를 통해, 진정한 메커니즘과 인위적 결과물을 구분하기 위한 엄격한 스트레스 테스트 프로토콜을 확립한다.
4. 맥락적 관련성: 이 결과는 해석 가능성에 의존하여 디버깅과 압축을 수행하는 편재형 및 분산 컴퓨팅 환경에서 발생할 수 있는 구체적인 위험을 강조하며, 검증되지 않은 가정이 시스템 수준의 잘못된 결론으로 이어질 수 있음을 경고한다.

의의 및 주장

본 논문은 자신의 주요 기여가 LLM의 유용성을 뒤집는 것이 아니라, 가장 널리 신뢰받는 두 가지 해석 가능성 기법이 현재 "실제 설명을 생성하는 것보다 설득력 있는 이야기를 만드는 데 더 뛰어나다"는 점을 보여주는 것이라고 겸허히 주장한다.

저자들은 다음과 같이 주장한다:

• 시각적 그럴듯함과 예측 정확도가 이해와 동일한 것은 아니다. 어텐션 맵과 속성 추론 점수는 밑바탕이 되는 가정(토큰 정체성, 의미적 인코딩)이 명시적으로 테스트되지 않는다면 오해의 소지가 있다.
• 부정적 결과는 필수적이다. 이러한 실패 사례를 기록하는 것은 학계가 잘못된 전제 위에 구축되는 것을 방지하고, 더 엄격하고 메커니즘을 인식하는 해석 도구 개발을 가이드하기 위해 필요하다.
• 시스템적 위험: 실제 배포 환경(예: Edge AI)에서 검증되지 않은 해석 가능성 방법론에 의존하여 모델 압축과 디버깅을 수행하는 것은 잘못된 확신과 시스템 실패의 위험을 초래한다.

논문은 이러한 방법론들이 출력물은 이해하기 쉽지만, LLM이 어떻게 구조와 의미를 표현하는지 설명하는 데 필요한 과학적 엄밀함은 현재 부족하다고 결론짓는다. 저자들은 직관적인 서사를 생성하는 것보다 가정을 테스트하는 것을 우선시하는 해석 가능성 연구로의 전환을 촉구한다.