💬 NLP

A Unifying Perspective on Language Model Representations: From Filler-Role Structure to Mechanistic Interpretability

이 논문은 선형 프로빙(linear probing) 및 희소 오토인코더(sparse autoencoders)와 같은 다양한 언어 모델 해석 가능성 방법들이 어떻게 단일한 필러-역할 결합(filler-role bindings) 구조로부터 유도될 수 있는지를 수학적 및 경험적으로 입증하는 통합 프레임워크로서 텐서 곱 표현(Tensor Product Representations, TPRs)을 제안한다.

원저자: Zhang Enyan, R. Thomas McCoy

게시일 2026-09-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhang Enyan, R. Thomas McCoy

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 조용하고 웅성거리는 세계에서, 연구자들은 거대한 컴퓨터 프로그램인 언어 모델이 실제로 어떻게 생각하는지 이해하려고 노력하고 있습니다. 이 시스템들은 시를 쓰고, 수학 문제를 풀고, 대화를 나눌 수 있지만, 그 디지털 두뇌 내부에는 정보가 긴 숫자 리스트 형태로 저장되어 있습니다. 수년 동안 과학자들은 이 블랙박스 내부를 들여다보기 위해 다양한 도구들을 사용해 왔으며, 모델들이 놀라울 정도로 질서 정연한 방식으로 정보를 조직하고 있다는 사실을 발견했습니다. 어떤 도구들은 모델들이 이러한 숫자 리스트를 더하고 빼는 방식으로 퍼즐을 풀 수 있음을 보여주며, 다른 도구들은 특정 단어나 아이디어를 마주할 때 모델의 특정 부분이 빛을 발한다는 것을 드러냅니다. 그러나 이러한 발견들은 마치 어두운 집의 서로 다른 방에서 발견된 별개의 단서들처럼 고립되어 있었습니다. 핵심적인 질문은, 이 모든 서로 다른 행동들을 설명할 수 있는 하나의 근본적인 구조가 존재하는지, 아니면 모델들이 그저 관련 없는 기술들의 혼란스러운 뒤섞임에 불과한 것인지 하는 점이었습니다.

예일 대학교의 한 연구팀은 이 수수께끼에 대한 통합적인 해답을 제시했습니다. 그들은 이 복잡한 언어 모델들이 '텐서 곱 표현(Tensor Product Representations)'이라 불리는 특정한 구조적 원리에 기반하여 구축되었다고 제안합니다. 쉽게 말해, 이는 모델들이 정보의 내용(특정 단어와 같은)과 그 정보의 역할(문장 내에서 주어인지 목적어인지와 같은)을 긴밀하게 결합함으로써 정보를 저장한다는 것을 의미합니다. 이것은 모든 정보가 무엇인지뿐만 아니라, 그것이 구조 내에서 정확히 어디에 속하는지까지 함께 저장되는 파일링 시스템과 같습니다. 연구진은 이 단순하고 구조화된 데이터 조직 방식이 이전에 서로 무관해 보였던 광범위한 발견들을 설명할 수 있다는 것을 발견했습니다. 이는 모델들이 수학적 유추를 수행할 수 있는 이유, 단순한 테스트가 숨겨진 개념을 드러낼 수 있는 이유, 그리고 모델의 내부 상태 중 한 부분을 바꾸는 것이 왜 예측 가능한 방식으로 동작을 변화시키는지에 대해 설명해 줍니다.

이 아이디어를 테스트하기 위해, 연구팀은 단순히 이론에만 의존하지 않고, 일종의 번역기 역할을 할 새로운 종류의 도구를 만들었습니다. 그들은 문장의 알려진 구조(주어, 동사, 목적어를 식별하는 것)를 가져와 이를 모델들이 사용하는 특정한 숫자 패턴으로 변환하는 시스템을 구축했습니다. 그런 다음, 이 번역된 버전을 소규모의 단순한 네트워크부터 거대하고 최첨단인 언어 시스템에 이르기까지 여러 가지 컴퓨터 모델의 실제 내부 작동 방식과 비교했습니다. 결과는 매우 일관적이었습니다. 숫자 시퀀스와 구조화된 영어 문장을 포함한 테스트에서, 연구진의 구조적 번역은 모델의 내부 상태와 매우 높은 정밀도로 일치했습니다. 더 단순한 모델들의 경우, 그 일치도는 거의 완벽했으며 정보가 처리되는 방식의 거의 모든 변동을 포착해 냈습니다. 가장 크고 복잡한 언어 모델들의 경우에도, 이 번역기는 대다수의 정보를 포착해 냈으며, 이는 이 거대한 시스템들이 규모에도 불구하고 내용과 위치를 결합하는 동일한 근본적인 방법에 의존하고 있음을 시사합니다.

이 발견의 힘은 서로 다른 조사 방법들을 어떻게 연결하는지에 있습니다. 연구진은 자신들의 구조적 번역에 담긴 수학적 논리가 오늘날 과학자들이 사용하는 네 가지 주요 해석 가능성 기법의 결과를 재현하는 데 사용될 수 있음을 보여주었습니다. 첫째, 그들은 언어 모델이 '가산적 유추(additive analogies)'를 수행할 수 있는 이유를 설명했는데, 이는 하나의 개념에서 다른 개념을 빼고 세 번째 것을 더했을 때 연관된 네 번째 결과가 나오는 현상입니다. 그들의 연구는 모델이 본질적으로 특정 '내용-역할 쌍' 사이의 차이를 계산하기 때문에 이런 일이 발생한다는 것을 입증했습니다. 둘째, 그들은 '선형 프로브(linear probes)'가—모델이 특정 사실을 알고 있는지 감지하는 데 사용되는 단순한 테스트인데—실제로 원래의 아이디어를 추출하기 위해 내용에서 역할을 분리하는 방법이라는 것을 보여주었습니다. 셋째, 복잡한 신호를 더 단순한 부분들로 분해하는 '희소 오토인코더(sparse autoencoders)'가 사실상 이와 동일한 내용 및 역할의 결합을 식별하고 있다는 것을 설명했습니다. 마지막으로, 연구자가 모델의 뇌 일부를 교체하여 행동이 어떻게 변하는지 관찰하는 기술인 '활성화 패칭(activation patching)'이, 바로 이러한 특정한 구조적 결합을 직접 교체하는 작업이기 때문에 작동한다는 것을 입示했습니다.

일련의 실험을 통해 연구팀은 모델을 먼저 학습시키지 않고도 이 네 가지 서로 다른 테스트 도구들을 처음부터 구축할 수 있다는 것을 증명했습니다. 연구진이 이렇게 구축된 도구들을 사용하여 모델을 분석했을 때, 이들은 해당 분야에서 사용되는 기존의 고도로 학습된 도구들과 거의 동일한 성능을 보여주었습니다. 예를 들어, 문장에서 다음에 올 단어를 예측하거나 문장의 주어를 식별하는 데 이들의 방법을 사용했을 때, 그 정확도는 기존의 최선책들과 거의 동일했습니다. 대규모 언어 모델을 대상으로 한 특정 테스트에서는, 연구진의 구조적 예측과 표준 방식 사이의 차이가 거의 보이지 않을 정도로 작았으며, 상관 계수가 거의 1에 달했습니다. 이는 모델의 복잡하고 학습된 행동들이 신비롭거나 우연한 것이 아니라, 이 근본적인 구조적 규칙의 직접적인 결과임을 시사합니다.

연구진은 또한 모델이 새로운 상황에 직면했을 때 이 구조가 얼마나 잘 유지되는지도 탐구했습니다. 그들은 문장 세트를 통해 구조적 번역기를 학습시킨 후, 한 번도 본 적 없는 단어와 역할을 포함하는 문장들에 대해 테스트했습니다. 번역기는 성공적으로 일반화되었으며, 새로운 조합에 대해서도 모델의 내부 상태를 정확하게 재구성했습니다. 이는 모델들이 단순히 특정 사례를 암기하는 것이 아니라, 새로운 내용을 알려진 역할과 결합하는 유연한 시스템을 사용하고 있음을 나타냅니다. 이 연구는 인공지능의 모든 미스터리를 해결했다고 주장하거나 모든 모델이 동일하다고 주장하는 것은 아닙니다. 하지만, 하나의 일관된 프레임워크가 이 시스템들이 세상을 어떻게 표현하는지 설명할 수 있다는 강력한 증거를 제공했습니다. 다양한 해석 가능성 방법들이 모두 동일한 구조적 실체를 가리키고 있음을 보여줌으로써, 이 연구는 고립된 관찰들을 신경망이 작동하는 방식에 대한 단일하고 일관된 그림으로 전환하며, 분야의 통합된 이해에 한 걸음 더 다가갔습니다.

기술 요약: 언어 모델 표현에 대한 통합적 관점

문제 정의

기계론적 해석 가능성(mechanistic interpretability) 분야는 가법적 유추(additive analogies), 선형 프로빙(linear probing), 희소 오토인코더(sparse autoencoders, SAEs), 활성화 패칭(activation patching) 등 신경망 표현을 이해하기 위한 다양한 방법론들을 산출해 왔다. 각 방법은 귀중한 통찰을 제공하지만, 현재 이들은 서로 고립된 상태로 존재한다. 이러한 이질적인 방법들이 왜 작동하는지, 그리고 이들이 서로 어떻게 연관되어 있는지 설명할 수 있는 포괄적인 이론적 프레임-워크가 부재하다. 구체적으로, 이 분야에는 표현의 구성적 성격, 선형 디코딩 가능성, 그리고 인과적 개입에 대한 취약성을 동시에 설명할 수 있는, 신경망 표현의 기저 구조에 대한 정밀하고 폐쇄형(closed-form)인 설명이 결여되어 있다.

방법론

저자들은 언어 모델 표현의 구조를 설명하기 위한 통합 가설로 **텐서 곱 표현(Tensor Product Representations, TPRs)**을 제안한다. 벡터 기호 체계(Vector Symbolic Architectures)에서 유래한 TPR은 "필러(fillers)"(내용 요소)를 "역할(roles)"(구조적 위치)에 텐서 곱(외적)을 통해 결합함으로써 정보를 인코딩한다.

핵리의 방법론은 다음 세 단계로 구성된다:

근사(Approximation): 저자들은 TPR을 **텐서 곱 인코더(Tensor Product Encoder, TPE)**를 사용하여 구체화한다. TPE는 필러-역할 쌍으로 인코딩된 입력을 바탕으로 동결된 대상 모델(toy RNN부터 대규모 LLM까지)의 은닉 상태를 근사하도록 훈련된 신경망 아키텍처이다.
수학적 유도(Mathematical Derivation): 저자들은 네 가지 주요 해석 가능성 방법론을 TPR의 수학적 특성(특히 결합 및 해제 연산)으로부터 직접 유도한다.
경험적 구축(Empirical Construction): 훈련된 TPE를 사용하여 가법적 유추, 선형 프로브, SAE, 그리고 활성화 패칭 개입의 사례들을 구축한다. 이들은 이렇게 "구축된" 변형 모델들을 표준적인 방식으로 훈련된 버전의 방법들과 비교한다.

실험은 지식의 근거(ground-truth)를 확보하기 위해 두 가지 주요 도메인을 활용한다:

합성 시퀀스(Synthetic Sequences): 고정된 길이의 숫자 시퀀스를 복사하거나 역전시키는 작업(RNN, GRU, LSTM 활용).
구조화된 문장(Structured Sentences): 주어-동사-목적어(SVO) 문장(예: "the [subject] will [verb] the [object]")을 다양한 임베딩 모델과 Qwen3, OLMo, GPT-OSS와 같은 대규모 언어 모델(LLM)로 처리.

핵심 기여

1. 정밀한 근사로서의 TPR

저자들은 TPR이 다양한 신경망의 은닉 상태를 높은 충실도로 근사할 수 있음을 입증한다.

결과: 합성 시퀀스 작업에서 TPE는 평균 치환 정확도 **99.97%**와 $R^2$ 값 0.9385를 달rec했다. SVO 문장 작업에서는 임베딩 모델에 대해 $R^2 > 0.90$ , LLM(특히 period-token 표현)에 대해 $R^2 > 0.60$ 을 달성했다.
의의: 이는 분석 대상이 되는 표현들이 선형 변환된 TPR과 구조적으로 일치함을 확인시켜 준다.

2. 해석 가능성 방법론의 통합

저자들은 네 가지 뚜렷한 해석 기법을 TPR 형식론으로부터 수학적으로 유도하며, 이들이 독립적인 현상이 아니라 동일한 기저 구조의 서로 다른 관점임을 보여준다.

가법적 유추(Additive Analogies): 유추(예: $A - B + C \approx D$ )에 사용되는 벡터 차이가 필러-역할 결합의 차이와 정확히 일치함을 보여준다. 두 시퀀스가 특정 역할에서의 필러만 다르다면, 벡터 차이는 해당 필러의 임베딩을 고립시킨다.
선형 프로빙(Linear Probing): 선형 프로브는 TPR의 해제(unbinding) 연산과 동일한 것으로 나타난다. 특정 개념(예: 주어)을 프로빙하는 것은 수학적으로 TPR에서 "주어" 역할을 해제하여 필러를 복구하는 것과 동일하다.
희소 오토인코더(SAEs): 저자들은 TPR 해제 벡터로부터 SAE 특징 검출기를 직접 유도한다. 이들은 SAE 특징이 특정 필러-역할 결합을 탐지하도록 구축될 수 있음을 보여주며, 왜 SAE가 종종 의미론적으로 유의미한 특징을 찾아내는지 설명한다.
활성화 패칭(Activation Patching): 저자들은 활성화 패칭이 필러-역할 결합 구조를 수정함으로써 작동한다고 제안한다. 이들은 두 번째 순전파를 실행하는 대신, 소스 활성화( $h_{src}$ )에서 결합 차이를 빼는 방식으로 목적지 활성화( $h_{dest}$ )를 구성하는 공식을 유도한다.

3. 유도된 방법론의 경험적 검증

저자들은 오직 TPE 근사를 사용하여 네 가지 방법의 사례를 구축하고 이를 표준 구현과 비교했다.

유추: TPE로 구축된 유추는 표준 벡터 유추(예: 시퀀스 작업에서 99.2% top-1 정확도)와 일치하거나 이를 능가하면서도 더 적은 순전파를 요구했다.
프로브: 분석적으로 구축된 프로브는 모든 모델과 위치에서 훈련된 프로브와 대등한 성능을 보였다.
SAEs: TPE로 구축된 SAE는 훈련된 SAE와 대등한 수준의 높은 재구성 점수( $R^2 \approx 0.96$ )와 특징 품질을 달성했으나, 표현의 연속성 대 이산성 차이로 인해 재구성 충실도는 약간 낮았다.
패칭: TPE로 구축된 패칭 개입은 표준 패칭과 거의 동일한 복원 성능을 생성했다(모델 전반에 걸쳐 피어슨 상관계수 $r > 0.999$ ). 이는 효과의 크기와 레이어를 가로지르는 정보의 이동을 정확하게 재현했다.

의의 및 주장

본 논문은 이 분야를 "신경망의 본질에 대한 통합된 설명"으로 나아가게 한다고 주장한다. TPR을 기저 구조로 상정함으로써 저자들은 다음과 같이 주장한다:

정밀성: TPR 가설은 표현 구조에 대한 폐쇄형 방정식을 제공하여, 분석 중인 네트워크와 독립적으로 표현을 구축할 수 있게 한다.
설명력: 이는 표현이 어떻게 분석되고 편집될 수 있는지를 설명한다. 예를 들어, 왜 선형 프로브가 작동하는지(해제), 왜 유추가 성립하는지(결합 차이), 왜 패칭이 효과적인지(결합 수정)를 명확히 한다.
선형 표현을 넘어: "선형 표현 가설"이 개념이 선형적으로 인코딩된다고 보는 반면, TPR은 더 표현력이 풍부한 구조를 제공한다. 이는 위치-내용의 조합이 단순한 "개념의 주머니(bag of concepts)"가 아닌, 어떻게 구성적으로(필러-역할 결합을 통해) 저장되는지를 설명하며, 구조적 관계(예: 시퀀스 순서)를 포착하는 데 있어 단순 선형 모델의 한계를 해결한다.

저자들은 이 연구가 생물학이 개별 종의 연구를 일반적인 법칙으로 통합했듯이, 서로 다른 모델, 작업, 해석 기법들 사이에서 통일된 구조적 규칙성을 추구하는 "언어 모델의 과학"을 향한 한 걸음이라고 결론짓는다.