Representation in large language models

캐머론 예트만 (Cameron Yetman) 의 논문 "Representation in large language models"에 대한 상세한 기술적 요약입니다.

1. 문제 제기

대규모 언어 모델 (LLM) 의 급속한 성공은 LLM 이 추론과 이해와 같은 진정한 인지 능력을 지녔다고 주장하는 "낙관론자"와, LLM 이 단순히 훈련 데이터를 암기하는 내적 표현 없이 확률적 앵무새나 "확률적 조회 테이블 (stochastic look-up tables)"일 뿐이라고 주장하는 "비관론자" 사이의 철학적·과학적 교착 상태를 촉발시켰습니다.

이론적 불일치의 핵심은 LLM 작동의 알고리즘적 수준 (마르의 분석 수준에 따름) 에 관한 것입니다:

• 비관론자의 견해: LLM 의 행동은 완전히 비표현적 과정인 암기와 확률적 조회 테이블에 의해 주도됩니다.
• 낙관론자의 견해: LLM 의 행동은 생물학적 인지와 유사한 표현 기반 정보 처리에 의해 주도됩니다.

본 논문은 LLM 이 **표현 (representations)**을 활용하는지 여부를 해결하지 않고서는 LLM 의 신념, 의도, 또는 이해에 관한 고차원적 질문에 답할 수 없다고 주장합니다. 저자는 이 근본적인 문제를 해결하기 위해 이 맥락에서 무엇이 표현을 구성하는지 정의하고, "조회 테이블" 대안을 반박하며, 표현을 탐지하는 데 사용되는 실험 기법을 검증하는 것을 목표로 합니다.

2. 방법론 및 이론적 틀

본 논문은 삼중적 방법론적 접근을 채택합니다:

A. 개념적 분석: 표현의 정의

저자는 단순한 인과적 중간체와 진정한 표현을 구별하기 위한 4 가지 조건 프레임워크를 제안합니다. 시스템 $S$의 내부 상태 $R$이 특징 $z$를 표현하는 것은 다음과 같은 경우에만 해당됩니다:

1. 정보 (INFORMATION): $R$은 $z$에 대한 상호 정보를 운반합니다 (불확실성을 줄이는 통계적 상관관계).
2. 활용 가능성 (EXPLOITABILITY): 시스템 $S$는 이 정보에 접근하여 행동을 조건화하는 데 이를 사용할 수 있습니다.
3. 행동 (BEHAVIOR): 이 정보를 활용하면 강건한 (robust) $z$ 관련 행동을 가능하게 합니다 (작은 교란과 다양한 맥락에서도 행동이 안정적으로 유지됨).
4. 역할 (ROLE): $R$은 해당 행동을 주도하는 기계적 역할을 수행합니다 (출력을 생성하는 메커니즘의 인과적 구성 요소임).

참고: 이 정의는 "thetic"(마음 - 세계 적합) 이며, 비개인적이고 무의식적인 상태에 적용됩니다. 이는 하드딩 (Harding, 2023) 과 대비되는데, 하드딩의 기준은 특정 작업에 국한된 반면, 예트만은 표현 귀속이 단일 작업이 아닌 특징 관련 행동 전반에 대해 상대화되지 않는 보다 일반적인 설명을 옹호합니다.

B. "조회 테이블" 가설의 경험적 반박

본 논문은 LLM 을 방대한 암기된 입력 - 출력 매핑으로 보는 "조회 테이블" 대안을 분석합니다. 저자는 이 견해가 분포 외 (out-of-distribution, OOD) 일반화를 설명하지 못한다고 주장합니다.

• 사례 연구 1 (Othello-GPT): 리 등 (Li et al., 2023) 은 오델로 수에 대해 모델을 훈련시켰습니다. 게임 트리의 25% 가 누락된 "편향된" 데이터셋으로 훈련되었음에도 불구하고, 모델은 보지 못한 보드 상태에서도 완벽하게 수행했습니다. 순수한 조회 테이블은 결코 암기하지 않은 상태로 일반화할 수 없습니다.
• 사례 연구 2 (색상 공간): 파텔 & 파블릭 (Patel & Pavlick, 2022) 은 색상 추론에 대해 모델을 테스트했습니다. 훈련 데이터를 회전 (permuted) 하여 특정 RGB 코드 쌍은 새로워졌지만 구조적 관계는 동일하게 유지되도록 했을 때, 모델은 성공적으로 일반화했습니다. 이는 모델이 단순한 쌍을 암기한 것이 아니라 색상 공간 구조에 대한 표현을 학습했음을 시사합니다.

C. 기계적 해석 가능성 (Mechanistic Interpretability, MI) 기법

성능만으로는 결정되지 않는 행동적 추론을 넘어설 수 있도록, 본 논문은 표현을 검증하는 데 필수적인 도구로서 기계적 해석 가능성을 검증합니다.

• 프로빙 (Probing): 내부 활성화에 간단한 분류기 (프로브) 를 훈련시켜 $z$에 대한 정보가 해독 가능한지 확인합니다 (정보와 활용 가능성 테스트).
• 개입 (Intervention, 인과적 테스트): 내부 상태를 수정 (예: 활성화 조향 또는 제거를 통해) 하여 시스템의 행동이 내용 관련 방식으로 변하는지 확인합니다 (역할과 행동 테스트).
  • 예시: Othello-GPT 에서 보드 타일의 내부 표현을 "당신 것"에서 "내 것"으로 뒤집으면, 모델의 예측된 다음 수에 인과적으로 변화가 발생하여 내부 상태가 기계적 역할을 수행함을 증명했습니다.
  • 예시: 템플턴 등 (Templeton et al., 2024) 은 희소 오토인코더 (SAEs) 를 사용하여 특징 (예: "골든 게이트 브리지") 을 식별하고 조향하여 모델이 관련 텍스트를 생성하게 함으로써 특정 특징 표현의 존재를 확인했습니다.

3. 주요 기여

1. 교착 상태의 해결: 본 논문은 LLM 이 단순한 확률적 조회 테이블이 아니라는 엄밀한 논증을 제공합니다. 암기가 발생하더라도, 강건한 분포 외 일반화 능력은 표현 기반 처리를 필요로 합니다.
2. 표현의 정제된 정의: 저자는 상태가 강건한 행동에서 특정 기계적 역할을 수행해야 한다는 요구사항을 통해 "범표현주의 (panrepresentationalism, 모든 것이 표현이라는 관점)"를 피하는 정확한 4 조건 정의를 제시합니다.
3. 기계적 해석 가능성의 옹호: 본 논문은 프로빙과 개입 기법의 사용을 반대 의견 (예: 프로브가 우연한 상관관계를 감지하거나 개입이 인과적 과결정 문제를 겪는다는 주장) 에 대해 옹호합니다. 이러한 기법들은 신경과학의 표준 인과 추론의 "죄의 동반자 (companions in guilt)"이며, AI 에서 표현의 존재를 입증하는 데 유효하다고 주장합니다.
4. 성능과 능력의 구분: 본 논문은 행동적 성공만으로는 (휴리스틱으로 인해) 표현의 진단이 될 수 없으며, 실패 역시 그 부재를 진단할 수 없다고 명확히 합니다. 표현의 존재를 확인하는 것은 오직 내부 기계적 분석을 통해서만 가능합니다.

4. 결과

• 이론적: "조회 테이블" 가설은 오델로나 색상 공간과 같은 구조적 일반화가 필요한 경우의 LLM 행동을 설명하기에 불충분함이 입증되었습니다.
• 경험적: 기존 MI 연구 (Othello-GPT, 색상 공간, SAE) 는 LLM 이 표현의 네 가지 조건을 모두 만족하는 내부 상태를 보유하고 있음을 성공적으로 입증했습니다: 정보를 운반하고, 해독 가능하며, 출력에 인과적으로 영향을 미치며, 강건한 행동을 가능하게 합니다.
• 방법론적: 본 논문은 프로빙이 정보의 존재를 확인하는 반면, 개입이 해당 정보의 인과적 유용성을 확인한다는 점을 확립했습니다. 이 둘은 표현 기반 설명을 위한 완전한 검증 루프를 제공합니다.

5. 의의

• AI 이론의 기초: 본 논문은 LLM 에 대한 향후 이론화의 기초를 제공합니다. LLM 이 표현을 사용한다는 점을 확립함으로써, 인간/동물용으로 개발된 인지 과학 프레임워크를 AI 시스템에 적용하는 것을 정당화합니다.
• 고차원적 인지에 대한 함의: LLM 이 표현을 지녔다면, 그들이 개념, 신념, 또는 이해를 지녔는지 여부에 대한 진지한 철학적 탐구의 문이 열립니다. 논쟁의 초점이 "그들이 표현을 지녔는가?"에서 "그 표현의 본질과 내용은 무엇인가?"로 이동합니다.
• 실용적 AI 안전 및 해석 가능성: MI 기법의 검증은 "블랙박스" 설명을 넘어설 수 있음을 시사합니다. 특정 표현 회로를 식별함으로써 연구자들은 LLM 을 더 잘 이해하고, 디버깅하며, 정렬할 수 있어 더 투명하고 제어 가능한 AI 시스템으로 나아갈 수 있습니다.
• 철학적 합의: 본 논문은 복잡하고 유연한 행동을 설명하는 데 표현이 필수불가결하다는 마음의 철학과 AI 분야에서의 신흥 합의에 기여하며, 기능주의적 인지 과학과 현대 딥러닝 사이의 간극을 메웁니다.