Slot Machines: How LLMs Keep Track of Multiple Entities

1. 문제 제기 (Problem)

대형 언어 모델 (LLM) 은 문맥 내에서 여러 개체 (entity) 를 식별하고, 각 개체가 가진 속성 (attribute) 과의 바인딩 (binding) 관계를 유지해야 합니다. 인간은 '빨간 정사각형'과 '파란 원'을 동시에 구별하여 인식할 수 있지만, LLM 이 이러한 다중 개체 정보를 어떻게 표현하고 처리하는지는 명확하지 않았습니다.

기존 연구들은 모델이 한 번에 하나의 개체 정보만 표현하거나, 간접적인 전략 (예: '첫 번째 개체'라는 개념을 공유) 을 사용한다고 보았습니다. 그러나 인간처럼 여러 개체의 정보를 동시에 처리하거나, 단일 토큰 위치에서 두 개 이상의 바인딩 관계 (예: "Alice 는 음식을 준비하고 Bob 은 음식을 먹는다"와 "Bob 은 음료를 준비하고 Alice 는 음료를 마신다"가 한 문장에 겹치는 경우) 를 동시에 인코딩해야 하는 복잡한 상황에서는 기존 모델들의 한계가 드러났습니다.

이 논문은 다음과 같은 핵심 질문을 던집니다:

• LLM 은 단일 토큰 위치에서 여러 개체의 정보를 동시에 표현할 수 있는가?
• 만약 그렇다면, 이 정보들은 어떻게 구조화되어 있으며, 하류 작업 (downstream tasks) 에서 실제로 활용되는가?

2. 방법론 (Methodology)

2.1. 다중 슬롯 프로빙 (Multi-slot Probing)

저자들은 단일 토큰의 잔류 스트림 (residual stream) 활성화에서 여러 개체의 정보를 분리해 내기 위해 **다중 슬롯 프로빙 (Multi-slot Probing)**이라는 새로운 접근법을 도입했습니다.

• 구조: 혼합 전문가 (Mixture-of-Experts) 아키텍처를 사용합니다.
  • K 개의 선형 분류기 (Slots): 동일한 속성 (예: '키가 크다') 을 예측하기 위해 서로 다른 가중치를 학습하는 여러 분류기를 둡니다.
  • 라우팅 레이어 (Routing Layers): 각 개체 (entity) 에 대해 특정 토큰 위치에서 어떤 슬롯이 해당 개체의 속성을 예측하는 데 가장 효과적인지 결정하는 라우터가 있습니다.
• 목표: 텍스트 내의 모든 토큰 위치에서, 그 시점까지 언급된 모든 개체 (현재 개체, 이전 개체, 그 이전 개체 등) 의 속성을 동시에 예측할 수 있는지 확인합니다.
• 데이터: 8 개의 개체가 각각 4 문장으로 묘사되는 10,000 개의 프롬프트를 생성하여 실험했습니다.

2.2. 실험 설계

• 슬롯 분석: 현재 개체 (Current-entity) 와 이전 개체 (Prior-entity) 의 정보가 별도의 슬롯에 인코딩되는지 확인.
• 패칭 (Patching) 및 스티어링 (Steering):
  • 시퀀스 회수 (Sequence Retrieval): 개체 순서를 추론하는 작업에 '이전 개체' 정보가 필요한지 확인하기 위해 활성화 값을 패칭했습니다.
  • 갈등 감지 (Conflict Detection): 인접한 두 개체의 속성이 상충되는지 판단하는 작업에 MLP 레이어가 '이전 개체' 정보를 활용하는지 확인하기 위해 스티어링을 수행했습니다.
  • 명시적 회수 (Explicit Retrieval): 특정 속성을 가진 개체의 이름을 찾는 등, 개별 개체에 대한 명시적 질문에는 '이전 개체' 정보가 실제로 사용되는지 확인했습니다.
• 다중 바인딩 테스트: "Alice 는 준비하고 Bob 은 먹는다"와 같이 단일 토큰 (예: '음식') 에서 두 개의 주체 - 동사 - 목적어 바인딩을 동시에 처리해야 하는 문장을 생성하여 모델의 성능을 평가했습니다.

3. 주요 기여 및 발견 (Key Contributions & Results)

3.1. 다중 개체 표현의 발견: 'Current'와 'Prior' 슬롯

• 동시 표현: 모델은 단일 토큰 위치에서 현재 설명 중인 개체와 직전 개체의 정보를 동시에 표현합니다.
• 직교성 (Orthogonality): '현재 개체 슬롯 (Current-entity slot)'과 '이전 개체 슬롯 (Prior-entity slot)'은 서로 다른 벡터 방향을 가지며, 통계적으로 거의 직교합니다. 즉, "현재 개체가 X 속성을 가진다"는 벡터와 "이전 개체가 X 속성을 가진다"는 벡터는 서로 다릅니다.
• 정보 복사: 현재 개체의 정보가 다음 개체의 토큰으로 복사되어 '이전 개체' 슬롯에 저장되는 메커니즘이 관찰되었습니다.

3.2. 슬롯의 기능적 역할 차이

• 관계 추론 (Relational Inference): '이전 개체 슬롯'은 개체 간의 관계를 추론하는 데 필수적입니다.
  • 순서 추론: "Alice 다음에 온 사람은 누구인가?"와 같은 질문은 이전 개체 정보를 활용합니다.
  • 갈등 감지: 인접한 개체의 속성 충돌을 감지하는 것은 MLP 레이어가 현재와 이전 슬롯 정보를 통합하여 수행합니다.
• 명시적 회수의 한계: '이전 개체 슬롯'은 개별 개체에 대한 명시적 회수에는 사용되지 않습니다.
  • "목록에 키가 큰 사람이 있는가?" 또는 "키가 큰 사람의 이름은 무엇인가?"와 같은 질문은 '현재 개체 슬롯'을 통해만 해결됩니다.
  • 패칭 실험 결과, '이전 개체' 토큰의 활성화 값을 조작해도 모델의 답변에는 영향을 미치지 않았습니다. 즉, 정보가 존재함에도 불구하고 모델이 이를 활용하지 않는 **'정보의 가용성과 실제 사용 사이의 간극'**이 존재합니다.

3.3. 단일 토큰에서의 다중 바인딩 처리 능력

• 기존 모델의 실패: Qwen3-32B, DeepSeek-V3.2, GPT-4o 등 대부분의 오픈 소스 및 기존 상용 모델은 "Alice 는 준비하고 Bob 은 먹는다"와 같이 단일 토큰에 두 개의 바인딩을 인코딩해야 하는 문장을 처리하는 데 실패했습니다 (무작위 추측 수준).
• 최신 프런티어 모델의 성공: Claude Opus-4.5, Gemini-3-Pro 와 같은 최신 최첨단 모델은 이러한 작업을 성공적으로 수행했습니다. 이는 최신 모델이 더 정교한 바인딩 전략 (예: 더 발전된 슬롯 메커니즘 또는 다른 토큰으로 분산) 을 개발했음을 시사합니다.

4. 의의 및 시사점 (Significance)

1. 모델 내부 상태와 행동의 불일치: 모델의 활성화 (activations) 에는 정보가 존재하더라도, 모델이 이를 특정 작업에 활용하지 않을 수 있음을 보여줍니다. 이는 모델의 '지식'과 '추론 능력' 사이의 간극을 이해하는 데 중요합니다.
2. 정렬 (Alignment) 과 관련된 행동의 기제: 모델이 사용자의 의견과 자신의 의견, 혹은 진실과 거짓을 동시에 추적해야 하는 상황 (예: 아첨, 기만, 설득) 에서 '현재'와 '이전' 슬롯이 서로 다른 관점을 동시에 유지하는 데 사용될 수 있습니다. 이는 모델이 내부적으로 다른 신념을 유지하면서 외부적으로는 일관된 답변을 생성하는 '블라인드 사이트 (blindsight)' 현상을 설명할 수 있습니다.
3. 해석 가능성 (Interpretability) 방법론의 개선: 기존의 특징 (feature) 라벨링 방법은 현재 논의 중인 정보에 초점을 맞추지만, '이전 개체'와 같은 비현재적 정보를 잘못 라벨링할 수 있음을 지적합니다. 다중 슬롯 구조를 고려한 해석 방법론이 필요합니다.
4. Chain-of-Thought (CoT) 의 역할: CoT 를 사용하면 모델이 복잡한 문장을 재구성하여 각 바인딩을 별도의 토큰에 저장할 수 있으므로, 기계적 한계를 우회할 수 있을 가능성이 제기됩니다.

결론

이 논문은 LLM 이 여러 개체를 추적할 때 현재 개체와 이전 개체를 구분하는 직교적인 슬롯 구조를 사용한다는 것을 밝혔습니다. 이 구조는 개체 간 관계 추론에는 유용하지만, 개별 개체에 대한 명시적 회수에는 제한적으로만 활용됩니다. 이러한 발견은 모델의 내부 표현 메커니즘과 실제 행동 사이의 괴리를 이해하고, 향후 더 정교한 바인딩 능력을 갖춘 모델의 발전 방향을 제시한다는 점에서 중요한 의의를 가집니다.