논문 요약: Cell-Based Representation of Relational Binding in Language Models

이 논문은 대규모 언어 모델 (LLM) 이 여러 문장에 걸친 담화 (discourse) 수준에서 엔티티 (entity), 관계 (relation), 속성 (attribute) 을 어떻게 결합하고 추론하는지에 대한 메커니즘을 규명합니다. 저자들은 LLM 이 이러한 정보를 **셀 기반 결합 표현 (Cell-based Binding Representation, CBR)**이라는 저차원 선형 부분 공간 (low-dimensional linear subspace) 을 통해 인코딩한다는 것을 발견했습니다.

1. 연구 배경 및 문제 정의

• 배경: 언어 이해의 핵심은 담화가 전개됨에 따라 엔티티와 그 사이의 관계를 추적하는 것입니다. 기존 연구 (Feng & Steinhardt, 2023 등) 는 LLM 이 짧은 문맥 내에서 엔티티와 속성을 결합하는 'Binding ID' 메커니즘을 발견했으나, 이는 주로 단일 문장이나 매우 짧은 문맥에 국한되었습니다.
• 문제: 다중 문장에 걸친 복잡한 담화에서 여러 엔티티와 관계가 얽혀 있을 때, LLM 이 어떻게 이러한 구조를 유지하고 추론하는지에 대한 메커니즘은 여전히 불명확합니다. 특히, 특정 엔티티에 대해 어떤 관계가 성립하는지 (예: '테이블'이 '호주'에서 '제조됨') 를 인코딩하는 방식이 어떻게 작동하는지 규명할 필요가 있습니다.

2. 방법론 (Methodology)

저자들은 LLM 의 활성화 공간 (activation space) 에서 결합 정보를 찾기 위해 다음과 같은 단계를 거쳤습니다.

2.1 데이터 구성 및 인덱싱 (Indexed Relational Scheme, IRS)

• 데이터: 엔티티, 관계 유형, 속성이 체계적으로 배치된 다중 문장 담화 데이터를 생성했습니다. 각 속성 토큰은 고유한 (엔티티 인덱스 $e_i$, 관계 인덱스 $r_i$) 쌍에 결합되도록 레이블링되었습니다.
• IRS: DRT(담화 표현 이론) 와 같은 명시적 술어 대신, 엔티티와 관계의 도입 순서에 따라 부여된 이산적인 인덱스 ($e_i, r_i$) 를 사용하여 결합 구조를 추상화했습니다.

2.2 CBR 부분 공간 식별 (PLS 회귀)

• 기법: Partial Least Squares (PLS) 회귀를 사용하여 모델의 중간 레이어 (Layer 15 등) 활성화 벡터를 엔티티 인덱스와 관계 인덱스에 매핑했습니다.
• 목표: 활성화 공간에서 엔티티와 관계 인덱스를 가장 잘 예측하는 저차원 선형 부분 공간 (CBR subspace) 을 찾았습니다.

2.3 인과적 개입 (Causal Interventions)

• Activation Patching: 학습된 CBR 부분 공간의 방향을 따라 활성화 값을 조작 (steering/patching) 하여 모델의 예측이 어떻게 변하는지 관찰했습니다.
• 실험:
  • 셀 매핑: CBR 공간 내에서 특정 $(e_i, r_i)$ 셀을 조작하면 해당 셀에 대응하는 속성 예측 점수 (logit) 가 증가하는지 확인.
  • 무작위 비교: CBR 방향이 아닌 무작위 방향으로는 성능 저하가 없음을 확인하여 CBR 의 인과적 중요성을 입증.
  • 스티어링 (Steering): 원본 답안의 로짓을 낮추고 기대하는 답안의 로짓을 높이는 방향으로 인덱스를 조작하여 모델의 행동을 제어.

2.4 일반성 및 안정성 검증

• 도메인 간 전이: 다른 도메인 (국가, 직업, 도시 등) 에서 학습된 CBR 공간이 다른 도메인에서도 인덱스를 예측할 수 있는지, 그리고 번역 벡터 (translation vector) 를 사용하여 조정할 수 있는지 검증.
• 구조적 변형: 문장의 순서를 섞거나 (shuffling), 속성을 제거 (ablation) 하는 등 표면적 형태를 변경했을 때 CBR 구조가 유지되는지 확인.

3. 주요 결과 (Key Results)

3.1 CBR 부분 공간의 발견

• LLM 의 활성화 공간에는 엔티티 인덱스 ($e_i$) 와 관계 인덱스 ($r_i$) 가 각각의 축을 이루는 격자형 (grid-like) 기하학적 구조가 존재합니다.
• 각 '셀 (cell)'은 특정 $(e_i, r_i)$ 쌍에 대응하며, 해당 셀의 중심에 위치한 활성화는 결합된 속성 (attribute) 을 가장 높은 확률로 예측합니다.
• 이 구조는 Llama3-8B-Instruct 와 Qwen3-8B 등 서로 다른 모델 패밀리에서 일관되게 관찰되었습니다.

3.2 인과적 증거

• 성능 저하: CBR 부분 공간을 따라 활성화에 노이즈를 주거나 조작하면 속성 예측 정확도가 급격히 떨어지지만, 무작위 방향에서는 영향이 미미합니다. 이는 LLM 이 결합 작업에 CBR 공간을 필수적으로 사용함을 시사합니다.
• 예측 제어: 특정 셀 (예: $e_i=2, r_i=2$) 로 활성화 벡터를 이동시키면, 모델은 해당 셀에 해당하는 속성 (예: 'France') 을 예측하도록 강제로 변경됩니다.

3.3 일반성과 안정성

• 도메인 간 전이: 특정 도메인에서 학습된 CBR 투영 행렬은 다른 도메인에서는 직접 적용하기 어렵지만, **번역 벡터 (translation vector)**를 통해 조정하면 높은 정확도로 인덱스를 복원할 수 있습니다. 이는 각 도메인마다 공간의 위치는 다르지만, 내부 구조 (기하학적 관계) 는 일관됨을 의미합니다.
• 표면적 변화 불변성: 문장 순서를 섞거나 일부를 제거하더라도 CBR 공간의 전체적인 기하학적 구조와 인덱스 예측 능력은 유지됩니다. 이는 CBR 이 표면적 단서가 아닌 구조적 관계에 기반함을 보여줍니다.
• 복잡한 패턴: 엔티티와 관계의 결합 패턴이 매우 복잡해지더라도 (13 가지 다른 패턴), CBR 구조는 안정적으로 유지됩니다.

3.4 주의할 점 (Attention Heads)

• CBR 정보 처리에 관여하는 어텐션 헤드는 주로 **중간 레이어 (middle layers)**에 집중되어 있으며, 전체 헤드의 일부만 해당 기능을 수행하는 것으로 확인되었습니다.

4. 의의 및 기여 (Significance)

1. 담화 수준 결합 메커니즘 규명: 기존 연구가 단일 문장이나 단순한 결합에 머물렀다면, 이 연구는 다중 문장 담화 수준에서 LLM 이 엔티티와 관계를 어떻게 구조화하여 결합하는지를 최초로 체계적으로 설명했습니다.
2. 선형 표현 가설의 확장: LLM 이 복잡한 관계적 추론을 저차원 선형 부분 공간 (CBR) 을 통해 수행한다는 것을 입증하여, '선형 표현 가설 (Linear Representation Hypothesis)'을 관계 결합 영역으로 확장했습니다.
3. 해석 가능성 및 제어: CBR 부분 공간을 식별함으로써, 모델의 내부 상태를 모니터링하고 (예: 편향된 결합 식별), 인과적 개입을 통해 모델의 추론을 정밀하게 제어할 수 있는 새로운 도구를 제공했습니다.
4. 실제 데이터 적용 가능성: Re-DocRED 와 같은 실제 문서 수준의 관계 추출 데이터셋에서도 CBR 신호가 발견됨을 보여주어, 이 메커니즘이 인공적으로 생성된 데이터뿐만 아니라 실제 자연어 처리 작업에서도 유효할 가능성을 제시했습니다.

결론

이 논문은 LLM 이 복잡한 담화에서 엔티티와 관계를 결합할 때, 이를 **격자 형태의 셀 기반 선형 부분 공간 (CBR)**으로 인코딩한다는 것을 발견했습니다. 이 공간은 엔티티와 관계의 인덱스를 분리하여 표현하며, 모델은 이 공간의 기하학적 구조를 통해 속성을 검색하고 결합합니다. 이러한 발견은 LLM 의 추론 메커니즘을 이해하고, 모델의 신뢰성을 높이며 편향을 완화하는 데 중요한 통찰을 제공합니다.