논문 요약: "From Associations to Activations: Comparing Behavioral and Hidden-State Semantic Geometry in LLMs"

이 논문은 대규모 언어 모델 (LLM) 의 **행동적 데이터 (Behavioral Data)**로부터 모델의 내부 은닉 상태 (Hidden-State) 의 의미 기하학적 구조를 얼마나 정확하게 복원할 수 있는지를 탐구합니다. 저자들은 심리언어학 실험 패러다임을 LLM 에 적용하여, 모델이 생성하는 출력 (행동) 만으로 내부 표현의 구조를 추론할 수 있는지 검증했습니다.

---

1. 연구 문제 (Problem)

인지과학에서 의미 지식은 관찰할 수 없는 잠재적 구조 (Latent Structure) 로 간주되며, 화자의 '의미 표현'을 직접 관찰할 수는 없지만 행동을 통해 체계적으로 추론할 수 있습니다. LLM 의 경우, 인간의 뇌와 달리 행동 (출력) 과 내부 표현 (은닉 상태) 을 모두 관찰 가능하다는 점이 독보적입니다.

• 핵심 질문: LLM 의 행동적 유사성 (예: 단어 연상 과제에서의 응답) 은 모델 내부의 계층별 은닉 상태 (Hidden-state) 가 형성한 의미 기하학 (Semantic Geometry) 과 얼마나 일치하는가?
• 실용적 필요성: 모델의 내부 가중치나 로짓 (Logits) 에 접근할 수 없는 블랙박스 환경에서도, 모델의 내부 의미 조직을 행동 데이터만으로 얼마나 복원 (Recover) 할 수 있는지를 규명하는 것이 중요합니다.

2. 방법론 (Methodology)

2.1. 데이터 및 모델

• 모델: 8 개의 지시 튜닝 (Instruction-tuned) 된 트랜스포머 모델 (Falcon3, Gemma-2, Llama-3.1, Mistral, Phi-4, Qwen2.5, rnj-1 등) 사용.
• 어휘: SUBTLEX-US 어휘 기반의 5,000 개 명사로 구성된 공유 어휘집 사용.
• 데이터 규모: 총 1,750 만 회 이상의 실험 트라이얼 수집.

2.2. 행동 실험 패러다임 (Behavioral Paradigms)

두 가지 심리언어학적 과제를 통해 행동적 의미 기하학을 구축했습니다.

1. 강제 선택 (Forced Choice, FC): 입력 단어와 16 개의 후보 단어 중 가장 관련 있는 2 개를 선택하도록 요청. (제한된 후보 집합 내에서 상대적 유사성 측정)
2. 자유 연상 (Free Association, FA): 입력 단어에 대해 가장 먼저 떠오르는 5 개의 단어를 생성하도록 요청. (제약이 적은 개방형 응답)

• 처리: 수집된 응답을 '입력 - 응답' 행렬 (Cue-Response Matrix) 로 변환하고, PPMI(Positive Pointwise Mutual Information) 로 가중치를 부여한 후 코사인 유사성을 계산하여 **행동 유사성 행렬 ($S_{beh}$)**을 생성했습니다.

2.3. 은닉 상태 추출 (Hidden-State Extraction)

동일한 어휘에 대해 4 가지 다른 컨텍스트 전략으로 은닉 상태를 추출했습니다.

• Averaged: 자연어 문장 (C4 코퍼스) 50 개에서 추출 후 평균화.
• Meaning: "이 단어의 의미는 무엇인가?"와 같은 정의형 프롬프트.
• Task (FC/FA): 각각의 행동 실험 프롬프트와 동일한 컨텍스트.
  추출된 각 층 (Layer) 의 단어 벡터 간 코사인 유사성을 계산하여 **은닉 상태 유사성 행렬 ($S_{hid}$)**을 생성했습니다.

2.4. 평가 지표

• 표현 유사성 분석 (RSA, Representational Similarity Analysis): 은닉 상태 행렬과 행동 행렬 간의 쌍별 유사성 구조 상관관계 (Pearson Correlation) 를 계산.
• 최접근 이웃 중첩 (Nearest-Neighbor Overlap): 은닉 상태와 행동 공간에서 k-최근접 이웃이 일치하는 비율 측정.
• 리드 회귀 (Ridge Regression): 행동 데이터 (FC/FA) 와 언어적 베이스라인 (FastText, BERT, 교차 모델 합의) 을 사용하여 보이지 않는 단어 쌍의 은닉 상태 유사성을 예측하는 성능 평가.

---

3. 주요 기여 (Key Contributions)

1. 행동 - 활성화 정렬 (Behavior-Activation Alignment) 분석: 8 개의 모델에 걸쳐 FC 와 FA 행동 기하학이 계층별 은닉 상태와 얼마나 정렬되는지 RSA 와 최근접 이웃 분석을 통해 체계적으로 규명했습니다.
2. 행동 기반 예측 가능성 입증: 보유된 단어 (Held-out words) 를 사용한 회귀 분석을 통해, **행동 유사성 (특히 강제 선택 FC)**이 어휘적 베이스라인 (FastText, BERT) 과 교차 모델 합의 (Cross-model consensus) 를 넘어서서 모델의 내부 은닉 상태 유사성을 예측할 수 있음을 증명했습니다.
3. 대규모 데이터셋 및 재현성 허브: 1,750 만 회 이상의 LLM 연상 행동 데이터셋과 전처리, 평가 코드를 오픈소스로 공개하여 연구의 재현성을 높였습니다.

---

4. 주요 결과 (Results)

4.1. 강제 선택 (FC) vs 자유 연상 (FA)

• FC 의 우월성: 강제 선택 (FC) 행동은 은닉 상태 기하학과 상당히 더 높은 정렬도를 보였습니다. 반면, 자유 연상 (FA) 은 신호 대 잡음비가 낮아 정렬도가 상대적으로 낮았습니다.
  • 이유: FC 는 제한된 후보 집합을 통해 응답을 집중시켜 희소성을 줄이고 명확한 비교를 유도하는 반면, FA 는 응답 공간이 너무 넓고 희소하여 (Sparsity) 의미 구조 복원에 노이즈가 많습니다.
• 추출 전략의 영향: 'Meaning' 프롬프트나 'Task' 프롬프트 (FC/FA 과제의 프롬프트) 를 사용한 추출 전략이 'Averaged' (자연어 문장 평균) 전략보다 더 높은 정렬도를 보였습니다. 이는 특정 의미 맥락 (Task-aligned) 이 모델의 초기~중간 층에서 행동과 내부 표현의 일치를 강화함을 시사합니다.

4.2. 예측 성능 (Ridge Regression)

• 행동 데이터 (특히 FC) 를 추가하면 베이스라인 (FastText, BERT, 교차 모델 합의) 만을 사용한 모델보다 테스트 세트 $R^2$가 유의미하게 증가했습니다 (평균 +0.022).
• 이는 모델의 내부 의미 구조가 이산적인 행동 출력 (Discrete Outputs) 만으로도 복원 가능한 정보를 포함하고 있음을 의미합니다.

4.3. 교차 모델 합의 (Cross-Model Consensus)

• 다른 모델들의 은닉 상태 유사성을 평균한 '교차 모델 합의'는 단일 모델의 은닉 상태를 예측하는 데 매우 강력한 예측 변수였습니다. 이는 다양한 LLM 들이 **공통된 저차원 의미 부분 공간 (Universal Semantic Subspace)**을 공유하고 있음을 지지합니다.

---

5. 의의 및 결론 (Significance & Conclusion)

• 인지과학적 검증: 이 연구는 "구조화된 행동은 내부 상태에 의해 제약받으며, 이를 통해 내부 상태를 부분적으로 복원할 수 있다"는 인지과학의 핵심 가설을 LLM 을 통해 엄밀하게 검증했습니다.
• 해석 가능성 (Interpretability): 로짓 (Logits) 이나 가중치에 접근하지 못하는 블랙박스 환경에서도, **잘 설계된 행동 과제 (특히 강제 선택)**를 통해 모델의 내부 의미 조직을 파악할 수 있음을 보였습니다.
• 실용적 시사점:
  • FC 의 중요성: 개방형 생성 (FA) 보다 제한된 선택지 (FC) 를 요구하는 과제가 내부 의미 기하학을 더 정확하게 포착합니다.
  • 측정 도구로서의 행동: 행동 과제는 단순한 성능 평가가 아니라, 모델의 내부 인지 상태를 탐구하는 측정 도구 (Measurement Instrument) 로서 가치가 있습니다.

결론적으로, 이 논문은 LLM 의 행동 데이터가 단순한 출력 이상으로, 모델 내부의 복잡한 의미 기하학적 구조를 복원할 수 있는 중요한 단서를 제공함을 입증했습니다. 특히 강제 선택 (Forced Choice) 패러다임이 내부 구조를 이해하는 데 가장 효과적인 도구임을 강조합니다.