1. 연구 배경 및 문제 정의 (Problem)

• 배경: '마음의 이론 (Theory of Mind, ToM)'은 타인의 신념 (Belief), 욕구 (Desire), 의도 (Intention) 를 추론하는 능력으로, 인간 사회 지능의 핵심입니다. 최근 대규모 언어 모델 (LLM) 은 표준 ToM 벤치마크에서 좋은 성능을 보이지만, 이는 주로 프롬프트 엔지니어링 (스캐폴딩) 에 의존한 표면적인 모방에 그치는 경우가 많습니다.
• 핵심 문제:
  1. 내부 지식과 외부 행동의 불일치: LLM 이 ToM 질문에는 정답을 내더라도, 실제 대화 (협상, 설득 등) 상황에서는 추론한 심리 상태를 반영하지 못하고 비일관적인 응답을 생성합니다.
  2. 불안정한 ToM 능력: 명시적인 지시 ("마음 상태를 추론하라") 가 없으면 모델은 내재된 ToM 능력을 외부 행동으로 전환하지 못합니다. 이는 모델이 진정한 내재적 인지 (Intrinsic Cognition) 를 가지고 있는지, 아니면 단순히 지시에 반응하는지 의문을 제기합니다.
  3. 한계: 기존 연구들은 외부 프롬프트나 신경 - 심볼릭 접근법에 의존하여 LLM 내부의 ToM 표현을 직접적으로 제어하거나 개선하는 데 한계가 있었습니다.

2. 제안 방법론: COSTOM (Methodology)

저자들은 LLM 의 ToM 능력을 해석 (Interpretation) 하는 것을 넘어, 이를 능동적으로 개입 (Intervention) 하여 정렬 (Alignment) 하는 COSTOM 프레임워크를 제안합니다. 이 프레임워크는 크게 두 단계로 구성됩니다.

1 단계: ToM 해석 및 위치 파악 (Causal Tracing)

• 가설: LLM 이 사회적 상황을 진정으로 이해한다면, BDI(Belief, Desire, Intention) 와 같은 심리 상태 정보가 모델 내부의 활성화 (Activation) 에 인코딩되어 있어야 합니다.
• 기법: 인과적 추적 (Causal Tracing) 을 사용합니다.
  • 대화 히스토리를 인코더 (Encoder) 가 처리하여 특정 층 (Layer) 의 은닉 상태 ($h_\ell$) 를 추출합니다.
  • 이 활성화 값을 '프로브 디코더 (Probe Decoder)'에 주입하여, 해당 층의 정보만으로 에이전트의 심리 상태를 추론하는 질문을 답하게 합니다.
  • 결과: ToM 관련 정보는 LLM 의 초기 층 (Shallow Layers, 예: Layer 0-3) 에서 가장 강력하게 인코딩되고, 깊은 층으로 갈수록 소실되는 경향이 있음을 발견했습니다.

2 단계: ToM 정렬을 위한 활성화 조종 (Activation Steering)

• 목표: 초기 층에서 발견된 ToM 민감도 (Sensitivity) 를 활용하여 모델의 내부 표현을 정렬합니다.
• 기법: 경로 브리지 (Gradient Bridge) 메커니즘을 통한 활성화 조종.
  • 구조: 인코더와 프로브 디코더 (고정됨) 를 사용하는 듀얼 모델 구조를 채택합니다.
  • 학습 목표: 디코더가 ToM 질문 (예: "에이전트의 욕구는 무엇인가?") 에 대해 정답 (Ground-truth BDI) 을 예측하도록 손실 함수 ($L_{ToM}$) 를 정의합니다.
  • 경사 전파: 디코더의 손실은 역전파되어 인코더의 초기 층 (Layer 0~$\ell$) 으로 전달됩니다. 이때 LoRA (Low-Rank Adaptation) 를 해당 층에만 적용하여 파라미터를 미세 조정합니다.
  • 효과: 깊은 층은 고정된 채, ToM 정보가 집중된 초기 층의 활성화만 "조종 (Steering)"되어 모델이 ToM 기반의 사회적 추론을 내재화하도록 유도합니다.
• 효율성: 전체 모델 파인튜닝이 아닌, 특정 층의 LoRA 만 업데이트하므로 파라미터 효율성이 매우 높고, 분산 학습에도 호환됩니다.

3 단계: 다운스트림 태스크 적용

• 학습된 ToM 강화 인코더를 사용하여 실제 대화 (협상, 설득) 태스크에서 응답을 생성합니다. 이때 디코더는 ToM 추론이 아닌, 주어진 대화 목표 (예: 협상 성공) 를 달성하는 생성기로 작동합니다.

3. 주요 기여 (Key Contributions)

1. ToM 해석 (ToM Interpretation): LLM 의 ToM 관련 특징이 주로 초기 층 (Early Layers) 에 집중되어 있음을 인과적 추적을 통해 실증적으로 규명했습니다. 이는 고차원 추론이 깊은 층에만 존재한다는 기존 통념과 다릅니다.
2. 효율적이고 경량화된 개입 (Efficient Intervention): COSTOM 프레임워크를 제안하여, 소수의 파라미터 (초기 층 LoRA) 만 업데이트함으로써 안정적이고 인간 유사 (Human-like) 인 사회적 추론 능력을 유도했습니다.
3. 대화 태스크 성능 향상: 내재적 정렬이 외부 행동으로 전환됨을 입증했습니다. COSTOM 은 플러그 앤 플레이 모듈로 작동하며, 다양한 사회적 상호작용 태스크 (협상, 설득) 에서 대화의 질을 획기적으로 개선했습니다.

4. 실험 결과 (Results)

• 데이터셋: NEGOTIATIONTOM (협상) 및 PERSUASIVETOM (설득) 벤치마크 사용.
• 모델: Llama-3-8B-Instruct, Qwen2.5-7B-Instruct.
• RQ1 (해석): ToM 정보 (신념, 욕구, 의도) 가 초기 층 (Layer 0-3) 에서 가장 높은 복원 정확도를 보였으며, 깊은 층으로 갈수록 급격히 감소하는 '표현 붕괴 (Representation Collapse)' 현상이 관찰되었습니다.
• RQ2 (조종 효과):
  • COSTOM 은 깊은 층에서의 ToM 정보 소실을 방지하고, 초기 층의 신호를 증폭시켰습니다.
  • 예를 들어, Llama-3 에서 Layer 24 의 '욕구 (Desire)' 추론 정확도가 기존 모델의 2.39% 에서 COSTOM 적용 후 51.48% 로 급증했습니다.
• RQ3 (대화 생성):
  • 성능: COSTOM 은 Zero-shot, MindDial(프롬프트/파인튜닝), 전체 층 LoRA 등 모든 베이스라인을 압도했습니다.
  • 지표: ToM 추론 품질 (ToM Reasoning Quality), 문맥 일관성 (Contextual Coherence), 전략 효과성 (Strategy Effectiveness) 에서 모두 최상위 점수를 기록했습니다.
  • 특이점: 전체 층을 파인튜닝하는 것보다 부분 층 (초기 층) 만을 조종하는 것이 사회적 추론 태스크에서 더 효과적이었습니다. 이는 사회적 추론이 모델 내의 국소화된 인지 기능임을 시사합니다.

5. 의의 및 결론 (Significance)

• 이론적 의의: LLM 이 외부 지시 없이도 내재적으로 ToM 능력을 보유하고 있으며, 이를 특정 층의 활성화 조작을 통해 안정적으로 외부 행동으로 끌어낼 수 있음을 증명했습니다.
• 실용적 의의:
  • 플러그 앤 플레이: 별도의 대규모 재학습 없이 특정 층의 LoRA 만으로 사회적 지능을 향상시킬 수 있어 비용 효율적입니다.
  • 신뢰성: 프롬프트에 의존하지 않는 안정적인 ToM 기반 대화 에이전트 구축이 가능해졌습니다.
• 한계: 현재는 오픈 가중치 (Open-weights) 모델의 내부 활성화에 접근 가능한 경우에만 적용 가능하며, 더 넓은 사회적 시나리오에 대한 일반화 가능성은 추가 연구가 필요합니다.

요약하자면, COSTOM 은 LLM 의 '마음의 이론'을 블랙박스처럼 다루는 것을 넘어, 모델의 내부 구조 (초기 층) 를 인과적으로 분석하고 조작함으로써, 진정한 사회적 추론 능력을 내재화하고 이를 실제 대화에 효과적으로 적용하는 새로운 패러다임을 제시했습니다.