Probing the Lack of Stable Internal Beliefs in LLMs

1. 문제 제기 (Problem Statement)

대형 언어 모델 (LLM) 은 대화 시스템, 역할극, 내러티브 생성 등 다양한 분야에서 인간과 유사한 페르소나 (persona) 를 구현하는 데 탁월한 능력을 보여주고 있습니다. 그러나 기존 연구가 주로 외부적 일관성 (External Consistency) (예: 사실적 모순, 논리적 자기 모순) 에 초점을 맞춘 반면, 내부적 일관성 (Internal Consistency) 의 부재는 충분히 검증되지 않았습니다.

• 핵심 문제: LLM 이 명시적인 힌트나 재지시 없이도 대화 중 암묵적인 목표 (unstated goal) 를 유지할 수 있는가?
• 현상: 모델은 표면적으로는 일관된 답변을 하더라도, 대화의 흐름 속에서 내부적으로 선택한 '목표 (Target)'가 은밀하게 변경되는 목표 부동 (Goal Drift) 현상이 발생합니다. 이는 인간과 같은 신뢰성이나 확고함 (determination) 과 같은 페르소나 특성을 구현하는 데 치명적인 한계로 작용합니다.

2. 방법론 (Methodology)

저자들은 LLM 의 내부 신념 상태를 정량적으로 측정하기 위해 20 가지 질문 게임 (20-question-style riddle game) 패러다임을 개조하여 사용했습니다.

A. 실험 설계

• 역할:
  • Proposer (제안자): 0~99 의 숫자 또는 10 개의 엔티티 (예: 동물, 사물) 목록 중 하나를 비밀리에 선택하여 '타겟'으로 고정합니다.
  • Guesser (추측자): 예/아니오 질문을 통해 타겟을 추측합니다.
• 작업 유형:
  1. 숫자 추측 (Number Guessing): 10 개의 숫자 중 하나를 선택. (의미론적 복잡도 최소화)
  2. 엔티티 추측 (Entity Guessing): 10 개의 다양한 엔티티 중 하나를 선택. (실제 응용 시나리오 모사)

B. 탐지 기술 (Probing Technique)

모델의 내부 상태가 대화 중에 어떻게 변하는지 실시간으로 모니터링하기 위해 분기 기반 탐지 (Branch-based probing) 방식을 도입했습니다.

• 메커니즘: 각 대화 턴 (Turn) 이 끝난 후, 주 대화 흐름을 방해하지 않도록 별도의 컨텍스트 (Branch) 를 생성합니다.
• 프롬프트: "선택한 타겟의 인덱스 번호는 무엇인가?"라고 질문하여 모델이 현재 믿고 있는 타겟의 확률 분포 ($b_i$) 를 추출합니다.
• 지표:
  • Drift Rate (이동률): 대화 중 타겟이 변경된 횟수 비율.
  • KL Divergence: 이전 턴과 현재 턴의 타겟 확률 분포 간의 차이 (신념 상태의 연속적 변화 측정).
  • External Consistency Verification (ECV): LLM-as-a-Judge 를 활용하여 표면적 논리 모순 유무를 평가.

C. 개선 방안 (Training Framework)

일관성 개선을 위해 지도 미세 조정 (Supervised Fine-Tuning) 을 수행했습니다.

• 손실 함수 (Loss Function): 교차 엔트로피 (Cross-Entropy, CE) 와 KL 발산 (KL Divergence) 정규화를 결합.
  • $L = \sum [\alpha \cdot D_{KL}(P_{probe}^t || P_{initial}) + \beta \cdot L_{CE}]$
  • 초기 선택된 타겟 분포 ($P_{initial}$) 와 현재 턴의 분포 ($P_{probe}^t$) 간의 KL 발산을 최소화하여 목표 유지 능력을 학습시킵니다.

3. 주요 결과 (Key Results)

A. 탐지 결과 (Prompting)

• 보편적 실패: GPT-4o, Claude-3.7, Deepseek-v3.1 등 모든 최신 모델에서 암묵적 일관성 부재가 관찰되었습니다.
• 목표 부동: 대부분의 모델이 대화의 100% 에서 최소 한 번 이상 타겟을 변경했습니다 (Once Drift Rate).
• 변경 빈도: 전체 대화 턴의 16.77% ~ 50% 이상에서 내부 타겟이 변경되었습니다.
• 추론 모델의 역설: "Reasoning" 기능이 활성화된 모델 (예: Deepseek-v3.1-Reasoning) 은 단순한 숫자 추측 작업에서 오히려 더 높은 목표 부동 (Goal Drift) 을 보였습니다. 이는 과도한 추론 (Overthinking) 이 간단한 목표 유지에 방해가 될 수 있음을 시사합니다.
• 외부 vs 내부: 외부적 일관성 (논리적 모순 없음) 이 높더라도 내부적 일관성 (목표 유지) 은 전혀 보장되지 않았습니다.

B. 미세 조정 결과 (Fine-tuning)

• CE 만 학습: 표면적 일관성은 유지되지만, 암묵적 일관성 (목표 유지) 은 개선되지 않았습니다.
• KL 발산 정규화: KL 발산 손실 함수를 적용한 모델은 Drift Rate 가 크게 감소 (예: 36.83% → 13.99%) 하여 목표 유지 능력이 향상되었습니다.
• 결론: 명시적인 KL 정규화가 내부 신념 상태를 고정하는 데 효과적입니다.

4. 주요 기여 (Key Contributions)

1. 개념의 정립: '외부적 일관성'과 구별되는 '암묵적 일관성 (Implicit Consistency)' 개념을 수학적으로 정의하고 진단 프레임워크를 제시했습니다.
2. 통찰력 있는 탐지 방법론: 다양한 작업과 아키텍처에 걸쳐 LLM 의 내부 신념 상태를 지속적으로 모니터링할 수 있는 통합된 프로빙 (Probing) 프레임워크를 개발했습니다.
3. 해결 방안 제시: KL 발산 정규화를 통한 지도 미세 조정 (SFT) 이 암묵적 일관성 문제를 완화할 수 있음을 실험적으로 증명했습니다.

5. 의의 및 시사점 (Significance)

• 페르소나 모델링의 근본적 한계: 현재 LLM 은 표면적인 행동 일관성은 달성할 수 있으나, 인간과 같은 '신뢰성'이나 '확고한 성향'을 구현하기 위한 내부적 목표의 안정성이 결여되어 있음을 밝혔습니다.
• 신뢰할 수 있는 AI 개발: 대화형 AI 나 역할극 에이전트를 개발할 때, 단순한 응답 품질 향상을 넘어 내부 상태의 안정성 (Internal State Stability) 을 확보하는 메커니즘이 필수적입니다.
• 미래 연구 방향: 메모리 메커니즘 강화, 명시적 신념 상태 추적 (Explicit Belief State Tracking), 그리고 목표 유지를 위한 새로운 학습 목적 함수 개발이 필요함을 강조합니다.

이 논문은 LLM 이 단순히 "일관된 답변"을 하는 것을 넘어, "일관된 자아 (Self)"를 유지하는 것이 얼마나 어려운 문제인지, 그리고 이를 해결하기 위해 어떤 기술적 접근이 필요한지를 명확히 보여주는 중요한 연구입니다.