Learned but Not Expressed: Capability-Expression Dissociation in Large Language Models

1. 연구 배경 및 문제 제기 (Problem)

대규모 언어 모델 (LLM) 에 대한 일반적인 직관 중 하나는 **"학습 데이터에 존재하는 내용은 생성 출력에도 비례하여 나타날 것이다"**라는 가정, 즉 **'데이터 포괄적 가정 (Data-Exhaustive Assumption)'**입니다. 그러나 최근 연구들은 LLM 이 훈련 데이터를 암기하고 특정 조건에서 이를 재구성할 수 있음을 보여주지만, 표준적인 생성 맥락에서는 이러한 내용이 나타나지 않는 경우가 있음을 시사합니다.

본 연구는 다음과 같은 핵심 문제를 다룹니다:

• 학습 능력 (Capability) 과 표현 (Expression) 의 괴리: 모델이 특정 조건 (조건부 추출) 에서 학습된 비인과적 (non-causal) 내용을 재구성할 수 있는 능력이 있음에도 불구하고, 일반적인 작업 맥락 (서사적 또는 문제 해결) 에서 왜 이러한 내용이 전혀 생성되지 않는가?
• 표현의 선택적 억제: 훈련 데이터에 포함된 비현실적, 초자연적, 또는 비인과적 해결 방안 (예: 신의 개입, 설명되지 않은 우연 등) 이 모델의 생성 정책 (generation policies) 에 의해 체계적으로 억제되는지 여부.

2. 연구 방법론 (Methodology)

이 연구는 통제된 관찰 실험 설계를 기반으로 하며, 다음과 같은 절차를 따랐습니다.

• 실험 설계:

  • 모델: 3 개의 최신 LLM 사용 (GPT-5.2 Instant, Claude Opus 4.5, Gemini 3 Pro).
  • 샘플 크기: 총 300 개의 프롬프트 - 응답 쌍 (각 모델당 100 개).
  • 시나리오: 10 가지 다른 시나리오 (예: 예상치 못한 도전, 대인 관계 갈등, 자원 부족 등) 를 2 가지 맥락 (서사적/창작 스토리텔링, 실용적/문제 해결 조언) 에 적용.
  • 반복: 각 모델당 5 개의 독립적인 사이클로 수행.

• 운영적 정의 (Operational Definition):

  • 비인과적 해결 프레임 (Non-Causal Solution Frames): 논리적, 물리적, 심리적 인과 관계 없이 문제 해결을 설명하는 방식. 예: "신적 개입으로 해결됨", "설명되지 않은 우연", "이유 없이 장애물이 사라짐" 등.
  • 서사적 맥락: 판타지 요소가 허용되는 창작 스토리.
  • 문제 해결 맥락: 현실적이고 실행 가능한 조언을 요구하는 상황.

• 검증 절차:

  1. 주관적 생성 관찰 (Main Study): 300 개의 표준 생성에서 비인과적 프레임의 존재 유무를 이진 분류 (0 또는 1) 로 기록.
  2. 조건부 추출 검증 (Conditional Extraction): 별도의 탐색적 실험 (모델당 30 회, 총 90 회) 을 통해 명시적으로 "비인과적 해결 예시를 나열하라"고 요청하여 모델의 잠재 능력을 확인.

• 분석: 기술 통계량 및 윌슨 점수 구간 (Wilson score interval) 을 이용한 95% 신뢰구간 산출. 가설 검정보다는 관찰된 패턴의 문서화에 중점.

3. 주요 결과 (Key Results)

• 표현의 완전한 부재 (Systematic Absence):

  • 총 300 개의 생성 (서사적 맥락 150 개, 문제 해결 맥락 150 개) 에서 비인과적 해결 프레임이 한 건도 관찰되지 않았습니다 (0%, 95% CI: [0%, 1.2%]).
  • 이는 판타지 요소가 허용되는 '서사적 맥락'에서도 마찬가지였습니다. 즉, 모델은 창의적인 이야기에서도 비인과적 해결책을 의도적으로 피했습니다.
  • 사용된 3 개의 모델 (GPT, Claude, Gemini) 모두 동일한 패턴을 보였습니다.

• 잠재 능력의 확인 (Capability Verification):

  • 조건부 추출 실험에서 모델들은 명시적으로 요청받았을 때 비인과적 내용을 성공적으로 생성했습니다.
  • 성공률: GPT-5.2 (83%), Claude Opus 4.5 (87%), Gemini 3 Pro (80%).
  • 이는 모델이 해당 내용을 학습하고 재구성할 수 있는 능력은 보유하고 있음을 의미합니다.

• 핵심 발견:

  • 능력 (Capability) 과 표현 (Expression) 의 분해 (Dissociation): 모델은 특정 프롬프트 하에서는 비인과적 내용을 생성할 수 있지만, 표준적인 생성 조건에서는 이를 완전히 억제합니다.

4. 주요 기여 (Key Contributions)

1. 실증적 문서화: 300 개의 통제된 샘플을 통해 LLM 이 훈련 데이터에 포함된 내용을 학습했음에도 불구하고, 표준 생성 맥락에서 체계적으로 억제한다는 사실을 최초로 실증적으로 기록했습니다.
2. 데이터 포괄적 가정의 반박: 훈련 데이터의 존재가 출력 확률을 직접 예측한다는 통념을 반박하고, **작업 조건부 생성 정책 (Task-Conditioned Generation Policies)**이 학습된 내용을 포괄적으로 억제할 수 있음을 입증했습니다.
3. 정렬 (Alignment) 의 영향 규명: RLHF(인간 피드백을 통한 강화 학습) 나 헌법적 AI(Constitutional AI) 와 같은 정렬 과정이 단순한 지시 준수를 넘어, 출력 공간에 **지속적인 편향 (persistent priors)**을 형성하여 특정 유형의 콘텐츠 (비인과적 해결) 를 생성 단계에서 배제함을 보여줍니다.
4. 새로운 관점 제시: LLM 의 행동을 '데이터 기반의 단순 추출'이 아닌, '맥락 조건부 및 정렬 제약 하의 선택적 표현'으로 이해해야 함을 주장합니다.

5. 의의 및 시사점 (Significance)

• LLM 행동 이해의 전환: LLM 이 무엇을 '배웠는지' (학습 능력) 와 무엇을 '생성하는지' (표현) 는 별개의 문제임을 강조합니다. 모델의 출력은 훈련 데이터의 분포를 단순히 반영하는 것이 아니라, 정렬 과정을 통해 학습된 생성 정책 (Generation Policies) 에 의해 강력하게 조절됩니다.
• 출력 분포 제어: 모델이 특정 콘텐츠 유형을 생성 공간에서 '잠재 영역 (latent regions)'으로 밀어넣거나 배제할 수 있음을 보여주며, 이는 모델의 예측 가능성과 해석 가능성 (Interpretability) 연구에 중요한 시사점을 줍니다.
• 안전 및 윤리적 함의: 모델이 유해하거나 비현실적인 내용을 학습했더라도, 정렬을 통해 표준 생성 맥락에서 이를 효과적으로 억제할 수 있다는 점은 모델의 안전성 설계에 긍정적인 신호로 해석될 수 있으나, 동시에 모델이 내부적으로 어떤 내용을 '알고 있는지'와 '표현하는지'를 구분하여 평가해야 함을 시사합니다.
• 향후 연구 방향: 더 넓은 모델 패밀리, 다양한 정렬 프로토콜, 그리고 명시적으로 허용적인 프롬프트 조건 하에서의 경계 조건 (Boundary Conditions) 규명을 위한 추가 연구가 필요함을 제안합니다.

결론

본 연구는 LLM 이 훈련 데이터를 단순히 재생산하는 기계가 아니라, 학습된 능력과 표현된 출력 사이에 체계적인 괴리를 보이는 복잡한 시스템임을 보여줍니다. 특히 비인과적 해결 프레임의 선택적 억제는 모델이 정렬 과정을 통해 맥락에 따른 적절한 생성 정책을 내면화했음을 강력하게 시사하며, LLM 의 행동을 이해하기 위해서는 단순한 데이터 포괄성 가정을 넘어 **생성 역학 (Generation Dynamics)**과 **정렬 제약 (Alignment Constraints)**을 함께 고려해야 함을 강조합니다.