What Language Models Know But Don't Say: Non-Generative Prior Extraction for Generalization

논문 개요

제목: What LLMs Know but Don't Say: Non-generative Prior Extraction for Generalization (LLM 이 알고 있지만 말하지 않는 것: 일반화를 위한 비생성적 사전 분포 추출)
저자: Sara Rezaeimanesh, Mohammad Ghassemi (Michigan State University)
발표: COLM 2026 컨퍼런스

1. 문제 제기 (Problem Statement)

• 데이터 부족과 일반화 실패: 의료, 금융과 같은 중요한 분야에서 대규모 레이블 데이터는 비용이 많이 들고 구하기 어렵습니다. 이로 인해 소규모 데이터셋으로 훈련된 모델은 실제 세계의 다양한 인구 집단 (분포 변화, OOD) 에 적용될 때 일반화 성능이 떨어지는 문제가 발생합니다.
• 기존 베이지안 접근법의 한계: 베이지안 방법은 사전 지식 (Prior) 을 인코딩하여 이러한 문제를 해결할 수 있지만, 대규모로 고품질의 사전 분포를 수동으로 도출하는 것은 어렵습니다.
• LLM 활용의 한계: 최근 연구들은 LLM 을 사전 지식의 원천으로 활용하려 시도했으나, 대부분 생성된 텍스트 (Generative Text) 나 샘플링에 의존합니다. 이는 실행 간 변동성 (Variability) 을 초래하고, LLM 의 내부 지식 구조 (Logits 등) 를 직접적으로 활용하지 못해 정보 손실이 발생할 수 있습니다.

2. 제안 방법: LoID (Logit-Informed Distributions)

저자들은 LoID라는 새로운 프레임워크를 제안합니다. 이는 LLM 이 생성한 텍스트가 아닌, **토큰 수준의 로짓 (Logits)**을 직접 접근하여 베이지안 회귀 (로지스틱/선형) 를 위한 정보적 사전 분포 (Informative Priors) 를 추출하는 결정론적 (Deterministic) 방법입니다.

핵심 메커니즘

1. 대조적 프롬프트 구성 (Contrastive Prompting):
   • 각 특성 (Feature) $f_j$에 대해, 목표 변수에 대한 긍정적 (positive) 과 부정적 (negative) 영향을 명시하는 쌍을 이루는 문장 템플릿을 생성합니다.
   • 예: "특성 $f_j$가 $t$에 미치는 영향은 [positive/negative] 입니다."
2. 로짓 선호도 점수 (Logit Preference Score) 추출:
   • LLM 이 다음 토큰으로 'positive'와 'negative' 중 하나를 선택할 확률을 softmax 로부터 추출합니다.
   • 두 확률의 비율을 로그 오즈 (Log-odds) 로 변환하여 로짓 선호도 점수를 계산합니다. 이는 모델이 특정 특성과 목표 간의 관계 방향에 대해 얼마나 확신하는지를 정량화합니다.
   • $logit_j(p_i) = \log(\frac{P_{+}}{P_{-}})$
3. 사전 분포 구성:
   • 평균 ($\mu_j$): 다양한 문장 병렬화 (Paraphrasing) 를 통해 얻은 로짓 점수의 평균을 계산하여 특성의 영향 방향과 강도를 나타냅니다.
   • 분산 ($\sigma^2_j$): 병렬화된 문장들 간의 로짓 점수 표준편차를 계산합니다. LLM 이 문장 표현에 따라 일관되지 않게 반응할 경우 (불확실성 높음) 분산이 커지도록 설계됩니다.
   • 최종적으로 각 계수 $\beta_j$에 대해 가우시안 사전 분포 $N(\mu_j, \sigma^2_j)$를 정의합니다.
4. 베이지안 추론:
   • 추출된 사전 분포를 사용하여 베이지안 로지스틱/선형 회귀를 수행하며, 사후 추론은 라플라스 근사 (Laplace Approximation) 를 통해 효율적으로 계산됩니다.

3. 주요 기여 (Key Contributions)

• 비생성적 (Non-generative) 사전 추출: LLM 의 생성 텍스트가 아닌 토큰 로짓을 직접 활용하여 사전 분포를 추출하는 최초의 방법입니다. 이로 인해 생성 샘플링의 무작위성을 제거하고 결정론적인 결과를 보장합니다.
• OOD 일반화 성능 향상: 15 개의 실제 세계 표본 데이터셋 (의료, 금융, 사회과학) 에서 합성된 분포 외 (OOD) 조건 하에 LoID 를 평가했습니다.
• 성능 회복: LoID 는 OOD 데이터로 훈련된 모델의 성능 저하를 평균적으로 50% 까지 회복시켰으며, 특히 의료 및 인구통계학적 데이터셋에서는 성능 격차의 83.8% 를 메웠습니다.

4. 실험 결과 및 분석 (Results & Discussion)

성공 사례 (LoID 가 유효한 경우)

• 안정적인 인과 관계: 의료 (신장 질환, 당뇨, 뇌졸중) 및 물리 시스템 (콘크리트 강도, 항공기 소음) 과 같이 특성 - 목표 간 관계가 보편적이고 물리/생리학적 법칙에 기반한 경우 LoID 가 탁월한 성능을 보였습니다.
• LLM 의 세계 지식 활용: LLM 이 훈련 데이터에 없더라도 일반적인 지식을 통해 올바른 방향성을 파악하여 모델의 편향을 보정했습니다.

실패 사례 (LoID 가 성능을 저하시킨 경우)

• 맥락 의존적/행동적 데이터: 은행 마케팅 (고객 행동), 자전거 공유 (지역별 날씨/이벤트) 등 데이터셋 특유의 맥락이나 행동 패턴에 의존하는 경우 성능이 떨어졌습니다.
  • 원인: LLM 은 일반적인 관계 (예: "온도가 높으면 효율이 떨어짐") 는 알지만, 특정 시설이나 캠페인의 세부적인 보정 값이나 지역적 맥락은 알지 못합니다. 이로 인해 **잘못된 사전 지식 (Wrong Priors)**이 모델에 적용되어 오히려 일반화 능력을 해쳤습니다.
  • 결과: 은행 마케팅 데이터셋에서는 성능 격차가 -130.6% 로 악화되기도 했습니다.

벤치마크 비교

• 비교 대상: 무정보 사전 (Uninformative Prior), AutoElicit (생성 기반 사전), LLMProcesses (생성 기반 예측), IID 오라클 (최상한계).
• 결과: LoID 는 15 개 데이터셋 중 11 개에서 성능을 개선했으며, 특히 AutoElicit 와 LLMProcesses 보다 12 개 데이터셋에서 우월한 성능을 보였습니다. 이는 직접 예측보다는 관계에 대한 사전 지식을 추출하는 것이 OOD 환경에서 더 강력함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• LLM 지식의 새로운 활용: LLM 을 단순히 텍스트 생성기가 아닌, 도메인 지식을 구조화된 확률 분포로 변환하는 '지식 추출기'로 활용할 수 있음을 입증했습니다.
• 소규모 데이터 환경에서의 실용성: 레이블 데이터가 부족한 의료 및 금융 분야에서, LLM 의 내재된 지식을 활용하여 모델의 견고성 (Robustness) 을 높이는 효과적인 전략을 제시했습니다.
• 한계 및 향후 과제: LoID 는 의미 있는 특성 (Semantic Features) 이 있는 데이터셋에 효과적이며, 비식별화된 데이터나 맥락 의존성이 강한 데이터에는 한계가 있습니다. 또한, 토큰 로짓에 직접 접근해야 하므로 폐쇄형 API 모델 사용에는 제약이 따릅니다.

이 논문은 LLM 의 내부 표현 (Internal Representations) 을 베이지안 모델링에 통합함으로써, 데이터 부족 및 분포 변화 문제가 있는 실제 응용 분야에서 모델의 일반화 능력을 획기적으로 개선할 수 있는 새로운 패러다임을 제시합니다.