💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

이 논문은 확률적 프로그램을 활용하여 다양한 오픈 월드 시나리오와 분포적 소프트 라벨을 생성함으로써, 대규모 언어 모델의 불확실한 귀납적 추론 능력을 크게 향상시키고 인간의 판단에 정렬시키는 새로운 미세 조정 방법인 프로그램 기반 사후 훈련(Program-based Posterior Training, PPT)을 소개한다.

원저자: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 매우 똑똑하고 박식한 학생(대규모 언어 모델, 즉 LLM)에게 현실 세계에 대해 추측하는 법을 가르치려 한다고 상상해 보십시오.

현재 이 학생들은 **연역적 추론(deductive reasoning)**에는 매우 뛰어납니다. 이는 수학 문제를 풀거나 코드를 작성하는 것과 같습니다. 명확한 규칙 세트가 존재하며, 그 규칙을 올바르게 따르면 단 하나의 100% 정답이 도출됩니다. 만약 학생이 틀린다면, 그것은 명백한 오류입니다.

하지만 현실 세계는 그렇게 깔끔하지 않습니다. 우리의 일상적인 사고 대부분은 **귀납적 추론(inductive reasoning)**입니다. 이는 몇 가지 흩어진 단서들을 보고 무슨 일이 일어났는지 알아내는 탐정과 같습니다.

예시: 친구가 늦게 도착했는데, 피곤해 보이고 시계를 계속 확인하고 있습니다. 당신은 그가 늦잠을 잤다고 추측합니다. 하지만 교통 체증에 갇혔을 수도 있습니다? 혹은 버스를 놓쳤을 수도 있습니다? 여기에는 하나의 "정답"이 있는 것이 아니라, 각기 다른 가능성을 가진 가능성의 범위가 존재합니다.

문제는 표준적인 훈련 방식으로는 이를 다루기 어렵다는 점입니다. 모든 결과의 정확한 확률을 알고 있는 교사가 채점해 주는 "탐정 사건" 모음집을 방대한 규모로 찾아내기란 매우 어렵습니다. 다른 AI 모델에게 이 사건들을 채점하도록 요청하는 것도 위험합니다. 그 모델들이 자신의 편향을 그대로 복사할 수 있기 때문입니다.

해결책: "시뮬레이션 게임" (프로그램 기반 사후 훈련)

이 논문의 저자들은 AI가 불확실성을 다룰 수 있도록 훈련하는 영리한 방법을 고안해 냈습니다. 그들은 이를 **프로그램 기반 사후 훈련(Program-based Posterior Training, PPT)**이라고 부릅니다.

이것을 3단계의 비디오 게임 제작 파이프라인처럼 생각해 보십시오:

스토리텔러 (LLM): 먼저, 강력한 AI에게 다양하고 광범위한 오픈 월드 시나리오를 만들어 내라고 요청합니다.
- 예시: "역도 선수들의 성적이 타고난 근력, 그날의 집중력, 그리고 얼마나 잠을 잤는지에 따라 결정되는 역도 챔피언십을 상상해 봐."
수학자 (확률적 프로그램): 다음으로, AI에게 그 이야기를 엄격한 수학적 코드(즉, "확률적 프로그램")로 변환하도록 요청합니다. 이 코드는 완벽한 시뮬레이션 엔진 역할을 합니다. 이것은 단순히 추측하는 것이 아니라, 이야기의 규칙에 기반하여 모든 결과의 정확한 수학적 확률을 계산합니다.
- 비유: 만약 이야기가 레시피라면, 이 단계는 재료를 바탕으로 케이크가 얼마나 높이 부풀지, 밀도는 어떠할지, 얼마나 탈 가능성이 있는지를 정확하게 시뮬레이션하는 컴퓨터 프로그램을 작성하는 것과 같습니다.
선생님 (훈련 데이터): 마지막으로, 이 시뮬레이션을 수천 번 실행합니다. 학생에게 단 하나의 답(예: "자말이 승리할 것이다")을 주는 대신, 시뮬레이션은 답의 분포를 제공합니다 (예: "자말이 승리할 확률 60%, 비길 확률 30%, 패배할 확률 10%").

그 후 AI 학생은 이 수백만 개의 시뮬레이션된 시나리오를 통해 훈련받습니다. 하나의 "정답"을 암기하는 대신, 시뮬레이션이 생성한 확률 구름(probability cloud)의 형태를 맞추는 법을 배웁니다.

이 방법을 시도했을 때 어떤 결과가 나타났는가?

연구진은 이 새로운 "학생"을 여러 가지 도전 과제에 테스트했습니다:

더 나은 추측: 한 번도 본 적 없는 스포츠나 의료 시나리오의 결과를 예측하라는 요청을 받았을 때, AI는 훨씬 더 정확한 추정치를 제시했습니다. AI는 단순히 숫자를 추측하는 것이 아니라, 그 숫자 주변의 불확실성을 이해했습니다.
인간처럼 생각하기: AI의 추측을 실제 인간의 판단과 비교했을 때, 이 방식으로 훈련된 AI는 실제 사람들의 사고방식과 훨씬 더 잘 일치했습니다. AI는 과도하게 확신하는 것을 멈추고, 신중한 관찰자처럼 행동하기 시작했습니다.
일반화 능력: 심지어 주제를 완전히 바꾸었을 때도(스포츠에서 의료로 전환했을 때도) AI는 여전히 우수한 성능을 보였습니다. 이는 AI가 단순히 스포츠 지식을 암기한 것이 아니라, "불확실성을 가지고 생각하는" 일반적인 기술을 배웠음을 시사합니다.
교정(Calibration): AI는 "교정"되었습니다. 즉, 어떤 일이 일어날 확률이 70%라고 말한다면, 실제로 그 일이 약 70%의 빈도로 발생한다는 의미입니다. 논문은 이러한 개선이 깊이 있는 수준임을 언급합니다. 이는 단순히 사후에 다이얼을 조절하는 식의 표면적인 트릭이 아니라, 불확실성을 표현하는 방식 자체의 근본적인 변화라는 것입니다.

핵심 요약

이 논문은 AI를 더 낫게 만들기 위해 단순히 더 많은 사실을 주입해서는 안 된다고 주장합니다. 대신, AI에게 세상을 시뮬레이션하는 법을 가르쳐야 합니다. AI를 사용하여 이야기를 생성하고, 그 이야기를 엄격한 수학적 시뮬레이션으로 변환한 뒤, 그 시뮬레이션의 결과물로 다른 AI를 훈련시킴으로써, 우리는 현실의 무질서하고 불확실하며 확률적인 본질을 훨씬 더 잘 다룰 수 있는 모델을 만들 수 있습니다.

저자들은 이 특정 연구에서 의료 진단이나 법률 자문에 대해 테스트하지 않았습니다. 대신 방법론의 유효성을 입증하기 위해 스포츠, 일반적인 시나리오, 그리고 특정 벤치마크에 집중했습니다. 핵심적인 결론은 확률적 프로그램이 완벽한 스승 역할을 한다는 것이며, 이를 통해 AI가 불확실성의 기술을 배울 수 있다는 것입니다.

기술 요약: LLM의 귀납적 추론을 위한 프로그램 기반 사후 확률 학습 (Program-based Posterior Training)

문제 정의

대규모 언어 모델(LLM)은 결정론적이고 검증 가능한 작업(예: 수학, 코딩)과 같은 연역적 추론 작업에서는 상당한 성공을 거두었으나, 귀납적 추론에는 어려움을 겪고 있습니다. 실제 세계의 귀납적 문제는 희소하고 모호하며 노이즈가 있는 관측으로부터 불확실한 잠재적 신념을 추론하는 것을 요구합니다.

이러한 작업을 위해 LLM을 학습시키는 데는 두 가지 주요 과제가 있습니다:

데이터 부족: 개방형 세계의 귀납적 추론을 위한 고품질의 대규모 라벨링 데이터셋을 구축하기 어렵습니다. 인간의 판단은 비용이 많이 들고 확장하기 어려우며, 더 강력한 LLM을 사용하여 라벨을 생성하는 것은 그들의 편향과 오류를 그대로 상속받을 위험이 있습니다.
분포적 타겟: 귀납적 추론은 단일 점 추정치(point estimate)보다는 불확실성을 표현하는 것(가능한 답들에 대한 분포)을 필요로 하는 경우가 많습니다. 표준 미세 조정 방식은 본질적으로 확률적인 타겟을 다루는 데 어려움이 있습니다.

방법론: 프로그램 기반 사후 확률 학습 (PPT)

저자들은 확률적 프로그램을 사용하여 LLM을 위한 확장 가능하고 근거 있는 감독(supervision)을 생성하는 파이프라인인 **프로그램 기반 사후 확률 학습(Program-based Posterior Training, PPT)**을 제안합니다. 이 워크플로우는 세 단계의 순차적 과정으로 구성됩니다 (그림 1 참조):

시나리오 합성 (Scenario Synthesis): 강력한 폐쇄형 LLM이 다양하고 개방된 자연어 시나리오와 관련 쿼리를 생성합니다.
확률적 프로그램 생성 (Probabilistic Program Generation): LLM은 각 시나리오를 구조화된 확률적 프로그램(구체적으로 Python 기반 확률적 프로그래밍 언어인 Pyro)으로 변환합니다. 이 단계에는 다음이 포함됩니다:
- 관련 잠재 변수( $z$ ), 관측값( $x$ ), 쿼리 변수( $y$ ) 식별.
- 생성 모델 $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ 인코딩.
타겟 생성 (Target Generation): 생성된 확률적 프로그램을 실행하여 사후 확률 추론(MCMC 또는 Rejection Sampling을 통해)을 수행합니다. 이는 사후 분포 $p_\theta(y|x)$ 를 생성하며, 이는 "그라운드 트루스(ground truth)" 감독 타겟 역할을 합니다.

미세 조정 전략:
저자들은 생성된 $(scenario, query, posterior)$ 튜플을 사용하여 저차원 적응(LoRA) 방식으로 오픈 소스 LLM(LLaMA-3-8B-Instruct 및 Qwen-2-7B-Instruct)을 미세 조정합니다. 이들은 두 가지 감독 형식을 탐색합니다:

분포적 타겟 (PPT Distribution): LLM이 프로그램에서 추론된 분포에 대해 교차 엔트로피 손실(cross-entropy loss)을 사용하여 답변 토큰(예: 정수 0–100)에 대한 이산화된 사후 확률을 예측하도록 학습합니다.
점 타겟 (PPT Mean): LLM이 사후 평균(가장 가까운 정수로 반올림됨)만을 예측하도록 학습합니다.

데이터셋은 스포츠, 의료, 일반의 세 가지 도메인에 걸쳐 10,000개 이상의 고유한 시나리오와 59,000개 이상의 쿼리로 구성됩니다.

주요 기여

새로운 학습 패러다임: 본 논문은 개방형 자연어와 정밀한 확률 모델을 연결함으로써, 결정론적인 점 추정 감독을 넘어 LLM을 귀납적 추론에 대해 미세 조정하는 방법을 소개합니다.
확장 가능한 데이터셋 구축: 저자들은 모델 합성 아키텍처(MSA)를 확장하여 자동화된 파이프라인을 통해 확률적으로 근거가 있는 라벨이 포함된 대규모 귀납적 추론 문제 데이터셋을 구축했습니다.
분포적 감독의 실증적 검증: 본 연구는 전체 사후 분포에 대해 미세 조정하는 것이 사후 평균이나 강력한 LLM을 직접 라벨러로 사용하는 것보다 우수한 결과를 낸다는 것을 입증했습니다.
교정 방법과의 상보성: PPT가 "가공되지 않은(raw)" 교정(모델의 내부 불확실성 표현)을 개선하며, 이는 사후 템퍼러처 스케일링(post-hoc temperature scaling)에 의해 대체되는 것이 아니라 상보적임을 보여줍니다.

실험 결과

1. 홀드아웃 시나리오에 대한 귀납적 추론

정확도: PPT로 미세 조정된 모델은 보지 못한 추론 모티프가 포함된 홀드아웃 스포츠 시나리오에서 베이스 LLM 및 강력한 폐쇄형 모델(예: Gemini-3.1-Pro)을 크게 능가했습니다. 사후 평균 추정에 대한 평균 절대 오차(MAE)가 실질적으로 감소했습니다.
불확실성 표현: (10의 배수 등에 군집되는 등) 부정확하고 특이한 확률 질량을 생성하는 베이스 모델과 달리, PPT 모델은 정답 확률 분포가 실제 확률적 프로그램의 추론과 밀접하게 일치합니다.
인간과의 정렬: 스포츠 시나리오에서 PPT 모델은 인간의 판단과 0.775의 상관계수( $R^2$ )를 달성하여, 베이스 LLM(0.509)을 능가하고 원래의 MSA 프로그램(0.769)과 대등한 성능을 보였습니다.

2. 도메인 전이 (Out-of-Domain)

스포츠 데이터로 미세 조정된 모델은 의료 데이터를 한 번도 본 적 없음에도 불구하고 의료 시나리오(홀드아웃 도메인)에서 향상된 성능을 보였습니다. 이는 모델이 특정 도메인 지식을 암기한 것이 아니라 도메인 일반적인 귀납적 행동을 학습했음을 시사합니다.
모든 도메인(스포츠, 의료, 일반)을 혼합하여 학습하는 것이 단일 도메인 학습보다 더 높은 개선 효과를 제공했습니다.

3. 외부 벤치마크로의 전이

저자들은 OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge, Winogrande를 포함한 7개의 외부 벤치마크에서 전이를 평가했습니다.

교정 (Calibration): PPT (Distribution)는 모든 다중 선택 벤치마크에서 베이스 모델에 비해 기대 교정 오차(ECE)와 음의 로그 가능도(NLL)를 일관되게 감소시켰습니다.
상보성: PPT로 미세 조정된 모델에 사후 템퍼러처 스케일링(TS)을 적용하면 NLL과 ECE가 더욱 개선되었으며, 이는 PPT가 모델의 가공되지 않은 불확실성 표현을 변화시키고 TS는 신뢰도 스케일링을 조정한다는 것을 나타냅니다.
정확도: PPT는 사전 확률 추출 정확도를 개선하였고(OpenEstimate의 MAE 감소), 일부 경우에는 다중 선택 작업의 argmax 예측 정확도를 향상시켰습니다.

4. 절제 연구 (Ablation Studies)

분포 vs. 평균: 전체 분포에 대해 미세 조정하는 것(PPT Distribution)이 모든 지표에서 사후 평균에 대해 미세 조정하는 것(PPT Mean)보다 일관되게 우수한 성능을 보였으며, 이는 분포 정보의 중요성을 강조합니다.
순방향 샘플링 vs. 사후 추론: 순방향 샘플링은 더 큰 데이터셋을 허용하지만, 전체 사후 추론 타겟으로 학습된 모델이 더 나은 교정 및 전이 성능을 달ability 달성했습니다.

의의 및 주장

본 논문은 확률적 프로그램 매개 미세 조정이 LLM이 근사적인 귀납적 추론을 수행하도록 하는 유망한 사후 학습(post-training) 접근 방식이라고 주장합니다.

불확실성의 내재화: 결과는 PPT가 모델이 단순히 출력을 사후적으로 재조정하는 것을 넘어, 교정된 신념을 생성할 수 있도록 불확실성을 "깊이 내재화"할 수 있게 함을 시사합니다.
확장 가능한 감독: 이 접근 방식은 확률적 프로그램이 테스트 시 추론 도구로서뿐만 아니라, 복잡하고 불확실한 추론 작업에 대한 학습을 위한 확장 가능하고 자동화된 감독 소스로서 기능할 수 있음을 보여줍니다.
일반화: 이 방법은 보지 못한 추론 구조(모티프)와 완전히 새로운 도메인으로 성공적으로 전이되었으며, 이는 모델이 표면적인 패턴이 아닌 귀납적 추론의 근본적인 논리를 포착했음을 시사합니다.

저자들은 현재의 평가가 개방형 추론보다는 수치 및 다중 선택 쿼리에 집중되어 있다는 점을 언급하며 한계를 인정했습니다. 그러나 이 파이프라인이 추정 정확도, 인간 정렬 및 교정 성능을 효과적으로 개선한다고 결론지었습니다.