🤖 machine learning

PPDL: LLM-Based Flows as Probabilistic Programs

이 논문은 개발자가 Rocq 증명기를 위한 정리 증명 에이전트를 통해 입증된 바와 같이, 핵심 로직을 수정하지 않고도 LLM 기반 애플리케이션 흐름 전반에 걸쳐 불확실성을 정량화 및 전파하고 추론 스케일링 기법을 실험할 수 있게 해주는 확률적 프로그래밍 언어인 PPDL을 소개한다.

원저자: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

게시일 2026-08-07

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 하지만 혼자 푸는 대신, 당신과 대화할 수 있는 매우 똑똑하고 창의적인 친구가 있습니다. 이 친구는 거대 언어 모델(LLM)이라고 불리는 인공지능입니다. 이 친구는 이야기를 쓰거나, 수학 문제를 풀거나, 심지어 컴퓨터 코드를 작성하는 데도 능숙합니다. 하지만 완벽하지는 않습니다. 때때로 틀린 답에 대해 자신만만해하거나, 실제처럼 들리지만 사실은 아닌 정보를 지어내기도 합니다. 이것을 "불확실성(uncertainty)"이라고 부릅니다.

이제 당신에게 여러 단계를 거쳐야 하는 정말 어려운 문제를 풀어야 한다고 상상해 봅시다. 당신은 AI 친구에게 계획을 세워달라고 요청하고, 그 계획을 바탕으로 코드를 작성하라고 요청한 뒤, 그 코드를 검토하라고 요청하는 식입니다. 매번 질문을 할 때마다 AI는 답변을 내놓지만, 그 답변은 약간 불안정할 수 있습니다. 만약 이 열 개의 불안정한 답변을 하나로 엮는다면, 최종 결과는 엉망진창이 될 수 있습니다. 이는 마치 조금씩 흔들리는 젠가 블록으로 탑을 쌓는 것과 같습니다. 높이 올라갈수록 전체가 무너질 가능성이 커집니다. 개발자와 사용자들은 여기서 길을 잃곤 합니다. "이 답변이 맞는 걸까? 얼마나 확신할 수 있지? 이걸 믿어도 될까?"

이를 해결하기 위해 과학자들은 몇 가지 기술을 시도했습니다. 한 가지 인기 있는 아이디어는 "추론 스케일링(inference scaling)"입니다. 이것은 당신의 AI 친구에게 같은 퍼즐을 열 번 다르게 시도하게 한 뒤, 어떤 답이 가장 자주 나오는지 확인하는 것과 같습니다. 마치 친구들에게 수수께끼의 정답을 추측하게 하고 다수결로 결정하는 것과 비슷합니다. 하지만 여기에는 함정이 있습니다. 이를 수동으로 하는 것은 매우 번잡합니다. 열 번의 시도를 실행하고, 어떤 것이 괜찮은지 추적하며, 나쁜 것을 버리기 위한 특별한 컴퓨터 코드를 직접 작성해야 합니다. 이는 마치 쿠키 한 배치를 구울 때마다 맛이 제대로 나는지 확인하기 위해 매번 새로운 공장을 짓는 것과 같습니다. 복잡하고, 비용이 많이 들며, 다른 방식의 베이킹을 시도하고 싶을 때 변경하기 어렵습니다.

논문의 핵심 아이디어: "마법의 점수판"

이 논문은 PPDL(Probabilistic Prompt Declaration Language)이라는 새로운 도구를 소개합니다. PPDL은 AI 워크플로우를 위한 특별한 "마법의 점수판"이라고 생각하면 됩니다. 단순히 AI에게 질문을 던지고 하나의 답변을 얻는 대신, PPDL을 사용하면 AI가 불확실할 수 있다는 점을 자연스럽게 이해하는 프로그램을 작성할 수 있습니다.

작동 방식은 다음과 같습니다:

흐름(The Flow): 평소처럼 AI에게 지침을 작성합니다 (예: "코드를 계획하라", 그 다음 "코드를 작성하라", 그 다음 "코드를 검사하라").
마법 요소(The Magic Factor): factor라고 불리는 특별한 지침을 추가합니다. 이것은 점수판과 같아서, 당신은 AI에게 이렇게 말하는 것입니다. "이 계획이 논리적이라면 높은 점수를 주고, 코드에 오류가 있다면 낮은 점수를 줘."
결과(The Result): 프로그램을 실행하면 컴퓨터는 단 하나의 답변만을 내놓지 않습니다. 컴퓨터는 이 전체 과정을 병렬로 여러 번 실행합니다 (마치 수백 명의 다른 버전의 당신이 동시에 퍼즐을 푸는 것처럼 말이죠). 컴퓨터는 당신의 "점수판"을 사용하여 결과를 가중 처리합니다. 만약 어떤 경로가 정말 유망해 보인다면, 컴퓨터는 그 경로에 더 많은 에너지를 집중합니다. 만약 어떤 경로가 좋지 않다면, 그 경로는 버립니다.

가장 멋진 점은, "열 번 실행하는" 복잡한 코드를 직접 작성할 필요가 없다는 것입니다. PPDL이 이 모든 힘든 일을 백그리운드에서 처리합니다. 당신은 로직을 한 번만 작성하면 되고, 시스템이 가능한 모든 경우의 수를 탐색하는 최선의 방법을 자동으로 찾아냅니다.

연구 결과

저자들은 초등학교 수준의 수학 문제 풀기부터 복잡한 컴퓨터 코드 작성, 심지어 수학 정리 증명에 이르기까지 여러 가지 과제를 통해 이 아이디어를 테스트했습니다.

더 높은 정확도: 테스트 결과, PPDL과 이러한 "점수판"을 사용했을 때는 AI의 정확도가 눈에 띄게 향상되었습니다. 예를 들어, GSM8k라는 수학 테스트에서 일반적인 AI는 약 83.8%의 정답률을 보였습니다. 하지만 "중요도 샘플링(Importance Sampling, 즉 가장 좋은 추측을 골라내는 스마트한 방법)"을 적용한 PPDL을 사용하자 정확도가 93.7%로 뛰어올랐습니다.
"스마트한" 방식의 승리: 그들은 점수판을 사용하는 다양한 방법을 비교했습니다. 때로는 단순히 "다수결(가장 흔한 답변)"을 따르는 것이 효과적이었습니다. 하지만 종종 더 스마트한 방법들(예: 중요도 샘플링 및 순차 몬테카를로 방식)이 훨씬 더 나은 성과를 보였습니다. 이 방법들은 단순히 투표수를 세는 것이 아니라, 왜 어떤 답변이 좋거나 나쁜지를 실제로 조사하여 나쁜 경로는 조기에 폐기하고 좋은 경로에 집중하는 탐정과 같습니다.
정리 증명 사례 연구: 시스템을 극한까지 테스트하기 위해, 그들은 Rococ라는 도구를 사용하여 수학 정리를 증명하는 AI 에이전트를 구축했습니다. 이는 AI가 증명을 작성하고, 틀렸는지 확인하고, 반복해서 수정해야 하는 매우 어려운 작업입니다. 그들은 "스마트한" 방법(순차 몬테카를로)이 단순히 무작위로 계속 추측하는 것보다 올바른 증명을 찾는 데 훨씬 더 뛰어나다는 것을 발견했습니다. 이 방식은 동시에 여러 경로를 탐색하면서, 가망이 없는 경로를 빠르게 포기할 수 있었습니다.

언급하지 않은 부분 (한계점)

저자들은 이것이 모든 것을 해결하는 "마법의 탄환"이라고 주장하지 않도록 주의를 기울였습니다. 그들은 "점수판(factors)"은 당신이 입력하는 정보만큼만 유효하다는 점을 지적합니다. 만약 당신의 점수판이 형편없다면, 시스템이 마법처럼 이를 고칠 수는 없습니다. 또한, 이 방법이 AI를 더 신뢰할 수 있게 만들어 주기는 하지만, 그렇다고 해서 AI가 갑자기 완벽해진다는 뜻은 아닙니다. 단지 우리가 얼마나 확신할 수 있는지 측정하는 더 나은 방법을 갖게 된 것뿐입니다.

왜 중요한가

이 논문은 AI 워크플로우를 "확률적 프로그램(불확실성을 이해하는 프로그램)"으로 취급함으로써, 매우 복잡하게 만들지 않고도 AI 애플리케이션을 훨씬 더 신뢰할 수 있게 만들 수 있음을 시사합니다. 이는 개발자들에게 "다시 시도하고 또 시도하는" 번거로운 일을 자동으로 처리해 주는 새로운 도구 세트를 제공하여, 컴퓨터가 최선의 답을 찾는 방법을 알아내는 동안 개발자는 멋진 것들을 만드는 데 집중할 수 있게 해주는 것과 같습니다.

기술 요약: PPDL: LLM 기반 플로우를 확률적 프로그램으로 다루기

문제 정의

대규모 언어 모델(LLM)을 사용하여 신뢰할 수 있는 애플리케ชัน을 구축하는 것은 도전적인 과제입니다. 이는 LLM 출력의 본질적인 불확이성과 신뢰도 지표의 부재 때문입니다. 이러한 문제는 여러 번의 LLM 호출과 도구 상호작용의 연속인 "플로우(flows)"에서 더욱 심화되며, 실행 추적(execution trace)을 따라 불확실성이 누적됩니다. 추론 스케일링 기법(예: 작업 반복, 검증기 사용)은 정확도를 높일 수 있지만, 현재의 구현 방식은 종종 임시방편적이고 프로그램 로직과 밀접하게 결합되어 있으며, 불확실성을 추적하거나 대안적인 실행 경로를 탐색하기 위한 원칙적인 프레임워크가 부족합니다. 개발자들은 정답의 정확성을 평가하거나, 핵심 플로우 로직을 재작성하지 않고 다양한 스케일링 전략을 실험하는 데 어려움을 겪고 있습니다.

방법론

본 논문은 LLM 기반 플로우를 위해 특별히 설계된 최초의 확률적 프로그래밍 언어인 PPDL(Probabilistic Prompt Declaration Language)을 소개합니다. PPDL은 프롬프트 프로그래밍과 확률적 프로그래밍을 결합하여, 핵심 프로그램 로직과 추론 스케일링 전략을 분리합니다.

핵심 언어 구성 요소

PPDL은 LLM 및 도구 호출을 선언적으로 구성하는 언어인 PDL(Prompt Declaration Language)을 기반으로 합니다. PPDL은 PDL에 단일하고 직교하는 프리미티브(primitive)인 **factor**를 추가하여 확장되었습니다.

sample (암시적): LLM 호출은 모델과 현재 컨텍스트에 의해 정의된 분포로부터 샘플링 연산을 수행하는 것으로 간주됩니다.
factor: 이 구성 요소는 사용자 지정 제약 조건(연성 또는 경성 제약)에 따라 현재 실행 추적의 확률을 업데이트합니다. 제약 조건은 LLM-as-a-judge 평가, 규칙 기반 도구(예: 린터, 테스트 스위트), 또는 프로세스 보상 모델으로부터 유도될 수 있습니다.
실행 모델: PPDL은 단일 출력을 반환하는 대신, 프로그램을 실행 추적에 대한 분포로 취급합니다. 런타임은 확률적 추론 엔진을 사용하여 이 분포를 탐색합니다.

의미론 및 추론

본 논문은 PPDL의 의미론을 **가중 샘플러(weighted sampler)**로 정형화합니다.

가중 샘플러: 단일 실행 추적은 프로그램 $p$ 를 연관된 로그 점수(accumulated from factor 문으로부터 누적됨)를 가진 값 $v$ 로 축소합니다.
이상적 의미론(Ideal Semantics): 모든 가능한 추적에 대한 무한 합으로 정의되며, 출력 값에 대한 범주형 분포를 형성하도록 정규화됩니다.
근사 추론(Approximate Inference): 이상적인 의미론은 계산이 불가능하므로, PPDL은 몬테카를로 근사 알고리즘을 구현합니다:
- 중요도 샘플링 (Importance Sampling, IS): $N$ 개의 독립적인 입자(particles, 즉 추적)를 실행하고 이들의 최종 점수에 따라 가중치를 다시 부여합니다.
- 순차적 몬테카를로 (Sequential Monte Carlo, SMC): factor 지점에서 리샘플링 단계를 도입합니다. 점수가 낮은 입자는 버려지고, 점수가 높은 입자는 복제되어, 시스템이 플로우의 초기 단계에서 유망한 부분적 추적(partial traces)에 계산 자원을 집중할 수 있도록 합니다.
- 다수결 투표 (Majority Voting): 모든 입자에 동일한 가중치를 부여하는 베이스라인입니다.

구현

PPDL은 병렬화가 적용된 인터프리터 언어입니다.

병렬성: 독립적인 입자들은 병렬로 실행됩니다. 단일 입자 내에서는 독립적인 모델 호출들이 Future와 지연 데이터 구조(deferred data structures)를 사용하여 병렬화되어 블로킹을 최소화합니다.
직교성: 사용자는 플로우 로직을 한 번만 작성합니다. 추론 알고리즘(IS, SMC, 또는 다수결 투표)과 입자 수는 소스 코드를 수정하지 않고 런타임에 구성할 수 있습니다.

주요 기여

PPDL 언어: LLM 및 도구 호출의 플로우를 위한 최초의 확률적 프롬프트 프로그래밍 언어로, 실행 추적을 점수화하고 유도하는 메커니즘으로서 factor를 도입했습니다.
정형 의미론: 프롬프트 기반 샘플링과 확률적 factor 사이의 상호작용을 정형화하고, 결과적인 추적의 분포를 정의함으로써 PPDL의 동작을 엄격하게 정의했습니다.
추론 스케일링 프레임워크: PPDL이 플로우 로직을 재작성하지 않고도 다양한 모델과 작업에 대해 서로 다른 추론 스케일링 알고리즘(IS, SMC, 다수결 투표)을 체계적으로 실험할 수 있음을 입증했습니다.
사례 연구: Rocq 정리 증명기를 활용한 정리 증명 에이전트 구현을 통해, 복잡하고 반복적인 에이전트 워크플로우에서 확률적 추론의 유용성을 보여주었습니다.

실험 결과

저자들은 여러 벤치마크(GSM8k, Math500, MBPP, LiveCodeBench, Fever)와 모델(Granite, Llama, GPT-OSS)에 걸쳐 PPDL을 평가했습니다.

정확도 향상: 추론 스케일링은 일반적으로 베이스라인(단일 실행, IS@1)보다 우수한 성능을 보였습니다. 다수결 투표가 일부 사례에서 좋은 성능을 보였지만, **중요도 샘플링(IS)**과 **순차적 몬테카를로(SMC)**가 특히 factor 제약 조건이 정답과 오답을 구별하는 데 유의미한 정보를 제공할 때 더 우수한 결과를 냈습니다.
SMC의 이점: 복잡한 다단계 플로우(정리 증명과 같은 경우)에서 SMC는 IS보다 크게 앞섰습니다. 중간 factor 지점에서 리샘플링함으로써, SMC는 잘못된 부분적 추적에 토큰을 낭비하는 것을 피하고 유망한 경로로 계산을 조기에 재지정할 수 있었습니다.
정리 증명 사례 연구: MiniF2F-Rocq 벤치마크에서, SMC(40개 입자 사용)는 고정된 토큰 예산 내에서 베이스라인인 IS@1 전략(30%, 244문제 중 72.7문제)보다 높은 39%(244문제 중 95문제)의 문제 해결률을 기록했습니다. 이는 확률적 유도가 도전적인 작업에서 기본 모델의 성능을 개선할 수 있음을 입증했습니다.

의의 및 주장

본 논문은 PPDL이 LLM 애플리케이션의 불확실성을 다루는 원칙적인 방법을 제공한다고 주장합니다. LLM 플로우를 확률적 프로그램으로 취급함으로써 개발자는 다음과 같은 작업을 수행할 수 있습니다:

불확실성 정량화: 사용자는 출력의 분포를 받게 되므로, 단일한 잠재적 오류 답변에 의존하는 대신 확신도를 평가할 수 있습니다.
효율적인 실험: 개발자는 코드 리팩토링 없이 런타임 설정을 변경함으로써 추론 스케일링 전략(예: 단순 투표에서 복잡한 SMC로)을 전환할 수 있습니다.
로직과 탐색의 분리: 핵심 플ow 로직과 탐색 전략(추론 엔진)을 분리함으로써 견고한 에이전트 워크플로우 개발을 단순화합니다.

저자들은 추론 스케일링이 "만능 해결책"은 아니며, 결과의 품질은 제약 조건(factors)의 품질에 달려 있고, 이 제약 조건이 불완전할 수 있다는 점을 인정합니다. 그러나 PPDL은 다양한 제약 조건 소스와 추론 알고리즘을 통합하고 테스트할 수 있는 유연한 프레임워크를 제공합니다.