🤖 machine learning

PPDL: LLM-Based Flows as Probabilistic Programs

Questo articolo introduce PPDL, un linguaggio di programmazione probabilistica che consente agli sviluppatori di quantificare e propagare l'incertezza attraverso i flussi applicativi basati su LLM e di sperimentare tecniche di scaling dell'inferenza senza modificare la logica di base, come dimostrato da un agente di dimostrazione dei teoremi per il prover Rocq.

Autori originali: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Pubblicato 2026-08-07

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di cercare di risolvere un puzzle davvero difficile, ma invece di farlo da solo, hai un amico super intelligente e creativo che può parlare con te. Questo amico è un'Intelligenza Artificiale chiamata Large Language Model (LLM). È bravissimo a scrivere storie, risolvere problemi matematici e persino a scrivere codice informatico. Tuttavia, non è perfetto. A volte si mostra sicuro di una risposta sbagliata, o potrebbe inventare fatti che sembrano reali ma non lo sono. Questo è chiamato "incertezza".

Immagina ora di dover risolvere un problema davvero difficile che richiede molti passaggi. Chiedi al tuo amico AI di creare un piano, poi gli chiedi di scrivere il codice basandosi su quel piano, poi gli chiedi di controllare il codice, e così via. Ogni volta che fai una domanda, l'IA fornisce una risposta, ma quella risposta potrebbe essere leggermente traballante. Se concateni dieci di queste risposte traballanti, il risultato finale potrebbe essere un totale disastro. È come cercare di costruire una torre di blocchi Jenga dove ogni blocco è leggermente traballante; più sali in alto, più è probabile che l'intera struttura crolli. Gli sviluppatori e gli utenti spesso si sentono smarriti di fronte a questo: "Questa risposta è giusta? Quanto siamo sicuri? Dovrei fidarmi?"

Per risolvere questo problema, gli scienziati hanno provato alcuni trucchi. Un'idea popolare è l' "inference scaling" (scalabilità dell'inferenza). Pensa a questo come al chiedere al tuo amico AI di provare lo stesso puzzle dieci volte diverse e vedere quale risposta compare più spesso. È come chiedere a un gruppo di amici di indovinare la risposta a un indovinello e seguire la maggioranza dei voti. Ma ecco il problema: farlo manualmente è disordinato. Devi scrivere un codice speciale per eseguire quei dieci tentativi, tenere traccia di quali sembrano buoni e scartare quelli cattivi. È come dover costruire una nuova fabbrica ogni volta che vuoi preparare un lotto di biscotti solo per assicurarti che abbiano un buon sapore. È complicato, costoso e difficile da modificare se vuoi provare un modo diverso di preparare i biscotti.

La Grande Idea del Paper: Il "Magic Scorecard" (Il Tabellone Magico)

Questo articolo presenta uno strumento chiamato PPDL (Probabilistic Prompt Declaration Language). Puoi pensare al PPDL come a un "tabellone magico" per i flussi di lavoro dell'IA. Invece di chiedere semplicemente all'IA una domanda e ottenere una singola risposta, il PPDL ti permette di scrivere un programma che comprende naturalmente il fatto che l'IA potrebbe essere incerta.

Ecco come funziona in parole semplici:

Il Flusso: Scrivi le tue istruzioni per l'IA come faresti normalmente (ad esempio, "Pianifica il codice", poi "Scrivi il codice", poi "Controlla il codice").
Il Fattore Magico: Aggiungi un'istruzione speciale chiamata factor. Questo è come un tabellone dove dici all'IA: "Ehi, se il piano sembra logico, dai un punteggio alto. Se il codice contiene errori, dai un punteggio basso".
Il Risultato: Quando esegui il programma, il computer non ti dà solo una risposta. Esegue l'intero processo molte volte in parallelo (come avere cento versioni diverse di te stesso che provano a risolvere il puzzle contemporaneamente). Utilizza il tuo "tabellone" per pesare i risultati. Se un percorso sembra molto promettente, il computer concentra più energia su quel percorso. Se un percorso sembra cattivo, lo scarta.

La parte più bella è che non devi scrivere tu il complesso codice per "farlo girare dieci volte". Il PPDL gestisce tutto questo lavoro pesante dietro le quinte. Tu scrivi la logica una volta sola e il sistema capisce automaticamente il modo migliore per esplorare tutte le possibilità.

Cosa Hanno Scoperto

Gli autori hanno testato questa idea su diverse sfide, dal risolvere problemi matematici di scuola elementare alla scrittura di codice informatico complesso e persino alla dimostrazione di teoremi matematici.

Maggiore Accuratezza: Nei loro test, l'uso del PPDL con questi "tabelloni" ha reso l'IA significativamente più accurata. Ad esempio, in un test matematico chiamato GSM8k, un'IA standard otteneva circa l'83,8% delle risposte corrette. Ma quando hanno usato il PPDL con un metodo chiamato "Importance Sampling" (che è come un modo intelligente di scegliere le ipotesi migliori), l'accuratezza è balzata al 93,7%.
Il "Modo Intelligente" Vince: Hanno confrontato diversi modi di usare i tabelloni. A volte, prendere semplicemente la "maggioranza dei voti" (la risposta più comune) funzionava bene. Ma spesso, i metodi più intelligenti (come l'Importance Sampling e il Sequential Monte Carlo) erano molto migliori. Questi metodi sono come un detective che non si limita a contare i voti, ma investiga effettivamente perché una risposta è buona o cattiva, scartando i percorsi errati precocemente e concentrandosi su quelli giusti.
Il Caso di Studio del Dimostratore di Teoremi: Per mettere alla prova il sistema, hanno costruito un agente IA per dimostrare teoremi matematici usando uno strumento chiamato Rocq. Questo è un compito molto difficile in cui l'IA deve scrivere una dimostrazione, controllare se è sbagliata e correggerla ripetutamente. Hanno scoperto che il metodo "intelligente" (Sequential Monte Carlo) era molto più efficace nel trovare la dimostrazione corretta rispetto al semplice provare tentativi casuali ripetutamente. Poteva esplorare molti percorsi diversi contemporaneamente e abbandonare rapidamente quelli che non portavano a nulla.

Cosa NON Hanno Dichiarato

Gli autori sono cauti nel non dire che questo sia una "soluzione magica" per tutto. Sottolineano che i "tabelloni" (i fattori) sono validi solo quanto le informazioni che inserisci in essi. Se il tuo tabellone è scadente, il sistema non lo sistemerà magicamente. Inoltre, sebbene questo metodo renda l'IA più affidabile, non significa che l'IA sia improvvisamente perfetta; significa solo che abbiamo un modo molto migliore per misurare quanto possiamo essere sicuri della risposta.

Perché è Importante

Questo articolo suggerisce che, trattando i flussi di lavoro dell'IA come "programmi probabilistici" (programmi che comprendono l'incertezza), possiamo rendere le applicazioni di IA molto più affidabili senza renderle incredibilmente complicate da costruire. È come dare agli sviluppatori un nuovo set di strumenti che gestiscono automaticamente il lavoro disordinoso del "riprovare ancora e ancora", permettendo loro di concentrarsi sulla creazione di cose interessanti mentre il computer trova il modo migliore per ottenere la risposta corretta.

Sintesi Tecnica: PPDL: Flussi basati su LLM come Programmi Probabilistici

Problema

Costruire applicazioni affidabili utilizzando i Large Language Models (LLM) è una sfida a causa dell'incertezza intrinseca e della mancanza di metriche di confidenza negli output degli LLM. Questo problema è esacerbato nei "flussi" — sequenze di molteplici chiamate a LLM e interazioni con strumenti — dove l'incertezza si accumula lungo la traccia di esecuzione. Sebbene le tecniche di scaling dell'inferenza (ad esempio, ripetere i compiti, utilizzare verificatori) possano migliorare l'accuratezza, le attuali implementazioni sono spesso ad hoc, strettamente accoppiate alla logica del programma e mancano di un framework strutturato per tracciare l'incertezza o esplorare percorsi di esecuzione alternativi. Gli sviluppatori faticano a valutare la correttezza delle risposte o a sperimentare diverse strategie di scaling senza riscrivere la logica centrale del flusso.

Metodologia

Il documento introduce PPDL (Probabilistic Prompt Declaration Language), il primo linguaggio di programmazione probabilistica progettato specificamente per i flussi basati su LLM. PPDL unifica la programmazione dei prompt con la programmazione probabilistica, separando la logica centrale del programma dalla strategia di scaling dell'inferenza.

Costrutti Fondamentali del Linguaggio

PPDL si basa su PDL (Prompt Declaration Language), un linguaggio dichiarativo per comporre chiamate a LLM e strumenti. PPDL estende PDL con un singolo primitivo ortogonale: factor.

sample (Implicito): Le chiamate agli LLM agiscono come operazioni di campionamento da una distribuzione definita dal modello e dal contesto corrente.
factor: Questo costrutto aggiorna la probabilità dell'attuale traccia di esecuzione sulla base di vincoli specificati dall'utente (soft o hard). I vincoli possono derivare da valutazioni "LLM-as-a-judge", strumenti basati su regole (es. linter, suite di test) o modelli di ricompensa di processo.
Modello di Esecuzione: Invece di restituire un singolo output, PPDL tratta il programma come una distribuzione su tracce di esecuzione. Il runtime esplora questa distribuzione utilizzando motori di inferenza probabilistica.

Semantica e Inferenza

Il documento formalizza la semantica di PPDL come un campionatore pesato (weighted sampler).

Campionatore Pesato: Una singola traccia di esecuzione riduce un programma $p$ a un valore $v$ con un punteggio logaritmico associato (accumulato dai statement factor).
Semantica Ideale: Definita come una somma infinita su tutte le possibili tracce, normalizzata per formare una distribuzione categorica sugli output.
Inferenza Approssimata: Poiché la semantica ideale è intrattabile, PPDL implementa algoritmi di approssimazione Monte Carlo:
- Importance Sampling (IS): Esegue $N$ particelle indipendenti (tracce) e le ripesa in base ai loro punteggi finali.
- Sequential Monte Carlo (SMC): Introduce passaggi di resampling in corrispondenza dei punti factor. Le particelle con punteggi bassi vengono scartate, mentre quelle con punteggi alti vengono duplicate, permettendo al sistema di concentrare le risorse computazionali su tracce parziali promettenti nelle prime fasi del flusso.
- Majority Voting: Un baseline in cui tutte le particelle sono pesate equamente.

Implementazione

PPDL è un linguaggio interpretato implementato con parallelismo.

Parallelismo: Le particelle indipendenti sono eseguite in parallelo. All'interno di una singola particella, le chiamate ai modelli indipendenti sono parallelizzate tramite "futures" e strutture dati differite per minimizzare il blocco.
Ortogonalità: Gli utenti scrivono la logica del flusso una sola volta. L'algoritmo di inferenza (IS, SMC o Majority Voting) e il numero di particelle sono configurati a runtime senza modificare il codice sorgente.

Contributi Chiave

Linguaggio PPDL: Il primo linguaggio di programmazione probabilistica per i prompt dedicato ai flussi di chiamate LLM e strumenti, introducendo factor come meccanismo per punteggiare e guidare le tracce di esecuzione.
Semantica Formale: Una definizione rigorosa del comportamento di PPDL, che formalizza l'interazione tra il campionamento basato su prompt e i fattori probabilistici, definendo la distribuzione risultante delle tracce.
Framework di Scaling dell'Inferenza: Una dimostrazione del fatto che PPDL consente sperimentazioni sistematiche con diversi algoritmi di scaling dell'inferenza (IS, SMC, Majority Voting) su vari modelli e task senza riscrivere la logica del flusso.
Case Study: Implementazione di un agente di dimostrazione di teoremi per il dimostratore di teoremi Rocq, che mostra l'utilità dell'inferenza probabilistica in complessi workflow di agenti iterativi.

Risultati Sperimentali

Gli autori hanno valutato PPDL attraverso molteplici benchmark (GSM8k, Math500, MBPP, LiveCodeBench, Fever) e modelli (Granite, Llama, GPT-OSS).

Miglioramenti dell'Accuratezza: Lo scaling dell'inferenza ha generalmente superato il baseline (esecuzione singola, IS@1). Sebbene il Majority Voting abbia performato bene in alcuni casi, Importance Sampling (IS) e Sequential Monte Carlo (SMC) hanno spesso prodotto risultati superiori, specialmente quando i vincoli factor fornivano informazioni significative per distinguere le tracce corrette da quelle errate.
Vantaggio di SMC: In flussi complessi e multi-step (come la dimostrazione di teoremi), SMC ha superato significativamente IS. Effettuando il resampling in punti factor intermedi, SMC può reindirizzare la computazione verso percorsi promettenti precocemente, evitando lo spreco di token su tracce parziali errate.
Case Study sulla Dimostrazione di Teoremi: Nel benchmark MiniF2F-Rocq, SMC con 40 particelle ha risolto il 39% dei problemi (95/244), rispetto al 30% (72.7/244) della strategia baseline IS@1, il tutto entro un budget fisso di token. Ciò ha dimostrato come lo steering probabilistico possa migliorare le prestazioni del modello base su compiti impegnativi.

Significato e Claim

Il documento sostiene che PPDL fornisce un modo rigoroso per gestire l'incertezza nelle applicazioni LLM. Trattando i flussi LLM come programmi probabilistici, permette agli sviluppatori di:

Quantificare l'Incertezza: Gli utenti ricevono una distribuzione di output, consentendo loro di valutare la fiducia piuttosto che affidarsi a un singolo output potenzialmente errato.
Sperimentare Efficientemente: Gli sviluppatori possono passare tra diverse strategie di scaling dell'inferenza (ad esempio, dal semplice voto alla complessa SMC) cambiando la configurazione a runtime invece di rifattorizzare il codice.
Separare la Logica dalla Ricerca: La separazione tra la logica centrale del flusso e la strategia di ricerca (motore di inferenza) semplifica lo sviluppo di workflow agentici robusti.

Gli autori riconoscono che lo scaling dell'inferenza non è una "soluzione magica" e che la qualità dei risultati dipende dalla qualità dei vincoli (factor) forniti, che possono essere imperfetti. Tuttavia, PPDL offre un framework flessibile per integrare e testare vari algoritmi di inferenza e fonti di vincoli.