🤖 machine learning

PPDL: LLM-Based Flows as Probabilistic Programs

Este artículo presenta PPDL, un lenguaje de programación probabilística que permite a los desarrolladores cuantificar y propagar la incertidumbre a través de flujos de aplicaciones basadas en LLM y experimentar con técnicas de escalado de inferencia sin modificar la lógica central, tal como se demuestra mediante un agente de demostración de teoremas para el probador Rocq.

Autores originales: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Publicado 2026-08-07

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Louis Mandel, Guillaume Baudart, Mandana Vaziri, Martin Hirzel

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando resolver un rompecabezas realmente difícil, pero en lugar de hacerlo solo, tienes un amigo súper inteligente y creativo que puede hablar contigo. Este amigo es una Inteligencia Artificial llamada Modelo de Lenguaje Extenso (LLM). Es increíble escribiendo historias, resolviendo problemas matemáticos e incluso escribiendo código informático. Sin embargo, no es perfecto. A veces se siente seguro de la respuesta incorrecta, o puede que invente hechos que suenan reales pero no lo son. Esto se llama "incertidumbre".

Imagina que necesitas resolver un problema realmente difícil que requiere muchos pasos. Le pides a tu amigo la IA que haga un plan, luego le pides que escriba el código basado en ese plan, luego le pides que revise el código, y así sucesivamente. Cada vez que le haces una pregunta, la IA da una respuesta, pero esa respuesta puede ser ligeramente inestable. Si encadenas diez de estas respuestas inestables, el resultado final podría ser un desastre total. Es como intentar construir una torre de bloques de Jenga donde cada bloque es ligeramente tambaleante; cuanto más alto subes, más probable es que toda la estructura colapse. Los desarrolladores y usuarios suelen sentirse perdidos aquí: "¿Es correcta esta respuesta? ¿Qué tan seguros estamos? ¿Debería confiar en ella?".

Para solucionar esto, los científicos han probado algunos trucos. Una idea popular es el "escalado de inferencia". Piensa en esto como pedirle a tu amigo la IA que intente resolver el mismo rompecabezas diez veces diferentes y ver qué respuesta aparece con más frecuencia. Es como preguntarle a un grupo de amigos que adivinen la respuesta a un acertijo y quedarse con la votación de la mayoría. Pero aquí está el truco: hacerlo manualmente es desordenado. Tienes que escribir un código especial para ejecutar esas diez pruebas, realizar un seguimiento de cuáles se ven bien y descartar las malas. Es como tener que construir una nueva fábrica cada vez que quieres hornear una tanda de galletas solo para asegurarte de que sepan bien. Es complicado, costoso y difícil de cambiar si quieres probar una forma diferente de hornear.

La Gran Idea del Documento: El "Tablero de Puntuación Mágico"

Este documento presenta una nueva herramienta llamada PPDL (Lenguaje de Declaración de Prompts Probabilísticos). Puedes pensar en PPDL como un especial "tablero de puntuación mágico" para los flujos de trabajo de IA. En lugar de simplemente hacerle una pregunta a la IA y obtener una única respuesta, PPDL te permite escribir un programa que entiende naturalmente que la IA puede estar insegura.

Así es como funciona en lenguaje sencillo:

El Flujo: Escribes tus instrucciones para la IA tal como lo harías normalmente (por ejemplo, "Planificar el código", luego "Escribir el código", luego "Revisar el código").
El Factor Mágico: Añades una instrucción especial llamada factor. Esto es como un tablero de puntuación donde le dices a la IA: "Oye, si el plan suena lógico, dale una puntuación alta. Si el código tiene errores, dale una puntuación baja".
El Resultado: Cuando ejecutas el programa, la computadora no solo te da una respuesta. Ejecuta todo el proceso muchas veces en paralelo (como tener cien versiones diferentes de ti mismo intentando resolver el rompecabezas a la vez). Utiliza tu "tablero de puntuación" para ponderar los resultados. Si un camino parece muy prometedor, la computadora concentra más energía en ese camino. Si un camino se ve mal, lo descarta.

La parte más genial es que no tienes que escribir el complejo código de "ejecutarlo diez veces" tú mismo. PPDL se encarga de todo ese trabajo pesado en segundo plano. Solo escribes la lógica una vez y el sistema automáticamente descubre la mejor manera de explorar todas las posibilidades.

Lo que Encontraron

Los autores probaron esta idea en varios desafíos, desde resolver problemas matemáticos de escuela primaria hasta escribir código informático complejo e incluso demostrar teoremas matemáticos.

Mejor Precisión: En sus pruebas, usar PPDL con estos "tableros de puntuación" hizo que la IA fuera significativamente más precisa. Por ejemplo, en una prueba de matemáticas llamada GSM8k, una IA estándar obtuvo aproximadamente el 83.8% de las respuestas correctas. Pero cuando usaron PPDL con un método llamado "Muestreo de Importancia" (que es como una forma inteligente de elegir las mejores conjeturas), la precisión saltó al 93.7%.
El Método "Inteligente" Gana: Compararon diferentes formas de usar los tableros de puntuación. A veces, simplemente tomar la "votación de la mayoría" (la respuesta más común) funcionaba bien. Pero a menudo, los métodos más inteligentes (como el Muestreo de Importancia y el Monte Carlo Secuencial) eran mucho mejores. Estos métodos son como tener un detective que no solo cuenta votos, sino que realmente investiga por qué una respuesta es buena o mala, descartando caminos malos temprano y enfocándose en los buenos.
El Caso de Estudio del Demostrador de Teoremas: Para poner a prueba el sistema, construyeron un agente de IA para demostrar teoremas matemáticos utilizando una herramienta llamada Rocq. Esta es una tarea muy difícil donde la IA tiene que escribir una prueba, verificar si es errónea y corregirla repetidamente. Encontraron que el método "inteligente" (Monte Carlo Secuencial) era mucho mejor para encontrar la prueba correcta que simplemente intentar conjeturas aleatorias una y otra vez. Podía explorar muchos caminos diferentes a la vez y abandonar rápidamente aquellos que no llevaban a ninguna parte.

Lo que No Reclaman

Los autores tienen cuidado de no decir que esto es una "solución mágica" para todo. Señalan que los "tableros de puntuación" (los factores) son tan buenos como la información que pongas en ellos. Si tu tablero de puntuación es malo, el sistema no lo arreglará mágicamente. Además, aunque este método hace que la IA sea más confiable, no significa que la IA sea repentinamente perfecta; solo significa que tenemos una mejor manera de medir qué tan seguros deberíamos estar de la respuesta.

Por Qué Es Importante

Este documento sugiere que, al tratar los flujos de trabajo de IA como "programas probabilísticos" (programas que entienden la incertidumbre), podemos hacer que las aplicaciones de IA sean mucho más confiables sin que sean increíblemente complicadas de construir. Es como darles a los desarrolladores un nuevo conjunto de herramientas que manejan automáticamente el desordenoso negocio de "intentarlo una y otra vez", para que puedan concentrarse en construir cosas geniales mientras la computadora descubre la mejor manera de obtener la respuesta correcta.

Resumen Técnico: PPDL: Flujos Basados en LLM como Programas Probabilísticos

Planteamiento del Problema

Construir aplicaciones fiables utilizando Modelos de Lenguaje de Gran Tamaño (LLM) es un desafío debido a la incertidumbre inherente y la falta de métricas de confianza en los resultados de los LLM. Este problema se ve exacerbado en los "flujos" (flows)—secuencias de múltiples llamadas a LLM e interacciones con herramientas—donde la incertidumbre se acumula a lo largo del rastro de ejecución. Aunque las técnicas de escalado de inferencia (por ejemplo, repetir tareas, usar verificadores) pueden mejorar la precisión, las implementaciones actuales suelen ser ad hoc, están estrechamente acopladas a la lógica del programa y carecen de un marco conceptual para rastrear la incertidumbre o explorar rutas de ejecución alternativas. Los desarrolladores tienen dificultades para evaluar la corrección de las respuestas o experimentar con diferentes estrategias de escalado sin reescribir la lógica central del flujo.

Metodología

El artículo presenta PPDL (Probabilistic Prompt Declaration Language), el primer lenguaje de programación probabilística diseñado específicamente para flujos basados en LLM. PPDL unifica la programación de prompts con la programación probabilística al desacoplar la lógica central del programa de la estrategia de escalado de inferencia.

Constructos del Lenguaje Central

PPDL se basa en PDL (Prompt Declaration Language), un lenguaje declarativo para componer llamadas a LLM y herramientas. PPDL extiende PDL con un único primitivo ortogonal: factor.

sample (Implícito): Las llamadas a LLM actúan como operaciones de muestreo de una distribución definida por el modelo y el contexto actual.
factor: Este constructo actualiza la probabilidad del rastro de ejecución actual basándose en restricciones especificadas por el usuario (suaves o duras). Las restricciones pueden derivarse de evaluaciones de "LLM-as-a-judge", herramientas basadas en reglas (por ejemplo, linters, suites de pruebas) o modelos de recompensa de proceso.
Modelo de Ejecución: En lugar de devolver un único resultado, PPDL trata el programa como una distribución sobre rastros de ejecución. El tiempo de ejecución explora esta distribución utilizando motores de inferencia probabilística.

Semántica e Inferencia

El artículo formaliza la semántica de PPDL como un muestreador ponderado.

Muestreador Ponderado: Un único rastro de ejecución reduce un programa $p$ a un valor $v$ con un log-score asociado (acumulado a partir de las sentencias factor).
Semántica Ideal: Definida como una suma infinita sobre todos los posibles rastros, normalizada para formar una distribución categórica sobre los valores de salida.
Inferencia Aproximada: Dado que la semántica ideal es intratable, PPDL implementa algoritmos de aproximación de Monte Carlo:
- Muestreo de Importancia (IS - Importance Sampling): Ejecuta $N$ partículas independientes (rastros) y las repondera basándose en sus puntuaciones finales.
- Monte Carlo Secuencial (SMC - Sequential Monte Carlo): Introduce pasos de remuestreo en los puntos de factor. Las partículas con puntuaciones bajas son descartadas y aquellas con puntuaciones altas son duplicadas, lo que permite al sistema centrar los recursos computacionales en trazas parciales prometedoras al inicio del flujo.
- Votación por Mayoría: Una línea base donde todas las partículas se ponderan por igual.

Implementación

PPDL es un lenguaje interpretado implementado con paralelismo.

Paralelismo: Las partículas independientes se ejecutan en paralelo. Dentro de una sola partícula, las llamadas al modelo independientes se paralelizan mediante futures y estructuras de datos diferidas para minimizar el bloqueo.
Ortogonalidad: Los usuarios escriben la lógica del flujo una sola vez. El algoritmo de inferencia (IS, SMC o Votación por Mayoría) y el número de partículas se configuran en tiempo de ejecución sin modificar el código fuente.

Contribuciones Clave

Lenguaje PPDL: El primer lenguaje de programación de prompts probabilísticos para flujos de llamadas a LLM y herramientas, introduciendo factor como un mecanismo para puntuar y dirigir los rastros de ejecución.
Semántica Formal: Una definición rigurosa del comportamiento de PPDL, formalizando la interacción entre el muestreo basado en prompts y los factores probabilísticos, y definiendo la distribución resultante de los rastros.
Marco de Escalado de Inferencia: Una demostración de que PPDL permite la experimentación sistemática con diferentes algoritmos de escalado de inferencia (IS, SMC, Votación por Mayoría) a través de varios modelos y tareas sin reescribir la lógica del flujo.
Caso de Estudio: La implementación de un agente de demostración de teoremas para el demostrador de teoremas Rocq, que muestra la utilidad de la inferencia probabilística en flujos de trabajo de agentes complejos e iterativos.

Resultados Experimentales

Los autores evaluaron PPDL a través de múltiples benchmarks (GSM8k, Math500, MBPP, LiveCodeBench, Fever) y modelos (Granite, Llama, GPT-OSS).

Mejoras en la Precisión: El escalado de inferencia generalmente superó a la línea base (ejecución única, IS@1). Aunque la Votación por Mayoría funcionó bien en algunos casos, el Muestreo de Importancia (IS) y el Monte Carlo Secuencial (SMC) a menudo produjeron resultados superiores, particularmente cuando las restricciones de factor proporcionaban información significativa para distinguir rastros correctos de incorrectos.
Ventaja de SMC: En flujos de múltiples pasos complejos (como la demostración de teoremas), SMC superó significativamente a IS. Al remuestrear en puntos de factor intermedios, SMC pudo redirigir la computación hacia rutas prometedoras de forma temprana, evitando el desperdicio de tokens en trazas parciales incorrectas.
Caso de Estudio de Demostración de Teoremas: En el benchmark MiniF2F-Rocq, SMC con 40 partículas resolvió el 39% de los problemas (95/244), en comparación con el 30% (72.7/244) de la estrategia de línea base IS@1. Esto demostró que el direccionamiento probabilístico puede mejorar el rendimiento del modelo base en tareas desafiantes.

Significado y Reivindicaciones

El artículo afirma que PPDL proporciona una forma de manejar la incertidumbre en las aplicaciones de LLM. Al tratar los flujos de LLM como programas probabilísticos, permite a los desarrolladores:

Cuantificar la Incertidumbre: Los usuarios reciben una distribución de salidas, lo que permite evaluar la confianza en lugar de depender de una única respuesta, potencialmente errónea.
Experimentar Eficientemente: Los desarrolladores pueden cambiar las estrategias de escalado de inferencia (por ejemplo, de una votación simple a un SMC complejo) cambiando la configuración en tiempo de ejecución en lugar de refactorizar el código.
Desacoplar la Lógica de la Búsqueda: La separación de la lógica central del flujo y la estrategia de búsqueda (motor de inferencia) simplifica el desarrollo de flujos de trabajo de agentes robustos.

Los autores reconocen que el escalado de inferencia no es una "solución mágica" y que la calidad de los resultados depende de la calidad de las restricciones (factores) proporcionadas, que pueden ser imperfectas. Sin embargo, PPDL ofrece un marco flexible para integrar y probar diversas fuentes de restricciones y algoritmos de inferencia.