💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

Este artículo presenta el Entrenamiento de Posterior Basado en Programas (PPT, por sus siglas en inglés), un novedoso método de ajuste fino que aprovecha programas probabilísticos para generar diversos escenarios de mundo abierto y etiquetas blandas distribucionales, mejorando significativamente la capacidad de los grandes modelos de lenguaje para realizar razonamiento inductivo incierto y alinearse con los juicios humanos.

Autores originales: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Publicado 2026-06-10

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de enseñarle a un estudiante muy inteligente y culto (un Modelo de Lenguaje Grande, o LLM) cómo hacer conjeturas sobre el mundo real.

Actualmente, estos estudiantes son excelentes en el razonamiento deductivo. Esto es como resolver un problema de matemáticas o escribir código: hay un conjunto claro de reglas y, si las sigues correctamente, hay una única respuesta, 100% correcta. Si se equivoca, es un error evidente.

Sin embargo, el mundo real rara vez es así de ordenado. La mayor parte de nuestro pensamiento diario es razonamiento inductivo. Esto es como ser un detective que observa un puñado de pistas dispersas para averiguar qué sucedió.

Ejemplo: Ves a un amigo llegando tarde, con aspecto cansado y consultando su reloj. Supones que se quedó dormido. Pero, ¿quizás se quedó atrapado en el tráfico? ¿Tal vez perdió el autobús? No hay una única respuesta "correcta"; hay un rango de posibilidades, cada una con un nivel diferente de probabilidad.

El problema es que los métodos de entrenamiento estándar tienen dificultades con esto. Es difícil encontrar una biblioteca masiva de "casos detectivescos" donde las respuestas ya estén calificadas por un profesor que conozca la probabilidad exacta de cada resultado. Pedir a otros modelos de IA que califiquen estos casos es arriesgado porque podrían simplemente copiar sus propios sesgos.

La Solución: El "Juego de Simulación" (Entrenamiento de Posterior basado en Programas)

Los autores de este artículo idearon una forma ingeniosa de entrenar a la IA para que gestione la incertidumbre. Lo llaman Entrenamiento de Posterior basado en Programas (PPT).

Piénsalo como una línea de producción de un videojuego de tres pasos:

El Narrador (El LLM): Primero, le piden a una IA potente que invente un montón de escenarios salvajes de mundo abierto.
- Ejemplo: "Imagina un campeonato de levantamiento de potencia donde el rendimiento de los atletas depende de su fuerza natural, su enfoque ese día y cuánto durmieron".
El Matemático (El Programa Probabilístico): Luego, le piden a la IA que traduzca esa historia en un código matemático estricto (un "programa probabilístico"). Este código actúa como un motor de simulación perfecto. No solo hace conjeturas; calcula las probabilidades matemáticas exactas de cada resultado basándose en las reglas de la historia.
- Analogía: Si la historia es una receta, este paso consiste en escribir un programa informático que simule exactamente cómo subirá el pastel, qué tan denso será y qué tan probable es que se queme, basándose en los ingredientes.
El Maestro (Los Datos de Entrenamiento): Finalmente, ejecutan esa simulación miles de veces. En lugar de darle al estudiante una sola respuesta (por ejemplo, "Jamal ganará"), la simulación entrega una distribución de respuestas (por ejemplo, "Jamal tiene un 60% de probabilidad de ganar, un 30% de empatar y un 10% de perder").

El estudiante de IA es entonces entrenado en estos millones de escenarios simulados. En lugar de aprender a memorizar una única respuesta "correcta", aprende a coincidir con la forma de la nube de probabilidad generada por la simulación.

¿Qué pasó cuando lo intentaron?

Los investigadores probaron este nuevo "estudiante" en varios desafíos:

Mejor capacidad de conjetura: Cuando se le pedía predecir resultados en escenarios deportivos o de atención médica que nunca había visto, la IA realizaba estimaciones mucho más precisas. No solo adivinaba un número; comprendía la incertidumbre que rodeaba a ese número.
Pensar como humanos: Cuando compararon las conjeturas de la IA con los juicios humanos reales, la IA entrenada con este método se alineó mucho mejor con la forma en que piensan las personas reales. Dejó de ser excesivamente confiada y empezó a actuar más como un observador humano cauteloso.
Generalización: Incluso cuando probaron a la IA en temas completamente diferentes (como cambiar de deportes a atención médica), siguió funcionando bien. Esto sugiere que aprendió una habilidad general para "pensar con incertidumbre", no solo a memorizar datos deportivos.
Calibración: La IA se volvió "calibrada". Esto significa que si dice que hay un 70% de probabilidad de que algo suceda, eso sucede aproximadamente el 70% de las veces. El artículo señala que esta mejora es profunda; no es solo un truco superficial (como ajustar un dial después de los hechos), sino un cambio fundamental en cómo el modelo representa la incertidumbre.

La Conclusión

El artículo argumenta que, para que la IA sea mejor en el razonamiento del mundo real, no debemos limitarnos a alimentarla con más hechos. En su lugar, debemos enseñarle a simular el mundo. Al usar la IA para generar historias, convertir esas historias en simulaciones matemáticas estrictas y luego entrenar a otras IA con los resultados de esas simulaciones, podemos crear modelos que sean mucho mejores para manejar la naturaleza desordenada, incierta y probabilística de la vida real.

No probaron esto en diagnósticos médicos o asesoramiento legal en este estudio específico; se centraron en deportes, escenarios generales y puntos de referencia específicos para demostrar que el método funciona. La idea central es que los programas probabilísticos actúan como un maestro perfecto, permitiendo que la IA aprenda el arte de la incertidumbre.

Resumen Técnico: Entrenamiento de Posteriores Basado en Programas para el Razonamiento Inductivo en LLMs

Declaración del Problema

Si bien los Modelos de Lenguaje Extensos (LLMs) han logrado un éxito significativo en tareas de razonamiento deductivo (por ejemplo, matemáticas, programación) donde la corrección es determinista y verificable, tienen dificultades con el razonamiento inductivo. Los problemas inductivos del mundo real requieren inferir creencias latentes inciertas a partir de observaciones dispersas, ambiguas y ruidosas.

Entrenar LLMs para estas tareas enfrenta dos desafíos principales:

Escasez de Datos: Es difícil curar conjuntos de datos etiquetados de alta calidad y gran escala para el razonamiento inductivo en mundos abiertos. Los juicios humanos son costosos y difíciles de escalar, mientras que el uso de LLMs más potentes para generar etiquetas conlleva el riesgo de heredar sus sesgos y errores.
Objetivos Distribucionales: El razonamiento inductivo a menudo requiere representar la incertidumbre (una distribución sobre posibles respuestas) en lugar de una única estimación puntual. Los métodos de ajuste fino (fine-tuning) estándar tienen dificultades con objetivos que son inherentemente probabilísticos.

Metodología: Entrenamiento de Posteriores Basado en Programas (PPT)

Los autores proponen el Entrenamiento de Posteriores Basado en Programas (PPT), un flujo de trabajo que utiliza programas probabilísticos para generar supervisión escalable y fundamentada para el ajuste fino de LLMs. El proceso consta de tres pasos secuenciales (ilustrados en la Figura 1):

Síntesis de Escenarios: Un LLM potente de código cerrado genera diversos escenarios de lenguaje natural de mundo abierto y sus consultas asociadas.
Generación de Programas Probabilísticos: El LLM traduce cada escenario en un programa probabilístico estructurado (específicamente en Pyro, un lenguaje de programación probabilística basado en Python). Este paso implica:
- Identificar variables latentes relevantes ( $z$ ), observaciones ( $x$ ) y variables de consulta ( $y$ ).
- Codificar el modelo generativo $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ .
Generación de Objetivos: Los programas probabilísticos generados se ejecutan para realizar inferencia probabilística (mediante MCMC o Muestreo por Rechazo). Esto produce la distribución posterior $p_\theta(y|x)$ , que sirve como el objetivo de supervisión de la "verdad fundamental" (ground truth).

Estrategia de Ajuste Fino (Fine-Tuning):
Los autores ajustan modelos de código abierto (LLaMA-3-8B-Instruct y Qwen-2-7B-Instruct) utilizando Low-Rank Adaptation (LoRA) sobre las tuplas generadas de $(escenario, consulta, posterior)$. Exploran dos formatos de supervisión:

Objetivo Distribucional (Distribución PPT): El LLM se entrena para predecir la probabilidad posterior discretizada sobre los tokens de respuesta (por ejemplo, enteros de 0 a 100) utilizando una pérdida de entropía cruzada contra la distribución inferida por el programa.
Objetivo Puntual (Media PPT): El LLM se entrena únicamente en la media de la posterior (redondeada al entero más cercano).

El conjunto de datos comprende más de 10,000 escenarios únicos y más de 59,000 consultas en tres dominios: Deportes, Salud y General.

Contribuciones Clave

Nuevo Paradigma de Entrenamiento: El artículo introduce un método para ajustar finamente LLMs para el razonamiento inductivo mediante el puente entre el lenguaje natural de mundo abierto y modelos probabilísticos precisos, yendo más allá de la supervisión de estimación puntual determinista.
Creación de Conjuntos de Datos Escalables: Los autores crean un conjunto de datos a gran escala de problemas de inferencia inductiva con etiquetas probabilísticamente fundamentadas, generadas mediante un flujo automatizado que extiende la Arquitectura de Síntesis de Modelos (MSA).
Validación Empírica de la Supervisión Distribucional: El estudio demuestra que el ajuste fino sobre distribuciones posteriores completas produce resultados superiores en comparación con el ajuste fino sobre medias posteriores o el uso directo de LLMs más fuertes como etiquetadores.
Complementariedad con Métodos de Calibración: El trabajo muestra que el PPT mejora la calibración "bruta" (la representación interna de la incertidumbre del modelo) y es complementario al escalado de temperatura post-hoc, en lugar de ser subsumido por este.

Resultados Experimentales

1. Razonamiento Inductivo en Escenarios No Vistos (Held-Out)

Precisión: Los modelos ajustados con PPT superan significativamente a los LLMs base y a los fuertes baselines de código cerrado (por ejemplo, Gemini-3.1-Pro) en escenarios deportivos con motivos inferenciales no vistos. El Error Absoluto Medio (MAE) en las estimaciones de la media posterior se redujo sustancialmente.
Representación de la Incertidumbre: A diferencia de los modelos base que a menudo producen masas de probabilidad no calibradas e idiosincrásicas (por ejemplo, agrupándose en múltiplos de diez), los modelos PPT producen distribuciones de respuesta que se alinean estrechamente con las inferencias de los programas probabilísticos de la verdad fundamental.
Alineación Humana: En escenarios de deportes, los modelos PPT lograron una correlación ( $R^2$ ) de 0.775 con los juicios humanos, superando al LLM base (0.509) y igualando el rendimiento de los programas originales de MSA (0.769).

2. Transferencia de Dominio (Fuera de Dominio)

Los modelos ajustados con datos de Deportes mostraron un rendimiento mejorado en escenarios de Salud (un dominio no visto), a pesar de no haber visto nunca datos de entrenamiento de salud. Esto sugiere que el modelo aprendió comportamientos inductivos de dominio general en lugar de memorizar hechos específicos de un dominio.
El entrenamiento con una mezcla de todos los dominios (Deportes, Salud, General) proporcionó mejoras adicionales sobre el entrenamiento de un solo dominio.

3. Transferencia a Benchmarks Externos

Los autores evaluaron la transferencia en siete benchmarks externos, incluyendo OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge y Winogrande.

Calibración: El PPT (Distribución) redujo consistentemente el Error de Calibración Esperado (ECE) y la Verosimilitud Negativa de Logaritmo (NLL) en todos los benchmarks de opción múltiple en comparación con los modelos base.
Complementariedad: Aplicar el escalado de temperatura (TS) post-hoc a los modelos ajustados con PPT produjo mejoras adicionales en NLL y ECE, lo que indica que el PPT desplaza la representación de incertididad bruta del modelo mientras que el TS ajusta la escala de confianza.
Precisión: El PPT mejoró la precisión de la elicitación de priors (reduciendo el MAE en OpenEstimate) y, en algunos casos, mejoró la precisión de la predicción del argmax en tareas de opción múltiple.

4. Estudios de Ablación

Distribución vs. Media: El ajuste fino sobre la distribución completa (Distribución PPT) superó consistentemente al ajuste fino sobre la media posterior (Media PPT) en todas las métricas, resaltando la importancia de la información distribucional.
Muestreo hacia Adelante vs. Inferencia Posterior: Si bien el muestreo hacia adelante permite conjuntos de datos más grandes, los modelos entrenados con objetivos de inferencia posterior completa lograron una mejor calibración y rendimiento de transferencia.

Significado y Reivindicaciones

El artículo afirma que el ajuste fino mediado por programas probabilísticos es un enfoque prometedor para el post-entrenamiento de LLMs para realizar inferencia inductiva aproximada.

Internalización de la Incertidumbre: Los resultados sugieren que el PPT permite a los modelos "internalizar profundamente" la incertidumbre, permitiéndoles generar creencias calibradas en lugar de solo reescalar salidas post-hoc.
Supervisión Escalable: El enfoque demuestra que los programas probabilísticos pueden servir no solo como herramientas de razonamiento en tiempo de ejecución, sino también como fuentes escalables y automatizadas de supervisión para entrenar LLMs en tareas de razonamiento inductivo complejas y de incertidumbre.
Generalización: El método transfiere con éxito a estructuras inferenciales (motivos) y dominios completamente nuevos, lo que sugiere que captura la lógica subyacente del razonamiento inductivo en lugar de patrones superficiales.

Los autores reconocen las limitaciones, señalando que la calidad de la supervisión depende de la fidelidad de los programas probabilísticos generados por el LLM y que la evaluación actual se centra en consultas numéricas y de opción múltiple en lugar de razonamiento de respuesta abierta. Sin embargo, concluyen que este flujo de trabajo mejora eficazmente la precisión de la estimación, la alineación humana y la calibración en los LLMs.