💬 NLP

Using Probabilistic Programs to Train Inductive Reasoning in Large Language Models

Cet article introduit le Program-based Posterior Training (PPT), une nouvelle méthode de fine-tuning qui exploite des programmes probabilistes pour générer des scénarios diversifiés en monde ouvert et des étiquettes douces distributionnelles, améliorant ainsi considérablement la capacité des grands modèles de langage à effectuer un raisonnement inductif incertain et à s'aligner sur les jugements humains.

Auteurs originaux : Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Publié 2026-06-10

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Liyi Zhang, Akshay K. Jagadish, Brenden M. Lake, Thomas L. Griffiths

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'enseigner à un étudiant très intelligent et cultivé (un grand modèle de langage, ou LLM) comment faire des suppositions sur le monde réel.

Actuellement, ces étudiants sont excellents en raisonnement déductif. C'est comme résoudre un problème de mathématiques ou écrire du code : il existe un ensemble de règles claires et, si vous les suivez correctement, il y a une seule réponse unique, 100 % correcte. Si l'étudiant se trompe, c'est une erreur manifeste.

Cependant, le monde réel est rarement aussi net. La majeure partie de notre pensée quotidienne relève du raisonnement inductif. C'est comme être un détective observant quelques indices épars pour comprendre ce qui s'est passé.

Exemple : Vous voyez un ami arriver en retard, l'air fatigué et consultant sa montre. Vous supposez qu'il a fait une grasse matinée. Mais peut-être était-il coincé dans les embouteillages ? Peut-être a-t-il raté son bus ? Il n'y a pas de « bonne » réponse unique ; il y a un éventail de possibilités, chacune ayant un niveau de probabilité différent.

Le problème est que les méthodes d'entraînement standard peinent à gérer cela. Il est difficile de trouver une immense bibliothèque de « cas de détectives » où les réponses sont déjà notées par un professeur qui connaît la probabilité exacte de chaque issue. Demander à d'autres modèles d'IA de noter ces cas est risqué, car ils pourraient simplement copier leurs propres biais.

La Solution : Le « Jeu de Simulation » (Entraînement de la Postériorité par Programmation)

Les auteurs de ce document ont trouvé un moyen ingénieux d'entraîner l'IA à gérer l'incertitude. Ils appellent cela l'Entraînement de la Postériorité par Programmation (PPT).

Voyez cela comme une chaîne de production de jeu vidéo en trois étapes :

Le Conteur (le LLM) : D'abord, on demande à une IA puissante d'inventer un tas de scénarios sauvages en monde ouvert.
- Exemple : « Imagine un championnat de force athlétique où la performance des athlètes dépend de leur force naturelle, de leur concentration du jour et de la qualité de leur sommeil. »
Le Mathématicien (le Programme Probabiliste) : Ensuite, on demande à l'IA de traduire cette histoire en un code mathématique strict (un « programme probabiliste »). Ce code agit comme un moteur de simulation parfait. Il ne se contente pas de deviner ; il calcule les probabilités mathématiques exactes de chaque résultat en fonction des règles de l'histoire.
- Analogie : Si l'histoire est une recette, cette étape consiste à écrire un programme informatique qui simule exactement comment le gâteau va monter, quelle sera sa densité et quelle est la probabilité qu'il brûle, en fonction des ingrédients.
Le Professeur (les Données d'Entraînement) : Enfin, on exécute cette simulation des milliers de fois. Au lieu de donner à l'étudiant une seule réponse (ex : « Jamal va gagner »), la simulation donne une distribution de réponses (ex : « Jamal a 60 % de chances de gagner, 30 % de chances de faire match nul et 10 % de chances de perdre »).

L'étudiant IA est ensuite entraîné sur ces millions de scénarios simulés. Au lieu d'apprendre à mémoriser une seule réponse « correcte », il apprend à correspondre à la forme du nuage de probabilité généré par la simulation.

Qu'est-ce qui s'est passé quand ils l'ont testé ?

Les chercheurs ont testé ce nouvel « étudiant » sur plusieurs défis :

Une meilleure capacité de prédiction : Lorsqu'on lui demandait de prédire des résultats dans des scénarios sportifs ou de santé qu'il n'avait jamais vus, l'IA produisait des estimations beaucoup plus précises. Elle ne se contentait pas de deviner un chiffre ; elle comprenait l'incertitude entourant ce chiffre.
Penser comme les humains : Lorsqu'ils ont comparé les suppositions de l'IA aux jugements humains réels, l'IA entraînée avec cette méthode s'alignait beaucoup mieux sur la façon dont les vraies personnes pensent. Elle a cessé d'être excessivement confiante pour commencer à agir comme un observateur humain prudent.
Généralisation : Même lorsqu'ils ont testé l'IA sur des sujets complètement différents (comme passer du sport à la santé), elle a continué à bien performer. Cela suggère qu'elle a appris une compétence générale de « pensée avec l'incertitude », et non la simple mémorisation de faits sportifs.
Calibration : L'IA est devenue « calibrée ». Cela signifie que si elle dit qu'il y a 70 % de chances que quelque chose se produise, cela se produit effectivement environ 70 % du temps. Le document note que cette amélioration est profonde ; ce n'est pas seulement un truc de surface (comme ajuster un curseur après coup), mais un changement fondamental dans la façon dont le modèle représente l'incertitude.

L'essentiel

Le document soutient que pour rendre l'IA meilleure dans le raisonnement du monde réel, nous ne devrions pas simplement la nourrir de plus de faits. Au lieu de cela, nous devrions lui apprendre à simuler le monde. En utilisant l'IA pour générer des histoires, en transformant ces histoires en simulations mathématiques strictes, puis en entraînant d'autres IA sur les résultats de ces simulations, nous pouvons créer des modèles bien plus aptes à gérer la nature désordonnée, incertaine et probabiliste de la vie réelle.

Ils n'ont pas testé cela sur des diagnostics médicaux ou des conseils juridiques dans cette étude spécifique ; ils se sont concentrés sur le sport, des scénarios généraux et des benchmarks spécifiques pour prouver que la méthode fonctionne. L'idée centrale est que les programmes probabilistes agissent comme un professeur parfait, permettant à l'IA d'apprendre l'art de l'incertitude.

Résumé technique : Entraînement par programmation de la distribution postérieure pour le raisonnement inductif des LLM

Problématique

Bien que les grands modèles de langage (LLM) aient obtenu un succès significatif dans les tâches de raisonnement déductif (ex. : mathématiques, codage) où la correction est déterministe et vérifiable, ils éprouvent des difficultés avec le raisonnement inductif. Les problèmes d'induction du monde réel nécessitent d'inférer des croyances latentes incertaines à partir d'observations éparses, ambiguës et bruitées.

L'entraînement des LLM pour ces tâches fait face à deux défis principaux :

Rareté des données : Il est difficile de constituer des ensembles de données étiquetés de haute qualité et à grande échelle pour le raisonnement inductif en monde ouvert. Les jugements humains sont coûteux et difficiles à mettre à l'échelle, tandis que l'utilisation de LLM plus puissants pour générer des étiquettes risque d'hériter de leurs biais et erreurs.
Cibles distributionnelles : Le raisonnement inductif nécessite souvent de représenter l'incertitude (une distribution sur les réponses possibles) plutôt qu'une estimation ponctuelle unique. Les méthodes de fine-tuning standard peinent face à des cibles qui sont intrinsèquement probabilistes.

Méthodologie : Entraînement de la distribution postérieure par programmation (PPT - Program-based Posterior Training)

Les auteurs proposent le Program-based Posterior Training (PPT), un pipeline qui utilise des programmes probabilistes pour générer une supervision ancrée et scalable pour le fine-tuning des LLM. Le flux de travail consiste en trois étapes séquentielles (illustrées dans la Figure 1) :

Synthèse de scénarios : Un LLM fermé puissant génère des scénarios en langage naturel diversifiés et ouverts, ainsi que les requêtes associées.
Génération de programmes probabilistes : Le LLM traduit chaque scénario en un programme probabiliste structuré (spécifiquement en Pyro, un langage de programmation probabiliste basé sur Python). Cette étape implique de :
- Identifier les variables latentes pertinentes ( $z$ ), les observations ( $x$ ) et les variables de requête ( $y$ ).
- Encoder le modèle génératif $p_\theta(z, x, y) = p_\theta(z)p_\theta(x|z)p_\theta(y|z, x)$ .
Génération de cibles : Les programmes probabilistes générés sont exécutés pour effectuer une inférence probabiliste (via MCMC ou l'échantillonnage de rejet). Cela produit la distribution postérieure $p_\theta(y|x)$ , qui sert de cible de supervision "vérité terrain".

Stratégie de Fine-Tuning :
Les auteurs effectuent le fine-tuning de LLM open-source (LLaMA-3-8B-Instruct et Qwen-2-7B-Instruct) en utilisant l'adaptation de bas rang (LoRA) sur les tuples $(scénario, requête, postérieur)$ générés. Ils explorent deux formats de supervision :

Cible distributionnelle (Distribution PPT) : Le LLM est entraîné à prédire la probabilité postérieure discrétisée sur les tokens de réponse (ex. : entiers de 0 à 100) en utilisant une perte d'entropie croisée contre la distribution inférée par le programme.
Cible ponctuelle (Moyenne PPT) : Le LLM est entraîné uniquement sur la moyenne de la distribution postérieure (arrondie à l'entier le plus proche).

Le jeu de données comprend plus de 10 000 scénarios uniques et plus de 59 000 requêtes répartis sur trois domaines : Sport, Santé et Général.

Contributions clés

Nouveau paradigme d'entraînement : L'article introduit une méthode pour fine-tuner les LLM sur le raisonnement inductif en faisant le pont entre le langage naturel en monde ouvert et des modèles probabilistes précis, allant au-delà de la supervision par estimation ponctuelle déterministe.
Création de jeux de données scalables : Les auteurs créent un jeu de données à grande échelle de problèmes d'inférence inductive avec des étiquettes ancrées de manière probabiliste, généré via un pipeline automatisé étendant l'architecture MSA (Model Synthesis Architecture).
Validation empirique de la supervision distributionnelle : L'étude démontre que le fine-tuning sur les distributions postérieures complètes produit des résultats supérieurs par rapport au fine-tuning sur les moyennes postérieures ou l'utilisation directe de LLM plus puissants comme étiqueteurs.
Complémentarité avec les méthodes de calibration : Le travail montre que le PPT améliore la calibration "brute" (la représentation interne de l'incertitude du modèle) et qu'il est complémentaire à la mise à l'échelle de température (temperature scaling) post-hoc, plutôt que d'être supplanté par elle.

Résultats expérimentaux

1. Raisonnement inductif sur des scénarios non vus (held-out)

Précision : Les modèles fine-tunés par PPT surpassent significativement les LLM de base et les bases fermées puissantes (ex. : Gemini-3.1-Pro) sur des scénarios sportifs présentant des motifs inférentiels inédits. L'erreur absolue moyenne (MAE) sur les estimations de la moyenne postérieure a été substantiellement réduite.
Représentation de l'incertitude : Contrairement aux modèles de base qui produisent souvent des masses de probabilité non calibrées et idiosyncrasiques (ex. : regroupement sur des multiples de dix), les modèles PPT produisent des distributions de réponses qui s'alignent étroitement sur les inférences des programmes probabilistes de vérité terrain.
Alignement humain : Sur les scénarios sportifs, les modèles PPT ont atteint une corrélation ( $R^2$ ) de 0,775 avec les jugements humains, surpassant le LLM de base (0,509) et égalant la performance des programmes MSA originaux (0,76 de 0,769).

2. Transfert de domaine (Hors-domaine)

Les modèles fine-tunés sur des données de Sport ont montré une amélioration des performances sur des scénarios de Santé (un domaine non vu), malgré l'absence de données d'entraînement en santé. Cela suggère que le modèle a appris des comportements d'induction généraux au domaine plutôt que de mémoriser des faits spécifiques.
L'entraînement sur un mélange de tous les domaines (Sport, Santé, Général) a apporté des améliorations supplémentaires par rapport à l'entraînement sur un seul domaine.

3. Transfert vers des benchmarks externes

Les auteurs ont évalué le transfert sur sept benchmarks externes, incluant OpenEstimate (OE), Bayesian Teaching (BT), MMLU, TruthfulQA, HellaSwag, ARC-Challenge et Winogrande.

Calibration : Le PPT (Distribution) réduit systématiquement l'erreur de calibration attendue (ECE) et la log-vraisemblance négative (NLL) sur tous les benchmarks à choix multiples par rapport aux modèles de base.
Complémentarité : L'application de la mise à l'échelle de température (TS) post-hoc aux modèles fine-tunés par PPT a permis d'obtenir de nouvelles améliorations de la NLL et de l'ECE, indiquant que le PPT modifie la représentation de l'incertitude brute du modèle tandis que la TS ajuste l'échelle de confiance.
Précision : Le PPT a amélioré la précision de l'élicitation des priors (réduisant la MAE sur OpenEstimate) et, dans certains cas, a amélioré la précision de la prédiction de l'argmax sur les tâches à choix multiples.

4. Études d'ablation

Distribution vs Moyenne : Le fine-tuning sur la distribution complète (Distribution PPT) a systématiquement surpassé le fine-tuning sur la moyenne postérieure (Moyenne PPT) sur tous les indicateurs, soulignant l'importance de l'information distributionnelle.
Échantillonnage direct vs Inférence postérieure : Bien que l'échantillonnage direct permette des jeux de données plus larges, les modèles entraînés sur des cibles d'inférence postérieure complète ont obtenu une meilleure calibration et de meilleures performances de transfert.

Signification et affirmations

L'article affirme que le fine-tuning médié par des programmes probabilistes est une approche prometteuse pour permettre aux LLM d'effectuer une inférence inductive approximative après l'entraînement.

Internalisation de l'incertitude : Les résultats suggèrent que le PPT permet aux modèles d'« internaliser profondément » l'incertitude, leur permettant de générer des croyances calibrées plutôt que de simplement rééchelonner les sorties a posteriori.
Supervision scalable : L'approche démontre que les programmes probabilistes peuvent servir non seulement d'outils de raisonnement au moment de l'inférence, mais aussi de sources de supervision automatisées et scalables pour l'entraînement des LLM sur des tâches de raisonnement complexe et incertaine.
Généralisation : La méthode transfère avec succès vers des structures inférentielles (motifs) et des domaines entièrement nouveaux, ce qui suggère qu'elle capture la logique sous-jacente du raisonnement inductif plutôt que des motifs de surface.

Les auteurs reconnaissent des limites, notant que la qualité de la supervision dépend de la fidélité des programmes probabilistes générés par le LLM et que l'évaluation actuelle se concentre sur les requêtes numériques et à choix multiples plutôt que sur le raisonnement ouvert. Cependant, ils concluent que ce pipeline améliore efficacement l'exactitude de l'estimation, l'alignement humain et la calibration des LLM.