NeuroProlog: Multi-Task Fine-Tuning for Neurosymbolic Mathematical Reasoning via the Cocktail Effect

Le papier présente NeuroProlog, un cadre neurosymbolique qui améliore le raisonnement mathématique des grands modèles de langage grâce à une stratégie d'entraînement multi-tâches « Cocktail » et un pipeline de débogage itératif, démontrant des gains de précision significatifs et une capacité de correction des erreurs dépendante de l'échelle du modèle.

L'essentiel

🧠 Le Problème : Les "Super-Intelligences" qui font des bêtises en maths

Imaginez un étudiant très brillant, disons Alex, qui a lu tous les livres du monde. Il est excellent pour écrire des histoires, comprendre les nuances et parler couramment. C'est ce qu'on appelle un Grand Modèle de Langage (LLM).

Mais si vous demandez à Alex de résoudre un problème de mathématiques complexe, il a tendance à inventer la réponse. Il écrit une solution qui semble très logique et bien rédigée, mais qui est en fait fausse. C'est comme un acteur qui joue parfaitement le rôle d'un mathématicien, mais qui ne sait pas vraiment faire les calculs. Il se fie à ses souvenirs de phrases plutôt qu'à la logique réelle.

🛠️ La Solution : NeuroProlog (Le "Cerveau Hybride")

Les auteurs de l'article, Pratibha et Michael, ont créé une méthode appelée NeuroProlog. L'idée est de transformer Alex en un véritable mathématicien, pas juste un acteur.

Pour cela, ils ne lui demandent plus de "rêver" la réponse. Ils l'obligent à écrire un programme informatique (en langage Prolog, un langage très strict et logique) qui va calculer la réponse.

C'est comme si on disait à Alex : "Arrête d'inventer la réponse. Écris-moi les instructions exactes pour une calculatrice, et laisse la calculatrice faire le travail." Si les instructions sont bonnes, la réponse est garantie correcte.

🍹 La Méthode Magique : L'Effet "Cocktail"

C'est ici que ça devient intéressant. Habituellement, on entraîne les robots sur une seule tâche à la fois (comme apprendre à conduire, puis apprendre à cuisiner).

Les chercheurs ont utilisé une astuce appelée l'Effet Cocktail. Imaginez que vous appreniez à faire un cocktail. Si vous mélangez juste du jus d'orange, c'est bon. Si vous ajoutez un peu de sirop, c'est mieux. Mais si vous mélangez intelligemment plusieurs ingrédients complémentaires, vous obtenez une boisson bien meilleure que la somme des parties.

Dans ce projet, ils ont mélangé trois types d'apprentissage en même temps :

1. La Théorie (Le KB) : Apprendre les formules mathématiques pures (ex: "Comment on calcule une moyenne ?"). C'est comme apprendre la théorie de la cuisine.
2. La Pratique (Le SOLVE) : Résoudre des problèmes concrets (ex: "Si j'ai 3 pommes et que j'en mange 2..."). C'est comme cuisiner un vrai plat.
3. La Vérification : S'assurer que le programme fonctionne vraiment.

L'analogie : C'est comme entraîner un cuisinier non seulement à cuisiner des plats (problèmes), mais aussi à comprendre la chimie des ingrédients (théorie) en même temps. Résultat ? Il comprend pourquoi il cuisine, pas juste comment.

🛠️ Le Mécanisme de Réparation : Le "Mécanicien Intérieur"

Même avec cette formation, le robot peut faire des erreurs dans son code. C'est là que le système devient intelligent.

Au lieu de rejeter le code et de dire "Échec", le système exécute le code. Si le code plante, le système (qui agit comme un mécanicien) regarde l'erreur précise :

• "Ah, tu as oublié un point-virgule ?" (Erreur de syntaxe).
• "Tu as essayé de diviser par zéro ?" (Erreur de domaine).
• "Tu as ajouté un mot à un nombre ?" (Erreur de type).

Le robot reçoit alors ce message d'erreur précis et se corrige lui-même. Il peut essayer jusqu'à 3 fois pour réparer son code jusqu'à ce que la calculatrice donne la bonne réponse.

📊 Ce qu'ils ont découvert (Les surprises)

Les chercheurs ont testé cette méthode sur des robots de différentes tailles (du petit modèle de 3 milliards de paramètres au gros modèle de 32 milliards).

1. Les Gros Robots (32B) sont devenus des génies : Avec l'entraînement "Cocktail", ils ont appris à comprendre la logique profonde. Avant, ils faisaient des erreurs de fond (incompréhension des types de données) qu'ils ne pouvaient pas réparer. Après l'entraînement, ils font des erreurs de détail (comme une division par zéro) qu'ils peuvent facilement réparer. C'est comme passer d'un élève qui ne comprend pas les maths à un élève qui fait juste des étourderies.
2. Les Petits Robots (8B) ont un problème : Ils sont devenus très bons pour écrire le code parfaitement (pas d'erreurs de grammaire), mais ils ont commencé à faire des erreurs de logique plus subtiles. Ils ont appris à imiter la forme, mais pas le fond. C'est comme un élève qui a appris par cœur la structure d'une phrase mais qui ne comprend pas le sens des mots.
3. Le Meilleur Résultat : Leur meilleur modèle (un robot de taille moyenne de 20 milliards) a obtenu 88,3 % de réussite. C'est mieux que des modèles beaucoup plus gros (comme ceux de 70 milliards) qui utilisent des méthodes plus anciennes. C'est la preuve que la qualité de l'entraînement (le cocktail) bat la simple quantité de paramètres.

🎯 En Résumé

NeuroProlog, c'est comme donner à un étudiant brillant mais étourdi :

1. Un manuel de théorie solide (les formules).
2. Des exercices pratiques variés.
3. Un correcteur automatique qui lui explique exactement où il s'est trompé pour qu'il apprenne de ses erreurs.

Le résultat ? Un système capable de raisonner mathématiquement de manière fiable, vérifiable et transparente, sans avoir besoin d'être gigantesque. C'est une étape importante pour rendre l'IA plus sûre, surtout dans des domaines où l'erreur n'est pas permise (comme les finances ou la santé).

Résumé technique

Titre : NeuroProlog : Affinage Multi-Tâches pour le Raisonnement Mathématique Neurosymbolique via l'Effet Cocktail

1. Problématique

Les grands modèles de langage (LLM) excellent dans les tâches de langage naturel mais restent peu fiables pour le raisonnement mathématique. Bien qu'ils produisent des solutions fluides, ils reposent souvent sur un appariement de motifs probabilistes plutôt que sur un inférence logique formelle, ce qui entraîne :

• Des solutions plausibles mais incorrectes.
• Une fragilité face aux perturbations.
• L'incapacité à vérifier les étapes intermédiaires de raisonnement.

Les approches neurosymboliques existantes intègrent souvent des solveurs symboliques de manière post-hoc (après la génération), servant uniquement d'outil de vérification externe. Cette découplage empêche le modèle d'internaliser la structure symbolique durant l'entraînement, limitant sa capacité à généraliser systématiquement à de nouvelles compositions de problèmes.

2. Méthodologie : NeuroProlog

Les auteurs proposent NeuroProlog, un cadre neurosymbolique unifié qui force le raisonnement mathématique exécutable via un affinage multi-tâches (Multi-Task Fine-Tuning) et un pipeline de décodage guidé par l'exécution.

A. Construction du Dataset (Effet Cocktail)
Le cœur de la méthode réside dans la création d'un corpus d'entraînement unique combinant deux composantes complémentaires dans un espace de représentation symbolique partagé (Prolog) :

1. Base de Connaissances Mathématiques (KB) : 200 entrées déclaratives qui traduisent des concepts mathématiques fondamentaux (statistiques, algèbre, géométrie, etc.) en prédicats Prolog exécutables avec des commentaires sémantiques. Cela assure un ancrage symbolique.
2. Dataset de Résolution de Problèmes (SOLVE) : 310 exemples de problèmes (basés sur GSM8K) et 7476 entrées de GSM8K-Prolog, où le modèle doit générer un programme complet pour résoudre un problème spécifique.

B. Objectif d'Entraînement "Cocktail"
Le modèle est affiné simultanément sur deux tâches avec un objectif pondéré :

• Traduction Formule $\to$ Règle (KB) : Apprentissage de la sémantique des concepts mathématiques.
• Synthèse Langage Naturel $\to$ Programme (SOLVE) : Application procédurale de ces concepts.
• Alignement Programme-Réponse : Vérification via l'exécution du code généré.

Cette supervision conjointe induit un transfert positif : la compréhension sémantique acquise via la KB améliore la capacité de raisonnement compositionnel dans la résolution de problèmes.

C. Pipeline de Décodage Guidé par l'Exécution
À l'inférence, le système utilise une boucle itérative de correction :

1. Le LLM génère un programme Prolog initial.
2. Un interpréteur Prolog (SWI-Prolog) exécute le code.
3. En cas d'échec, le système classe l'erreur selon une taxonomie fine à 5 classes (Syntaxe, Type, Domaine, Instantiation, Logique).
4. Une prompt de réparation ciblée est générée pour le modèle, qui tente de corriger le programme (jusqu'à 3 itérations).
5. Ce processus permet un auto-débogage "zero-shot" sans entraînement spécifique pour la correction.

3. Contributions Clés

• Entraînement Neurosymbolique Multi-Tâches : Une approche "Cocktail" qui combine connaissances déclaratives et résolution procédurale, favorisant le transfert inter-tâches dans un espace symbolique unifié.
• Décodage Guidé par l'Exécution : Un pipeline itératif avec taxonomie d'erreurs permettant un taux de correction de 92,7 % à l'échelle 32B, sans entraînement spécifique sur la correction.
• Découverte de la Dynamique Dépendante de l'Échelle : Identification d'un seuil de capacité critique (~10B paramètres) pour la compréhension des types sémantiques.
• Évaluation Rigoureuse : Résultats statistiques significatifs sur GSM8K avec 4 modèles (3B à 32B) et 12 configurations.
• Ressources Open Source : Publication complète du dataset (200 KB + 310 SOLVE + 7476 GSM8K-Prolog), du code d'entraînement et des adaptateurs LoRA.

4. Résultats Expérimentaux

Les expériences ont été menées sur le benchmark GSM8K avec quatre modèles (Qwen-32B, GPT-OSS-20B, Qwen3-8B, Llama-3B).

• Améliorations de Précision : L'entraînement "Cocktail" surpasse systématiquement les modèles de base et l'affinage mono-tâche (Prolog FT) pour trois des quatre modèles :

  • +5,23 % pour Qwen-32B ($p < 0.01$).
  • +3,43 % pour GPT-OSS-20B ($p < 0.01$).
  • +5,54 % pour Llama-3B ($p < 0.05$).
  • La meilleure configuration (GPT-OSS-20B) atteint 88,34 %, surpassant des systèmes plus grands comme ToRA-Code-34B (80,7 %) et OpenMath-70B (84,6 %), démontrant une efficacité paramétrique supérieure.

• Dynamique Dépendante de l'Échelle (Découverte Majeure) :

  • À 32B (Grandes Capacités) : L'entraînement transforme les erreurs de type incurables (TYPE_ERROR, taux de réparation 12 %) en erreurs de domaine curables (DOMAIN_ERROR, taux de réparation 96 %). Le modèle apprend à déboguer sémantiquement.
  • À 8B (Capacité Moyenne) : L'affinage élimine les erreurs de syntaxe mais introduit des erreurs sémantiques (TYPE_ERROR) qui ne peuvent pas être réparées. Cela révèle un compromis : le modèle apprend la syntaxe de surface mais manque de la capacité de raisonnement profond nécessaire au débogage.
  • À 3B (Petites Capacités) : Les modèles restent limités par leur capacité, montrant une dégradation de l'exécutabilité avec l'affinage mono-tâche, mais une amélioration significative avec l'approche Cocktail grâce à l'ancrage symbolique de la KB.

• Efficacité du Pipeline : Le modèle Qwen-32B avec l'entraînement Cocktail réduit le nombre d'échecs finaux de 39 à 9 grâce à un taux de correction de 92,7 %, prouvant que l'exploration d'un espace de programmes plus large (plus d'erreurs initiales) est compensée par une capacité de débogage supérieure.

5. Signification et Implications

Ce travail démontre que l'entraînement multi-tâches neurosymbolique est une voie prometteuse pour rendre le raisonnement mathématique des LLMs robuste, interprétable et vérifiable.

• Internalisation de la Logique : Contrairement aux méthodes post-hoc, NeuroProlog permet aux modèles d'internaliser la structure symbolique, passant d'une heuristique de surface à un raisonnement systématique.
• Seuil de Capacité : L'étude met en évidence qu'une compréhension sémantique des types (nécessaire au débogage autonome) nécessite une capacité modèle supérieure à ~10B paramètres. En dessous de ce seuil, les modèles apprennent la syntaxe mais échouent sur la sémantique.
• Alternative aux Solveurs Externes : L'utilisation de Prolog (logique déclarative) s'avère plus efficace et économe en paramètres que l'utilisation de Python (code impératif) pour le raisonnement mathématique, ouvrant la voie à des systèmes IA plus fiables pour des domaines à haut risque (finance, santé).

En conclusion, NeuroProlog établit une nouvelle référence pour le raisonnement mathématique symbolique, prouvant que la combinaison de connaissances déclaratives et de résolution procédurale, couplée à un feedback d'exécution, permet de dépasser les limites des approches purement neuronales.