SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition
Cet article introduit SPL (Structured Prompt Language), un cadre déclaratif qui unifie le calcul déterministe et probabiliste au sein d'une spécification unique pour permettre une orchestration de flux de travail agnostique au modèle, démontrant à travers des expériences approfondies que son approche basée sur un solveur atteint une correction vérifiée par machine significativement plus élevée par rapport aux sorties non vérifiées produites uniquement par des LLM.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Imaginez que vous essayez de construire un robot assistant super intelligent qui peut vous aider pour vos devoirs. En ce moment, construire ces assistants, c'est comme essayer de construire une voiture où le moteur, le volant et le GPS sont fabriqués par des entreprises différentes, parlent des langues différentes et doivent être collés ensemble avec un ruban adhésif artisanal et désordonné. Il faut être un sorcier du code juste pour les faire communiquer entre eux.
Le papier présente le SPL (Structured Prompt Language), qui est comme une télécommande universelle qui permet enfin à la partie « créative » du robot et à la partie « mathématique » du robot de travailler ensemble dans un manuel d'instructions unique et propre.
Les deux cerveaux : Le Rêveur et le Calculateur
L'article soutient que les outils d'IA actuels sont bloqués dans un seul mode. Ils sont soit des Rêveurs (LLM) qui sont excellents pour écrire des histoires, deviner des réponses et discuter, mais qui font parfois des erreurs sur les faits ou se trompent en mathématiques. Soit des Calculateurs (comme SymPy ou SageMath) qui sont parfaits en mathématiques et en logique, mais qui ne peuvent pas comprendre une blague ou écrire une histoire.
Les auteurs disent : « Pourquoi ne pas avoir les deux ? » Ils proposent un système où le Rêveur (Système 1) décompose un problème et l'explique, tandis que le Calculateur (Système 2) effectue le travail de calcul réel et vérifie le travail.
Le grand rebondissement : Le papier argumente explicitement contre l'idée que l'IA doit être « rapide » ou « lente » pour être l'un ou l'autre. Il ne s'agit pas de vitesse ; il s'agit de la façon dont ils réfléchissent. Un calculateur peut être lent s'il réalise une preuve très complexe, et un rêveur peut être rapide s'il se contente de deviner. La clé est de savoir quel cerveau utiliser pour quelle tâche.
La magie du « Concevoir une fois, Déployer partout »
Voici la partie la plus cool : avec le SPL, vous écrivez vos instructions une seule fois dans un fichier .spl spécial. Vous n'avez pas besoin de réécrire le code si vous voulez l'exécuter sur votre ordinateur portable, dans le cloud ou sur une grille de supercalculateurs géants.
Pensez à cela comme à une recette. Vous écrivez la recette une seule fois. Que vous la cuisiniez sur un petit réchaud de camping (votre ordinateur portable), dans une cuisine sophistiquée (le cloud) ou dans une immense usine industrielle (une grille distribuée), la recette reste la même. Vous dites simplement au système où la cuisiner au moment où vous la lancez. Le papier appelle cela le DODA (Design Once, Deploy Anywhere — Concevoir une fois, Déployer partout).
L'échelle de Vérification
Comment savoir si les mathématiques sont correctes ? Le papier introduit une « Échelle de Vérification » avec trois échelons :
- Échelon 1 (SymPy) : Bon pour l'algèbre de base et le calcul différentiel. C'est rapide et facile.
- Échelon 2 (SageMath) : Pour des choses plus complexes comme la théorie des nombres et la géométrie.
- Échelon 3 (Lean 4) : Le niveau boss ultime. C'est pour les preuves formelles qui sont vérifiées par un ordinateur pour être mathématiquement vraies à 100 %, comme un contrat juridique pour les mathématiques.
Le papier montre que vous pouvez écrire un flux de travail qui tente l'Échelon 1 en premier. Si cela échoue, le système grimpe automatiquement l'échelle vers l'Échelon 2, et si cela échoue encore, vers l'Échelon 3. Vous n'avez pas besoin d'écrire le code « si cela échoue, essaie cela » ; le langage s'en occupe pour vous.
L'expérience : Qu'est-ce qui s'est réellement passé ?
Les auteurs n'ont pas seulement supposé ; ils ont mené une expérience massive. Ils ont testé 10 modèles d'IA différents sur 20 problèmes mathématiques différents (allant du niveau facile à l'expert) et ont lancé chaque test 3 fois. Cela fait un total de 1 200 exécutions.
Ils ont comparé deux manières de résoudre les problèmes :
- Le bras « LLM uniquement » : L'IA se contente de deviner et d'écrire la réponse.
- Le bras « Solver » (Résolveur) : L'IA décompose le problème, envoie les mathématiques au Calculateur, obtient la réponse vérifiée, puis rédige l'explication.
Les résultats :
- La bonne nouvelle : Le bras Solver était incroyablement précis. Pour les meilleurs modèles, comme
gemma4:e2b, ils ont obtenu 93 % de bonnes réponses lorsqu'ils étaient vérifiés par le calculateur. Mêmesonnet-4-6a obtenu 85 % de réussite. - Le bémol : Le bras « LLM uniquement » pouvait presque toujours produire une réponse (presque 100 % du temps), mais elle n'était pas vérifiée. Le bras Solver a prouvé que ce n'est pas parce qu'une IA dit quelque chose que c'est vrai.
- Le goulot d'étranglement : La raison principale de l'échec du bras Solver n'était pas que l'IA ne savait pas faire les maths (le Calculateur s'en chargeait !). C'est parce que l'IA ne parvenait pas à formater sa réponse correctement. L'IA devait écrire ses mathématiques dans un format spécifique de type code (
expr|op) pour que le Calculateur puisse les comprendre. Si l'IA commettait une erreur de formatage, le Calculateur la rejetait. - La surprise : Un petit modèle open-source appelé
gemma4:e2b(beaucoup plus petit que les modèles géants et coûteux) a en fait mieux performé que certains des très gros modèles pour suivre les règles. Cela suggère que pour ce travail spécifique, être un bon « traducteur de format » est plus important que d'être un cerveau géant et super intelligent.
Ce que le papier dit qu'il N'EST PAS
Le papier est très clair sur ce qu'il ne fait pas :
- Il ne prétend pas que les modèles d'IA sont désormais parfaits en mathématiques par eux-mêmes. En fait, l'expérience a montré que sans le Calculateur, les modèles ne font que deviner.
- Il ne dit pas que les modèles de « réflexion » (les modèles qui passent beaucoup de temps à « réfléchir » avant de répondre) sont meilleurs. En fait, le papier a exclu certains modèles de « réflexion » car ils passaient trop de temps à réfléchir et manquaient d'espace avant de pouvoir écrire le format de code spécifique dont le Calculateur avait besoin.
- Il ne prétend pas que cela résout chaque problème. L'expérience portait spécifiquement sur les mathématiques symboliques. Les auteurs suggèrent que cela pourrait fonctionner pour d'autres choses comme la vérification de code ou la validation de données, mais ils ne l'ont pas encore prouvé.
En résumé
Le papier prouve qu'en séparant la partie « créative » de l'IA de la partie « mathématique », et en laissant un ordinateur vérifier les calculs, nous pouvons obtenir des résultats beaucoup plus fiables. Le meilleur dans tout ça ? Vous n'avez pas besoin d'être un génie du code pour le faire. Vous écrivez simplement le plan une seule fois, et le système s'occupe du reste, que vous l'exécutiez sur votre ordinateur portable ou sur un supercalculateur.
Les auteurs ont mesuré cela avec 1 200 exécutions et ont constaté que, bien que le bras « Solver » soit légèrement plus lent (prenant quelques secondes de plus pour vérifier le travail), il transforme une réponse « peut-être correcte » en une réponse « vérifiée par machine ». Et pour les meilleurs modèles, cette vérification ne coûte presque rien en termes de vitesse, prouant que cette approche à deux modes est un moyen pratique de construire des assistants IA plus intelligents et plus sûrs.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.