💬 NLP

Programming by Backprop: An Instruction is Worth 100 Examples When Finetuning LLMs

Ce papier présente le « Programming by Backprop » (PBB), une méthode d'entraînement qui permet aux grands modèles de langage d'acquérir des connaissances procédurales à partir d'instructions déclaratives avec une efficacité d'échantillonnage exceptionnelle, où une seule instruction peut remplacer jusqu'à 100 exemples d'exécution.

Auteurs originaux : Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

Publié 2026-02-25

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Jonathan Cook, Silvia Sapora, Arash Ahmadian, Akbir Khan, Tim Rocktaschel, Jakob Foerster, Laura Ruis

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

🧠 Le Concept : Apprendre une recette sans jamais la cuisiner

Imaginez que vous apprenez à cuisiner. Habituellement, pour apprendre un nouveau plat, un chef vous montre la recette (les instructions) et vous fait faire le plat plusieurs fois (les exemples) jusqu'à ce que vous y arriviez. C'est comme ça que les intelligences artificielles (les LLM) apprennent généralement : on leur donne des milliers d'exemples de questions et de réponses.

Mais dans la vraie vie, on apprend aussi beaucoup de choses en lisant des règles ou des manuels sans les pratiquer immédiatement. Par exemple, vous lisez le mode d'emploi d'un appareil photo, vous comprenez comment il fonctionne, et plus tard, vous savez l'utiliser sans avoir besoin de le manipuler 100 fois avant.

Le problème : Les modèles d'IA actuels sont très mauvais pour apprendre uniquement en lisant des règles. Ils ont besoin de voir des exemples concrets pour comprendre comment appliquer une instruction.

La solution de l'article (PBB) : Les auteurs ont inventé une méthode appelée « Programming by Backprop » (PBB). C'est une façon d'entraîner l'IA pour qu'elle puisse « compiler » une instruction abstraite directement dans sa mémoire, comme si elle avait intégré le code du logiciel dans son cerveau, sans avoir besoin de le voir exécuté des centaines de fois.

🎓 L'Analogie de l'École : La méthode « Proactive » et « Rétroactive »

Pour y arriver, les chercheurs ont créé deux méthodes d'entraînement (des « curriculums ») qui ressemblent à deux façons différentes d'apprendre à l'école.

1. La méthode « Proactive » (L'élève qui apprend la théorie avant la pratique)

Imaginez un élève qui suit deux cours :

Étape 1 (La Théorie) : Il apprend à faire le lien entre une instruction (ex: « Fais une tarte aux pommes ») et une action (ex: couper les pommes, mettre au four). Il voit beaucoup d'exemples de ce lien.
Étape 2 (L'Examen) : On lui donne une nouvelle instruction qu'il n'a jamais vue (ex: « Fais une tarte aux fraises »), mais sans lui montrer comment faire.
Le résultat : Grâce à l'étape 1, l'élève a compris le principe de la tarte. Il peut donc déduire comment faire la tarte aux fraises juste en lisant la consigne, sans avoir besoin d'un exemple préalable.

En résumé : On apprend d'abord à faire le lien entre les mots et l'action, puis on demande à l'IA d'appliquer ce lien à de nouvelles instructions.

2. La méthode « Rétroactive » (L'élève qui apprend par cœur, puis comprend)

C'est l'inverse :

Étape 1 (La Mémoire) : On donne à l'IA une liste de 100 recettes à apprendre par cœur (juste le texte), sans lui dire comment les cuisiner. Elle les mémorise comme des poèmes.
Étape 2 (La Révélation) : On lui donne ensuite quelques exemples de cuisine pour les recettes qu'elle a mémorisées.
Le résultat : Soudain, les « poèmes » mémorisés s'activent. L'IA comprend que ces mots correspondent à des actions réelles. Elle peut ensuite appliquer cette compréhension à de nouvelles recettes qu'elle a mémorisées à l'étape 1.

⚡ Pourquoi c'est révolutionnaire ? (L'efficacité)

L'article fait une découverte incroyable : Une seule instruction vaut jusqu'à 100 exemples.

Avant (Méthode classique) : Pour apprendre un nouveau jeu de règles, il fallait montrer à l'IA 100 fois comment jouer. C'est long et coûteux.
Avec PBB : On peut donner une seule fois la règle (le code ou l'instruction), et l'IA apprend à peu près aussi bien que si on lui avait montré 100 exemples.

C'est comme si, au lieu de vous faire répéter 100 fois comment faire du vélo, on vous expliquait une fois la physique de l'équilibre, et vous saviez pédaler immédiatement.

🛠️ Les Résultats Concrets

Les chercheurs ont testé ça sur deux choses :

Du code informatique : Donner un bout de code Python et demander à l'IA de l'exécuter mentalement.
De la grammaire : Donner une règle de grammaire complexe et demander à l'IA de générer des phrases qui respectent cette règle.

Ce qu'ils ont vu :

L'IA arrive à « compiler » ces règles dans son cerveau. Elle n'a plus besoin de réfléchir étape par étape (comme un humain qui se parle à lui-même) pour appliquer la règle. La règle est gravée dans ses poids internes.
C'est plus efficace si les instructions sont écrites en code (Python) plutôt qu'en langage naturel (français), car le code est plus précis et moins ambigu.
Cela permet de corriger des biais. Si l'IA a appris à faire des tartelettes avec des pommes (parce qu'elle a vu beaucoup d'exemples de pommes), elle risque de faire des erreurs avec des fraises. Mais avec PBB, si on lui donne la règle générale « faire une tarte », elle comprend que la règle s'applique à n'importe quel fruit, même ceux qu'elle n'a jamais vus.

⚠️ La petite limite

Même si c'est génial, l'IA n'est pas parfaite. Quand on lui donne l'instruction « dans la tête » (dans ses paramètres), elle fait un peu plus d'erreurs que si on lui donne l'instruction « en face d'elle » (dans la conversation, en contexte). C'est comme si elle avait compris la théorie, mais qu'elle était un peu moins sûre d'elle quand elle doit l'appliquer sans aide.

🌍 Pourquoi c'est important pour l'avenir ?

Économie de données : On n'a plus besoin de collecter des millions d'exemples pour entraîner une IA sur une nouvelle tâche. Une bonne description suffit.
Sécurité : C'est un avertissement. Si une instruction dangereuse est cachée dans les données d'entraînement d'une IA, cette instruction pourrait « s'activer » dans le cerveau de l'IA plus tard, même sans qu'on lui demande explicitement de le faire. Il faut donc trier les données avec beaucoup de soin.
Apprentissage continu : Cela ouvre la porte à des IA qui peuvent apprendre de nouvelles compétences en lisant des manuels, exactement comme les humains, sans avoir besoin de les pratiquer des milliers de fois.

En une phrase : Les chercheurs ont trouvé un moyen de transformer les « manuels d'instructions » en « compétences réelles » pour les intelligences artificielles, rendant leur apprentissage beaucoup plus rapide et efficace.

1. Problématique

Les grands modèles de langage (LLM) sont généralement entraînés à acquérir des comportements via des démonstrations (exemples d'entrées-sorties) ou par apprentissage par renforcement. Cependant, une grande partie des données d'entraînement (notamment en pré-entraînement) est déclarative : elle contient des instructions, des règles et des descriptions qui spécifient quoi faire sans montrer comment l'exécuter sur des entrées concrètes.

La question centrale est de savoir si les LLM peuvent acquérir des connaissances procédurales (des comportements réutilisables) directement à partir de ces instructions déclaratives, sans avoir besoin d'exemples d'exécution pour chaque tâche. L'hypothèse est que les instructions pourraient être "compilées" dans les paramètres du modèle, agissant comme un programme interne plutôt que comme un simple contexte d'entrée.

2. Méthodologie : Programming by Backprop (PBB)

Les auteurs introduisent Programming by Backprop (PBB), un régime d'entraînement conçu pour transformer les instructions déclaratives en comportements exécutables internalisés dans les poids du modèle.

Principes Fondamentaux

Le cœur de PBB repose sur la séparation de deux apprentissages :

Apprentissage de la correspondance : Comprendre comment une instruction se mappe à un comportement.
Internalisation : Intégrer cette instruction spécifique dans les paramètres du modèle.

L'approche utilise deux types de pertes (losses) :

Perte Déclarative ( $L_{decl}$ ) : Modélisation de l'instruction elle-même (prédiction du token suivant de l'instruction donnée un contexte).
Perte d'Exécution ( $L_{exec}$ ) : Modélisation du comportement (prédiction de la sortie $y$ donnée l'entrée $x$ et le contexte).

Deux Curricula d'Entraînement

Les auteurs proposent deux stratégies curriculaires pour mettre en œuvre PBB :

PBB Proactif (Proactive-PBB) :
- Étape 1 : Le modèle est entraîné sur un ensemble d'instructions d'entraînement ( $S_{train}$ ) avec un objectif mixte (déclaratif + exécution). Cela apprend une correspondance générale entre les représentations des instructions et les comportements.
- Étape 2 : Le modèle est exposé à de nouvelles instructions d'évaluation ( $S_{eval}$ ) uniquement via la perte déclarative. Grâce à l'Étape 1, la mise à jour des gradients sur l'instruction seule suffit à "compiler" le comportement correspondant dans les poids.
PBB Rétroactif (Retroactive-PBB) :
- Étape 1 : Le modèle apprend toutes les instructions (entraînement et test) de manière purement déclarative, sans aucune compétence d'exécution.
- Étape 2 : L'exécution est supervisée uniquement sur l'ensemble d'entraînement ( $S_{train}$ ). Les gradients d'exécution mettent à jour les paramètres partagés, activant ainsi les connaissances déclaratives latentes acquises à l'Étape 1 pour les instructions d'entraînement et, par généralisation, pour les instructions de test.

3. Contributions Clés

Nouveau Paradigme d'Apprentissage : Introduction de PBB, démontrant que les instructions déclaratives peuvent être "compilées" dans les paramètres d'un LLM pour produire un comportement exécutable en inférence, sans nécessiter l'instruction en contexte (in-context).
Efficacité Échantillonnale Extrême : Démonstration qu'une seule instruction peut remplacer jusqu'à 100 exemples d'exécution pour apprendre un algorithme, surpassant les méthodes d'ablation d'algorithme (Algorithm Distillation) classiques.
Généralisation Hors-Distribution (OOD) : Capacité à apprendre des fonctions générales robustes aux variations de paramètres (ex. : chiffrements de César avec des décalages non vus), corrigeant les biais présents dans les données d'exécution déséquilibrées.
Compositionnalité : Les modèles entraînés avec PBB peuvent composer des instructions apprises indépendamment (ex. : exécuter une fonction qui combine deux autres fonctions apprises séparément).

4. Résultats Expérimentaux

Les expériences ont été menées sur deux domaines : l'exécution d'algorithmes (code Python) et la génération de texte selon des grammaires formelles (CFG).

Performance et Efficacité :
- Sur la tâche d'arithmétique aléatoire, le PBB proactif permet à un modèle Qwen3-14B d'atteindre une précision de 37% sur des comportements de test, alors que l'entraînement isolé sur les instructions ou les exemples donne des résultats négligeables.
- Ratio 1:100 : Une seule instruction en Étape 2 du PBB proactif donne des résultats comparables à l'entraînement sur 100 traces d'exécution.
Rôle du Format : Les instructions sous forme de code sont significativement plus efficaces que les descriptions en langage naturel, bien que l'écart se réduise avec la taille du modèle.
Retroactive vs Proactive :
- Le PBB rétroactif fonctionne mieux avec l'apprentissage par renforcement (RL/GRPO) qu'avec le fine-tuning supervisé (SFT), car le RL favorise une généralisation plus rapide et robuste que la simple mémorisation des exemples.
Généralisation et Biais :
- Sur la tâche de chiffrement (Ciphers), le PBB corrige les biais des données d'entraînement déséquilibrées (ex. : sur-représentation du ROT13). Le modèle apprend la fonction générale plutôt que de mémoriser les décalages fréquents.
- Les modèles peuvent exécuter des instructions apprises de manière "implicite" (sans chaîne de pensée explicite/CoT) lors de l'inférence, bien que la fiabilité soit inférieure à l'utilisation de l'instruction en contexte.
Grammaires Formelles : Le PBB permet aux modèles de générer des phrases valides selon des grammaires contextuelles nouvelles, prouvant que la méthode s'applique au-delà du code.

5. Signification et Implications

Curration des Données et Sécurité : C'est l'implication la plus critique. Si les instructions présentes dans les données d'entraînement peuvent être "compilées" en comportements exécutables, cela signifie que des instructions malveillantes ou indésirables dans les données d'entraînement pourraient induire des comportements inattendus lors de l'inférence, même sans prompt explicite. Cela souligne la nécessité d'une curation rigoureuse des données.
Apprentissage Latent : Le PBB valide l'idée d'un "apprentissage latent" où la structure globale de la distribution de données permet au modèle d'acquérir des compétences sans supervision directe pour chaque instance.
Passage à l'Échelle (Scaling) : Les résultats montrent des tendances positives à la mesure de la taille du modèle et du volume de données, suggérant que PBB est une méthode prometteuse pour l'entraînement continu et le passage à l'échelle des LLM.

En résumé, ce papier démontre que les LLM ne se contentent pas d'apprendre par imitation, mais peuvent internaliser des règles abstraites pour les exécuter comme des programmes internes, transformant fondamentalement la manière dont nous envisageons l'acquisition de compétences procédurales par les modèles de langage.