🤖 AI

From Monolithic to Modular: Segment-level Automatic Prompt Optimization

Cet article présente SAPO, une méthode d'optimisation automatique de prompts au niveau des segments qui décompose les prompts en composants distincts pour cibler des faiblesses spécifiques et surpasse les approches monolithiques existantes sur divers benchmarks.

Auteurs originaux : Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Publié 2026-08-13

📖 7 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Nikita Kulin, Viktor Zhuravlev, Artur Khairullin, Sergey Muravyov, Ilya Makarov, Daniil Sukhorukov, Ekaterina Averkova

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot super intelligent à écrire une histoire, à résoudre un problème de mathématiques ou à résumer un article de presse. Vous le faites en lui donnant un ensemble d'instructions, que les scientifiques appellent un « prompt ». Considérez un prompt comme une recette : si les instructions sont vagues ou désordonnées, le robot pourrait cuisiner un gâteau qui a un goût de savon au lieu de chocolat. Pendant longtemps, les chercheurs ont essayé de corriger ces recettes en réécrivant tout depuis le début à chaque fois que le robot faisait une erreur. C'était comme jeter un gâteau entier parce que le glaçage était légèrement raté, en espérant que la tentative suivante soit parfaite. Cette méthode, appelée optimisation « monolithique », fonctionnait souvent bien pour une partie de la tâche, mais gâchait accidentellement une autre partie, laissant le robot confus et les résultats incohérents.

Le document que vous allez lire traite de ce problème avec une nouvelle approche appelée SAPO (Segment-level Automatic Prompt Optimization). Au lieu de jeter toute la recette, SAPO agit comme un chef étoilé qui goûte soigneusement le gâteau, identifie exactement quel ingrédient est mauvais (peut-être trop de sel, ou pas assez de sucre) et corrige uniquement cette partie tout en laissant intactes les parties parfaites. Les auteurs ont testé cette méthode sur cinq types de tâches différents, allant de la réponse à des questions de compréhension de lecture à la résolution de problèmes mathématiques complexes, en utilisant deux cerveaux de robot différents (GPT-3.5-Turbo et GPT-4o-mini). Ils ont découvert qu'en décomposant les instructions en morceaux plus petits et gérables et en ne corrigeant que les points faibles, ils pouvaient obtenir de bien meilleurs résultats que les méthodes précédentes, améliorant les performances de jusqu'à 7,25 % sur certaines tâches.

La recette pour un meilleur robot

Plongeons dans le fonctionnement de ce processus. Imaginez que vous donnez à un robot un manuel d'instructions très long et compliqué. Par le passé, si le robot donnait une mauvaise réponse, un optimiseur automatique essayait de réécrire l'intégralité du manuel en une seule fois. C'est comme essayer de réparer un moteur de voiture en remplaçant la voiture entière. Parfois, cette nouvelle voiture fonctionne très bien pour conduire, mais très mal pour se garer. L'ancienne méthode rendait souvent le robot meilleur pour une chose, mais moins bon pour une autre, un problème que les auteurs appellent le « dérive de prompt » (prompt drifting).

Les auteurs de ce document, Nikita Kulin et son équipe, suggèrent une méthode plus intelligente. Ils ont réalisé qu'un bon manuel d'instructions n'est pas juste un gros bloc de texte ; il est composé de différentes sections, comme les chapitres d'un livre. Ils décomposent le prompt en quatre segments spécifiques :

Rôle : Qui le robot est-il censé être ? (ex : « Vous êtes un historien serviable ».)
Contexte : Quel est le décor ou la situation ? (ex : « Vous parlez à un étudiant ».)
Tâches : Que doit faire exactement le robot ? (ex : « Résumez ce texte en trois phrases ».)
Format de sortie : À quoi la réponse doit-elle ressembler ? (ex : « Donnez-moi une liste à puces ».)

Le jeu de détective SAPO

La nouvelle méthode, SAPO, traite ces quatre segments comme des indices dans un jeu de détective. Voici le processus étape par étape qu'ils utilisent :

D'abord, le système fait passer au robot une session d'entraînement avec un tas d'exemples. Il examine les résultats et sélectionne les 5 meilleurs exemples (où le robot a réussi) et les 5 pires exemples (où le robot s'est trompé).

Ensuite, le système joue au détective. Il demande à un second robot, plus intelligent (jouant le rôle de juge), d'examiner les 5 meilleurs et les 5 pires exemples et de comprendre pourquoi le robot a réussi ou échoué. Est-ce que la section « Rôle » a confondu le robot ? La « Tâche » était-elle trop vague ? Le juge identifie quels segments étaient « forts » (fonctionnant bien dans les bons exemples) et lesquels étaient « faibles » (causant des problèmes dans les mauvais exemples).

Vient ensuite la partie magique : la Synthèse Contrainte (Constrained Synthesis). Au lieu de réécrire tout le manuel, le système génère de nouvelles versions du prompt qui conservent les segments forts exactement tels qu'ils sont et ne modifient que les segments faibles. C'est comme garder la pâte parfaite d'un gâteau au chocolat mais remplacer le glaçage brûlé par une nouvelle fournée fraîche. Cela garantit que les parties de l'instruction qui fonctionnaient déjà ne soient pas accidentellement cassées.

Enfin, le système teste ces nouveaux prompts partiellement révisés sur un autre ensemble de questions (l'ensemble de validation). Si le nouveau prompt est meilleur, il est accepté. Sinon, le système conserve l'ancien. Cela se répète encore et encore jusqu'à ce que le robot soit aussi bon qu'il puisse l'être.

Les résultats : Un vainqueur clair

L'équipe a testé cette méthode sur cinq défis très différents :

SQuADv2 : Répondre à des questions basées sur un passage de lecture.
TweetEval : Classer l'humeur des tweets.
XSUM : Résumer des articles de presse.
CommonGen : Créer des phrases à partir d'une liste de mots.
GSM8K : Résoudre des problèmes mathématiques de niveau primaire.

Ils ont mené ces tests sur deux modèles de robots différents : GPT-3.5-Turbo et GPT-4o-mini. Les résultats sont assez impressionnants. Comparé à d'autres méthodes populaires qui réécrivent le prompt entier d'un coup (comme APE, OPRO et EvoPrompt), SAPO obtient systématiquement des scores plus élevés en moyenne.

Sur le modèle GPT-3.5-Turbo, SAPO a amélioré le score moyen de 5,13 % par rapport à la méthode la plus performante. Sur le plus avancé GPT-4o-mini, l'amélioration est encore plus grande, bondissant de 7,25 % de plus que la concurrence. Les plus grandes victoires ont eu lieu sur des tâches qui nécessitent des réponses très strictes, comme les problèmes mathématiques (GSM8K) et la compréhension de lecture (SQuAD2), où une minuscule erreur dans les instructions peut conduire à une réponse complètement fausse.

Pourquoi cela importe

Les auteurs suggèrent que ce succès est dû au fait que SAPO empêche l'« interférence destructrice » qui se produit lorsqu'on change tout à la fois. En localisant les changements uniquement sur les parties faibles du prompt, le système préserve les parties qui fonctionnent déjà parfaitement. C'est une approche plus prudente, plus chirurgicale, pour enseigner aux robots.

Cependant, le document note également quelques limites. La méthode actuelle utilise un ensemble fixe de quatre segments. Bien que cela fonctionne bien pour de nombreuses tâches, cela pourrait ne pas être assez détaillé pour chaque type de problème. Les auteurs suggèrent que les futures versions pourraient permettre au robot de découvrir automatiquement de nouveaux types de segments si nécessaire, plutôt que de s'en tenir à ces quatre-là.

En résumé, SAPO montre que lorsque vous voulez enseigner à un robot super intelligent, la meilleure façon de corriger une erreur n'est parfois pas de repartir de zéro, mais d'identifier soigneusement ce qui n'a pas fonctionné et de réparer juste cette pièce. C'est un passage du « tout réécrire » au « réparer ce qui est cassé », et pour l'instant, cela semble être la stratégie gagnante.

Résumé Technique : Optimisation Automatique de Prompts au Niveau des Segments (SAPO)

Problématique

L'Optimisation Automatique de Prompts (APO) vise à générer et sélectionner de manière itérative des prompts améliorés en utilisant des données et le feedback du modèle, offrant ainsi une alternative prête pour le déploiement au réglage fin (fine-tuning) des Grands Modèles de Langage (LLM). Cependant, les pipelines d'APO existants traitent principalement les prompts comme des chaînes monolithiques, les optimisant par des réécritures globales. Cette approche souffre de « dérive de prompt » (prompt drifting), où les modifications destinées à corriger des cas d'échec spécifiques dégradent involontairement des comportements auparavant corrects. De plus, l'efficacité des optimiseurs actuels est souvent sensible aux capacités du modèle et aux choix de configuration, manquant d'un mécanisme pour contrôler où et comment les modifications sont appliquées au sein de la structure du prompt.

Méthodologie : SAPO

Le document présente SAPO (Segment-level Automatic Prompt Optimization), une stratégie modulaire qui décompose les prompts en segments explicites et opérationnellement séparables plutôt que de les optimiser comme un bloc unique.

1. Décomposition du Prompt
SAPO structure les prompts en quatre segments distincts :

Rôle ( $s_{role}$ ): Définit la posture comportementale (ex: classificateur, analyste).
Contexte ( $s_{context}$ ): Encode l'ancrage de la tâche, l'injection d'entrées et les contraintes de domaine.
Tâches ( $s_{tasks}$ ): Spécifie les exigences exploitables et les règles de décision.
Format de Sortie ( $s_{output}$ ): Régit le schéma de réponse et les contraintes de formatage.

2. La Boucle d'Optimisation
La méthode fonctionne via un pipeline de génération à deux étapes au sein d'une boucle de recherche avec validation par porte (validation-gated search loop) :

Étape A : Diagnostic Contrastif. Le prompt actuel est évalué sur un ensemble d'entraînement ( $D_{train}$ ). Le système extrait les exemples top-5 (forts) et bottom-5 (faibles) basés sur des métriques de performance. Pour les métriques discrètes, une sélection sensible aux classes est utilisée pour garantir des preuves équilibrées. Un LLM unique, guidé par des méta-prompts statiques, analyse ces exemples pour diagnostiquer quels segments sont associés au succès (forts) et lesquels sont associés à l'échec (faibles), générant des recommandations spécifiques pour la révision.
Étape B : Synthèse de Candidats Contraints. Le même LLM génère $K$ prompts candidats. Crucialement, la synthèse est contrainte : les candidats doivent préserver les segments identifiés comme « forts » tout en modifiant principalement les segments « faibles ». Cela réduit l'interférence entre les segments.
Sélection et Acceptation. Les candidats sont évalués sur un ensemble de validation ( $D_{val}$ ). Un candidat n'est accepté que s'il améliore le score de validation. En cas d'égalité, le candidat ayant la distance d'édition minimale par rapport au prompt actuel est sélectionné pour favoriser des mises à jour conservatrices.

Principales Contributions

Le document souligne trois contributions primaires :

Objectif d'Optimisation Explicite par Segment : Contrairement aux réécritures globales, SAPO décompose le prompt en rôle, contexte, tâches et format de sortie, permettant des éditions ciblées.
Synthèse de Candidats Contraints : La méthode impose la préservation des segments forts et la révision des segments faibles, utilisant une règle de départage par distance d'édition pour garantir que les mises à jour restent conservatrices.
Étape de Diagnostic Contrastif : Les décisions de mise à jour sont fondées sur des preuves explicites top/bottom, incluant la gestion sensible aux classes pour les métriques par exemple discrètes, afin d'identifier les modes d'échec spécifiques.

Résultats Expérimentaux

SAPO a été évalué sur cinq jeux de données diversifiés (SQuADv2, TweetEval, XSUM, CommonGen, GSM8K) en utilisant deux noyaux de modèles : GPT-3.5-Turbo et GPT-4o-mini. Il a été comparé à l'amorçage Zero-shot et à des bases d'APO robustes incluant APE, OPRO, EvoPrompt, GEPA et StraGO.

Performance : SAPO a obtenu le meilleur score moyen sur tous les jeux de données et les deux noyaux de modèles.
Gains : Par rapport à la base de comparaison la plus forte, SAPO a produit une amélioration moyenne de +5,13 % sur GPT-3.5-Turbo et de +7,25 % sur GPT-4o-mini.
Sensibilité à la Tâche : Les plus grands gains relatifs ont été observés sur GSM8K (raisonnement mathématique) et XSUM (résumé abstractif), suggérant que le contrôle par segment est particulièrement bénéfique pour les tâches exigeant une extraction de réponse stricte ou une génération étroitement contrainte.
Robustesse : La méthode a démontré une performance constante, surpassant toutes les bases sur GPT-4o-mini à travers les cinq jeux de données, indiquant que l'optimisation par segment complète la montée en puissance des capacités du modèle.

Signification et Revendications

Les auteurs positionnent SAPO comme un pont entre le méta-prompting statique et l'optimisation sensible à la structure. Le document affirme que les améliorations observées découlent de l'hypothèse que la séparation explicite des segments faibles/forts réduit l'interférence destructrice entre les éditions. En localisant les révisions sur les composants faibles tout en préservant les structures performantes, SAPO résout l'instabilité et la « dérive de prompt » courante dans l'APO itératif.

Le travail soutient que SAPO offre un pipeline compatible avec les boîtes noires et prêt pour le déploiement qui impose un contrôle par segment sans nécessiter de surcharge de mise en œuvre complexe. Bien que les auteurs reconnaissent des limites concernant la nature fixe de la taxonomie des segments et le potentiel de manquer des modes d'erreur plus fins avec des fenêtres top/bottom fixes, ils concluent que SAPO fournit une voie interprétable pour de futures extensions de l'optimisation automatique de prompts.