Résumé technique : BT-APE pour la classification des exigences

Énoncé du problème

Les modèles de langage de grande taille (LLM) sont de plus en plus appliqués aux tâches d'ingénierie des exigences (RE), telles que la classification des exigences, grâce à leur capacité à suivre des instructions en langage naturel sans entraînement spécifique à la tâche. Cependant, la performance de ces modèles dépend fortement de la qualité des prompts utilisés pour les guider. Dans le domaine de l'ingénierie des exigences, la conception de prompts reste un processus largement manuel et ad hoc, reposant sur des essais et erreurs ainsi que sur l'intuition des praticiens. Ce manque d'optimisation systématique conduit à des résultats incohérents et sous-optimaux, et limite la reproductibilité. De plus, bien que des techniques d'ingénierie automatique de prompts (APE) existent dans le traitement du langage naturel (NLP) général, leur applicabilité aux tâches spécifiques de l'ingénierie des exigences et leur efficacité par rapport aux stratégies de prompting classiques restent inexplorées. En outre, les méthodes APE existantes engendrent souvent des coûts de calcul élevés, ce qui les rend inadaptées aux environnements à ressources limitées courants en ingénierie des exigences, où la confidentialité des données nécessite souvent un déploiement local sur de petits serveurs.

Méthodologie : BT-APE

Les auteurs proposent BT-APE (Backtracking APE), un cadre de calcul léger qui reformule la conception de prompts comme un problème d'optimisation. La méthode affine de manière itérative les prompts en utilisant des candidats générés par LLM, une stratégie de recherche par retour en arrière (backtracking) et une sélection dynamique d'exemples.

Flux de travail principal

Le processus est divisé en trois phases en utilisant un ensemble de données divisé en trois groupes distincts : un groupe pour l'échantillonnage d'exemples ($D_{pool}$), un ensemble de validation ($D_{val}$) et un ensemble de test isolé ($D_{test}$).

1. Initialisation : Un prompt initial est évalué sur l'ensemble de validation pour établir une ligne de base.
2. Affinement itératif :
   • Génération de candidats : Un LLM propose un nouveau candidat prompt conditionné par le prompt actuel et un lot d'exemples dynamiques équilibrés. Ce lot est renouvelé à chaque itération pour inclure un exemple positif correctement classifié, un exemple négatif correctement classifié, un exemple positif mal classifié et un exemple négatif mal classifié provenant de $D_{pool}$.
   • Évaluation : Les candidats sont évalués sur $D_{val}$ en utilisant un vote majoritaire sur 3 passages pour atténuer la stochasticité.
   • Retour en arrière borné (Bounded Backtracking) : Contra la méthode qui revient immédiatement en cas d'échec unique, BT-APE maintient une liste classée de tous les candidats évalués. Il poursuit une trajectoire jusqu'à ce qu'un seuil de patience configurable ($X=3$) d'itérations consécutives sans amélioration soit atteint. Ce n'est qu'alors qu'il effectue un retour en arrière vers le prompt suivant le meilleur de l'historique, évitant ainsi de rester bloqué dans des régions improductives.
3. Évaluation sur l'ensemble isolé : Le meilleur prompt trouvé lors de la recherche est évalué exactement une fois sur l'ensemble de test isolé ($D_{test}$) pour fournir une métrique de performance finale et impartiale.

Distinctions de conception clés

BT-APE est explicitement contrasté avec PE2, une méthode de référence APE de pointe. Bien que les deux soient des méthodes à trajectoire unique et conscientes de l'historique, BT-APE diffère de PE2 sur trois points clés pour réduire l'empreinte de calcul :

• Contexte borné : PE2 conditionne les propositions sur l'historique complet des $n$ meilleurs prompts, ce qui fait croître la taille du contexte d'entrée de manière linéaire. BT-APE conditionne uniquement sur le prompt actuel et un lot compact et équilibré, maintenant ainsi une taille de contexte bornée.
• Sélection d'exemples équilibrée : BT-APE impose une sélection stricte en quatre éléments (succès/échec $\times$ classe), tandis que PE2 utilise un lot d'erreurs non contraint.
• Patience explicite : BT-APE utilise un seuil de patience fixe pour le retour en arrière, alors que PE2 réagit de manière plus immédiate aux non-améliorations.

Conception expérimentale

L'étude évalue BT-APE à travers :

• Jeux de données : Trois jeux de données de référence en RE : PROMISE (NFR), PROMISE-Refined et SecReq.
• Modèles : Cinq LLM ajustés pour les instructions dans la gamme de 7 à 8 milliards de paramètres (Qwen2, Falcon3, Granite-3.2, Ministral, LLaMA-3).
• Lignes de base : Quatre stratégies de prompting classiques (Zero-shot, Few-shot, Chain-of-Thought, CoT+Few-shot) et la ligne de base APE PE2.
• Variantes d'initialisation : Deux stratégies d'initialisation ont été testées : BT-APE-Uninformed (définitions simples et intuitives) et BT-APE-Informed (définitions de classes issues de la littérature en ingénierie des exigences).

Résultats clés

Performance par rapport aux lignes de base classiques

BT-APE surpasse significativement les quatre stratégies de prompting classiques dans presque toutes les combinaisons de jeux de données et de modèles.

• Signification statistique : L'amélioration moyenne du score F1 pondéré ($wF1$) par rapport aux lignes de base classiques varie de +0,049 à +0,143, avec des tailles d'effet importantes ($r \ge 0,50$) et une signification statistique ($p < 0,05$ après correction de Holm-Bonferroni).
• Consistance : BT-APE égale ou surpasse la meilleure ligne de base classique dans 11 des 15 configurations modèle-jeu de données.

Performance par rapport à PE2 (Ligne de base APE)

• Précision : BT-APE atteint une performance statistiquement indiscernable de PE2 (différence moyenne $\Delta = +0,001$, taille d'effet négligeable). Les deux méthodes convergent vers un plafond de performance similaire.
• Efficacité : Malgré une précision équivalente, BT-APE est nettement plus efficace. Il consomme environ 72 % de jetons d'entrée cumulés en moins et 66 % de temps d'exécution en moins que PE2. Cela rend BT-APE mieux adapté au déploiement sur de petits serveurs, à ressources limitées ou isolés.

Analyse des caractéristiques des prompts (RQ3)

Une analyse par modèle mixte linéaire de l'évolution des prompts a révélé des corrélats spécifiques des prompts performants :

• Corrélats positifs : Un nombre plus élevé de verbes (langage orienté vers l'action) et un nombre plus élevé de marqueurs de ponctuation (clarté structurelle) sont associés à de meilleures performances.
• Corrélats négatifs : Des nombres de phrases/mots plus longs, une plus grande diversité lexicale et une plus grande complexité syntaxique sont corrélés à des performances moindres.
• Dérive sémantique : Les itérations impliquant des changements sémantiques importants (dérive sémantique) sont associées à des améliorations de performance, suggérant qu'une révision substantielle est plus efficace qu'un simple paraphrasage de surface.

Impact de l'initialisation (RQ4)

• Informed vs Uninformed : Fournir des définitions de classes informées par le domaine (BT-APE-Informed) n'a pas produit d'amélioration statistiquement significative de la performance finale par rapport à des définitions minimales et non informées (BT-APE-Uninformed).
• Robustesse : Le processus d'optimisation itératif était suffisamment robuste pour compenser des prompts initiaux plus faibles, convergeant vers une performance finale comparable quel que soit la stratégie d'initialisation.

Signification et contributions

L'article revendique trois contributions principales :

1. Un cadre APE léger : BT-APE fournit une alternative de calcul efficace aux méthodes APE existantes, atteignant une précision de pointe avec une empreinte de ressources nettement réduite. Cela permet l'application de l'ingénierie de prompts automatisée dans les contextes d'ingénierie des exigences où un déploiement local et privé est requis.
2. Évaluation empirique systématique : Ce travail offre la première comparaison systématique de l'APE par rapport au prompting classique pour la classification des exigences à travers plusieurs jeux de données et LLM. Il démontre que l'APE se transfère de manière robuste aux tâches de RE avec des tailles d'effet importantes.
3. Aperçus sur l'évolution des prompts : L'étude identifie des caractéristiques structurelles et sémantiques spécifiques des prompts efficaces (concis, orientés vers l'action, structurellement clairs) et montre que l'initialisation informée par le domaine n'est pas strictement nécessaire pour que le processus d'optimisation réussisse.

Les auteurs positionnent BT-APE comme une solution pratique qui comble le fossé entre la haute performance de l'optimisation automatique de prompts et les contraintes de ressources des environnements réels de l'ingénierie des exigences. Ils mettent à disposition un outil interactif et un package de réplication pour faciliter l'adoption et la recherche ultérieure.