Résumé Technique : Au-delà du Prompt : Évaluation des stratégies de connaissances de domaine pour l'optimisation des LLM de haute dimension en génie logiciel

Énoncé du Problème

Les grands modèles de langage (LLM) ont démontré leur efficacité pour générer des échantillons de « démarrage à chaud » (warm start) pour les tâches d'optimisation du génie logiciel (SE), réduisant considérablement le budget d'étiquetage requis pour l'apprentissage actif. Cependant, une « barrière dimensionnelle » critique existe : alors que les LLM atteignent des performances de pointe sur les problèmes de faible dimension (≤11 caractéristiques), leur efficacité s'effondre sur les problèmes de haute dimension (>11 caractéristiques), là où les méthodes bayésiennes traditionnelles (par exemple, les processus gausiens) restent supérieures.

Cet échec est attribué aux limites des données d'entraînement. Les LLM excellent sur les problèmes courants bien représentés dans leurs corpus d'entraînement, mais peinent face aux tâches de SE spécialisées et de haute dimension (par exemple, la configuration de cloud, les processus logiciels aérospatiaux) où les solutions optimales publiques sont rares. Sans données d'entraînement suffisantes, les LLM ne peuvent pas apprendre les interactions complexes entre les caractéristiques qui caractérisent les espaces de haute dimension. De plus, comme les projections le suggèrent, les LLM pourraient épuiser les données textuelles d'entraînement disponibles d'ici 2028, rendant les domaines d'optimisation pauvres en données de plus en plus critiques. Le problème central est de déterminer comment l'intégration systématique des connaissances de domaine — qu'elles proviennent d'experts humains ou d'un raisonnement automatisé — peut combler ce fossé et permettre aux LLM de générer des démarrages à chaud efficaces pour l'optimisation de haute dimension.

Méthodologie

L'étude propose et évalue quatre architectures distinctes conçues pour incorporer les connaissances de domaine dans la génération de démarrages à chaud par LLM. Ces approches vont de l'approche centrée sur l'humain à des stratégies entièrement automatisées, évaluées sur le dépôt MOOT de jeux de données d'optimisation SE stratifiés par dimensionnalité (Faible : <6, Moyenne : 6–11, Haute : >11 caractéristiques).

1. Prompting de Connaissance de Domaine avec l'Humain dans la Boucle (H-DKP)

Cette approche exploite les experts humains pour vérifier et affiner les contraintes de manière itérative.

• Protocole : Un sprint de raffinement itératif asynchrone de 10 jours.
• Mécanisme : Le LLM génère un « État de Croyance » (Belief State) initial des contraintes. Les experts les critiquent via e-mail, en se concentrant sur les « Échecs les plus Confusants » (configurations que le LLM a prédites comme optimales mais qui ont mal performé).
• Processus : Les experts répondent à une question spécifique : « Quelle règle de domaine manque au modèle pour expliquer cet échec ? » Leur feedback est analysé et ajouté au contexte du prompt pour le jour suivant, faisant évoluer le modèle mental du domaine de l'LLM.
• Contrainte : Le recrutement est limité aux jeux de données où les experts en la matière (SME) sont accessibles via le réseau académique des auteurs.

2. Prompting Multi-étapes Adaptatif (AMP)

Cette méthode décompose le processus de génération en un pipeline de raisonnement séquentiel pour réduire les incohérences logiques courantes dans le prompting en une seule étape (single-shot).

• Étape 1 (Analyse) : L'LLM analyse les métadonnées et les exemples de few-shot pour identifier les caractéristiques influentes, les compromis et les directions d'amélioration.
• Étape 2 (Découverte de Contraintes) : Le modèle infère des contraintes strictes explicites (règles inviolables) et des contraintes souples (heuristiques).
• Étape 3 (Génération Contrainte) : L'LLM génère des configurations respectant strictement les contraintes découvertes et les caractéristiques prioritaires.
• Étape 4 (Auto-validation) : L'LLM agit comme un critique, examinant les configurations générées par rapport à l'ensemble des contraintes et révisant les violations.
• Ablation : L'étude teste les pipelines à 2, 3 et 4 étapes pour isoler l'impact de chaque étape de raisonnement.

3. Raffinement Progressif Sensible à la Dimension (DAPR)

Cette approche traite la complexité de la haute dimension en optimisant dans des espaces de caractéristiques réduits, puis en les élargissant progressivement.

• Classement des Caractéristiques : L'importance des caractéristiques est calculée via un ensemble comprenant le coefficient de Spearman, l'information mutuelle et l'importance de la Forêt Aléatoire (Random Forest), normalisé et moyenné.
• Expansion Progressive : L'algorithme initialise avec les $k$ meilleures caractéristiques. Il incite l'LLM à générer des configurations en utilisant uniquement ces caractéristiques.
• Ancrage : Les exemples générés sont mappés vers les plus proches voisins dans l'ensemble de données complet pour évaluation. La meilleure configuration est suivie, et l'espace des caractéristiques est élargi en ajoutant les $s$ caractéristiques suivantes les plus importantes, ancrées aux valeurs de la meilleure configuration actuelle.
• Objectif : Guider l'LLM à travers l'espace de recherche, l'empêchant d'être submergé par la pleine dimensionnalité immédiatement.

4. Approche Hybride Connaissance-Modèle (HKMA)

Cette stratégie synthétise l'exploration statistique avec la Génération Augmentée par Récupération (RAG) pour tirer parti à la fois des modèles basés sur les données et de la compréhension sémantique.

• Phase 1 (Exploration Statistique) : Un Estimateur de Parzen structuré en Arbre (TPE) effectue une exploration rapide à faible budget ($B_{scout}=10$) pour identifier les régions de haute performance.
• Phase 2 (Priors Empiriques) : La distribution des configurations les plus performantes est analysée pour extraire des « Priors Empiriques » (ex: tendances directionnelles, conditions limites).
• Phase 3 (Synthèse RAG) : Ces priors servent de requêtes pour récupérer la documentation de domaine pertinente et la littérature académique à partir d'un magasin de vecteurs.
• Génération : L'LLM est incité à synthétiser des configurations qui satisfont à la fois les preuves statistiques observées et les explications sémantiques récupérées.

Métriques d'Évaluation et Baselines

• Baselines : Échantillonnage aléatoire (Random Sampling), Modèle de Processus Gaussien (UCB_GPM), et Warm Start LLM Standard (prompting few-shot avec 4 exemples).
• Métrique Primaire : Distance de Chebyshev par rapport à la solution optimale (normalisée en [0,1]), mesurant la proximité avec l'optimum théorique.
• Métriques Secondaires : Diversité des exemples générés (Distance Euclidienne Moyenne par Paire) et Coût Computationnel (tokens API).
• Analyse Statistique : Les résultats sont classés à l'aide du test de différence de taille d'effet Scott-Knott (ESD) avec le Delta de Cliff pour garantir que les différences sont statistiquement significatives et pratiquement significatives.

Contributions Clés

1. Identification de la Barrière Dimensionnelle : Le papier documente systématiquement l'effondrement des performances des LLM sur les tâches d'optimisation SE de haute dimension (>11 caractéristiques), contrastant avec leur succès sur les tâches de faible dimension.
2. Taxonomie de l'Intégration des Connaissances : Il propose et définit quatre stratégies complémentaires (H-DKP, AMP, DAPR, HKMA) pour injecter des connaissances de domaine dans les LLM, passant de l'humain dans la boucle à des modèles hybrides entièrement automatisés.
3. Cadres Méthodologiques :
   • Un protocole itératif asynchrone pour extraire les connaissances tacites des experts (H-DKP).
   • Un pipeline de raisonnement multi-étapes pour imposer l'adhérence aux contraintes (AMP).
   • Un algorithme de raffinement progressif pour naviguer dans les espaces de recherche de haute dimension (DAPR).
   • Un cadre hybride combinant l'exploration statistique et la récupération sémantique (HKMA).
4. Plan d'Évaluation Rigoureux : L'étude expose un plan d'évaluation complet utilisant le dépôt MOOT, stratifié par dimensionnalité, avec des tests statistiques robustes (Scott-Knott/Delta de Cliff) pour valider les améliorations par rapport aux baselines établies.

Résultats

Note : Comme ce document est une proposition (indiqué par les sections « Questions de Recherche », « Plan d'Analyse » et « Plan d'Exécution »), il ne contient pas de résultats expérimentaux finaux ou de conclusions empiriques concernant quelle méthode a le mieux performé.

Le papier expose le plan pour évaluer ces méthodes contre la « barrière dimensionnelle ». Il émet l'hypothèse que :

• Le feedback humain (H-DKP) apportera des gains statistiquement significatifs par rapport aux méthodes automatisées, particulièrement dans les domaines où les données publiques sont rares.
• Le raisonnement structuré (AMP) et le raffinement progressif (DAPR) atténueront l'effondrement des performances observé dans les tâches de haute dimension par rapport au prompting standard en une seule étape.
• L'approche hybride (HKMA) comblera efficacement le fossé entre la compréhension sémantique des LLM et la précision quantitative des méthodes bayésiennes.

L'étude précise explicitement que les études humaines respecteront les politiques du comité d'éthique (IRB) et que l'analyse H-DKP sera restreinte aux jeux de données où le recrutement d'experts réussit sans abandon.

Signification et Revendications

Le papier affirme qu'aucun travail antérieur n'a exploré systématiquement si l'injection de connaissances spécifiques au domaine peut surmonter les limites des LLM dans les domaines d'optimisation de haute dimension et de faible disponibilité de données.

La portée de ce travail réside dans son potentiel pour :

• Étendre l'Utilité des LLM : Permettre aux LLM de fonctionner efficacement comme des guides heuristiques pour l'optimisation dans des tâches de SE complexes et réelles (ex: configuration logicielle, réglage d'hyperparamètres) où ils échouent actuellement.
• Adresser la Rareté des Données : Offrir une voie pour l'optimisation dans des domaines où les données d'entraînement publiques sont épuisées ou inexistantes, une préoccupation critique compte tenu des projections d'épuisement des données d'entraînement des LLM d'ici 2028.
• Réduire les Coûts : Proposer des stratégies pour générer des démarrages à chaud de haute qualité avec des coûts d'exécution minimaux, répondant au coût prohibitif de l'obtention de labels de vérité de terrain (ground truth) en génie logiciel.
• Relier l'Humain et l'IA : Démontrer comment la connaissance tacite humaine peut être systématiquement intégrée avec l'IA pour résoudre des problèmes que ni l'un ni l'autre ne peut résoudre seul, dépassant le débat de savoir si les LLM sont « assistants » ou « autoritaires » pour passer à un modèle où ils agissent comme des optimiseurs guidés.

Les auteurs maintiennent une position modeste, présentant ce travail comme une évaluation de stratégies pour déterminer si l'intégration structurée des connaissances permet aux LLM de générer des démarrages à chaud efficaces, plutôt que de prétendre qu'une solution définitive a déjà été trouvée.