A Reference Framework for Empirical Studies on LLM-Based Code Generation: A Review-Grounded Synthesis

Résumé technique : Un cadre de référence pour les études empiriques sur la génération de code basée sur les LLM

Énoncé du problème
Les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour la génération de code et les tâches connexes de génie logiciel. Cependant, l'évaluation empirique de ces systèmes reste fragmentée, créant des barrières significatives à la reproductibilité, à la comparabilité et à l'accumulation de preuves cumulatives. Les études existantes varient considérablement dans leurs tâches, sources de problèmes, contextes d'application, attributs de qualité, métriques, méthodes empiriques, configurations de modèles, environnements et artefacts générés. Cette hétérogénéité rend difficile la synthèse des conclusions entre les études ou l'identification de pratiques méthodologiques communes. De plus, le génie logiciel basé sur les LLM introduit des défis méthodologiques uniques, notamment la non-déterminisme des sorties, l'évolution des versions de modèles, l'opacité du comportement des modèles, la sensibilité aux prompts et la nécessité d'évaluer les artefacts au-delà de la correction fonctionnelle. Les directives actuelles pour le génie logiciel empirique sont souvent insuffisantes pour ces défis spécifiques, nécessitant des orientations méthodologiques adaptées.

Méthodologie
Pour combler cette lacune, les auteurs ont mené une revue structurée des études empiriques impliquant les LLM dans la génération de code et les tâches connexes. La recherche a suivi un processus de synthèse ascendante plutôt que de proposer un cadre a priori.

• Stratégie de recherche : Une recherche structurée a été effectuée dans l'ACM Digital Library à l'aide d'une requête booléenne ciblant les LLM, la génération de code/programmation et l'évaluation empirique. La recherche a couvert les articles publiés entre 2023 et 2025.
• Sélection : La recherche initiale a produit 75 articles. Après application des critères d'inclusion et d'exclusion (se concentrant sur les évaluations empiriques de la génération de code, l'adaptation, la réparation, les tests, etc., tout en excluant les articles de vision non empiriques), 32 articles ont été retenus. Trois articles supplémentaires ont été identifiés par effet de boule de neige, aboutissant à un corpus final de 35 études.
• Extraction de données : Pour chaque étude, les auteurs ont extrait et standardisé les données concernant les tâches de codage, les contextes d'application, les sources de problèmes, les attributs de qualité, les métriques d'évaluation, les méthodes empiriques, les configurations de LLM, les sorties générées et les configurations comparatives.
• Synthèse : Un processus de codage ascendant a été utilisé pour identifier les concepts récurrents au sein des champs d'extraction. Ces concepts ont été regroupés en catégories de niveau inférieur, puis abstraits en dimensions de niveau supérieur récurrentes à travers les études examinées.

Contributions clés
L'article présente cinq contributions primaires :

1. Synthèse des pratiques empiriques : Un résumé complet des pratiques empiriques trouvées dans 35 études sélectionnées, incluant les expériences contrôlées, les évaluations de benchmarks, l'exploration de dépôts (repository mining), les études utilisateur et les conceptions à méthodes mixtes.
2. Identification des dimensions récurrentes : L'identification de neuf dimensions méthodologiques majeures : tâches, sources de problèmes, contextes d'application, attributs de qualité, métriques, méthodes empiriques, configurations de modèles, environnements et sorties générées.
3. Proposition d'un cadre de référence : La dérivation d'un cadre de référence ascendant composé de six composantes centrales pour soutenir la conception, le rapport et la comparaison d'études empiriques sur la génération de code basée sur les LLM.
4. Jeu de données de traçabilité : La fourniture d'un jeu de données de traçabilité codé reliant les études examinées aux dimensions du cadre afin de soutenir la transparence et la synthèse future des preuves.
5. Application illustrative : Des démonstrations de la manière dont le cadre peut être utilisé de manière rétrospective pour cartographier les études existantes et de manière prospective pour dériver de nouveaux designs d'études empiriques.

Résultats et composantes du cadre
L'analyse des 35 études a révélé une variabilité méthodologique substantielle. Les pratiques empiriques les plus fréquentes étaient les expériences/évaluations contrôlées (23 études) et les comparaisons de stratégies de prompt (22 études). Le champ d'évaluation s'étend au-delà de la correction fonctionnelle pour inclure l'efficacité, la fiabilité, la sécurité, l'équité, la conformité des licences, la qualité de l'explication et les préoccupations centrées sur l'humain.

Sur la base de la synthèse, les auteurs proposent un cadre de référence organisé en six composantes centrales :

1. Tâche de codage : Capture l'activité évaluée, incluant le type de tâche (ex: génération générale, réparation, explication), le contexte d'application (ex: programmation compétitive, sécurité, science des données) et la source du problème (ex: benchmarks, dépôts, documentation).
2. Évaluation de la qualité et des métriques : Définit les attributs de qualité (ex: correction, sécurité, équité) et les métriques spécifiques utilisées pour les opérationnaliser (ex: pass@k, temps d'exécution, évaluations humaines, taux de vulnérabilité).
3. Design de la recherche empirique : Englobe la structure méthodologique, incluant la méthode d'étude (ex: expérience contrôlée, étude utilisateur), le design expérimental (hypothèses, variables), la configuration comparative (ex: LLM vs Humain, cross-modèle) et les techniques d'analyse de données.
4. Environnement : Capture les paramètres de calcul et d'exécution, incluant l'infrastructure (cloud, local), les environnements d'exécution/tests (Docker, juges en ligne) et les contextes humains/organisationnels (salles de classe, études utilisateur).
5. Configuration du LLM : Couvre la sélection du modèle (propriétaire vs open-source), les stratégies de prompting (ex: chain-of-thought, augmentation par la récupération/RAG), le réglage des paramètres (température, échantillonnage) et les stratégies de flux de travail (fine-tuning, systèmes basés sur des agents).
6. Sortie générée : Décrit les artefacts produits, allant des extraits de code et fonctions au niveau du dépôt jusqu'aux tests, correctifs, explications et traces d'interaction.

Signification et affirmations
L'article affirme que ce cadre sert de vocabulaire structuré pour décrire, comparer et concevoir des études empiriques. Il n'est pas destiné à prescrire une méthodologie expérimentale unique, mais plutôt à rendre explicites les dimensions de conception des études empiriques. En organisant l'espace de conception empirique, le cadre vise à :

• Améliorer la cohérence, la comparabilité et la reproductibilité des évaluations futures.
• Aider les chercheurs à identifier les lacunes méthodologiques et à raisonner sur des configurations d'études compatibles.
• Soutenir la planification d'investigations empiriques mieux fondées en traitant les études comme des configurations de choix interdépendants plutôt que comme des évaluations de modèles isolées.

Les auteurs soulignent que le cadre est une structure de référence évolutive. Il reflète l'état actuel de la littérature (2023–2025) et reconnaît que des raffinements futurs pourraient être nécessaires pour répondre aux modèles émergents, aux flux de travail de prompting et aux préoccupations d'évaluation. Le cadre est conçu pour être extensible, avec des travaux futurs prévus pour modéliser les contraintes de compatibilité entre les composantes et développer un support d'outils pour la conception d'études empiriques.