Search-Based Software Engineering and AI Foundation Models: Current Landscape and Future Roadmap

Ce document présente une feuille de route de recherche pour l'ingénierie logicielle basée sur la recherche (SBSE) à l'ère des modèles de fondation (FMs), en analysant leur paysage actuel, en identifiant les défis ouverts et en traçant les orientations futures pour leur intégration synergique afin d'améliorer à la fois la SBSE et les FMs.

L'essentiel

Imaginez que vous essayez de résoudre un puzzle massif et complexe. Vous disposez de deux outils puissants pour vous aider : un assistant super-intelligent et créatif (appelé Modèle de Fondation ou IA) et un explorateur infatigable et méthodique (appelé Ingénierie Logicielle Basée sur la Recherche ou SBSE).

Ce document est une feuille de route rédigée par des chercheurs qui souhaitent déterminer comment faire fonctionner ces deux outils ensemble mieux que jamais. Ils se demandent : « Comment pouvons-nous mélanger la créativité de l'IA avec la précision des algorithmes de recherche pour construire de meilleurs logiciels ? »

Voici une décomposition simple de leur parcours :

1. Les deux personnages de notre histoire

L'Explorateur (SBSE) :
Considérez la SBSE comme un robot très travailleur et logique. Sa tâche consiste à résoudre des problèmes en essayant des millions de combinaisons différentes jusqu'à trouver la meilleure.

• Comment cela fonctionne : C'est comme un randonneur essayant de trouver le sommet le plus élevé dans une chaîne de montagnes brumeuse. Le randonneur fait un pas, vérifie s'il est plus haut, et si oui, continue. Sinon, il essaie une direction différente.
• Le problème : Pour ce faire, le randonneur a besoin d'une carte claire et d'un moyen de mesurer la « hauteur ». Dans le domaine du logiciel, cela signifie que le problème doit être facile à mesurer (comme « ce code provoque-t-il un crash ? »). Si le problème est vague (comme « ce code est-il facile à lire ? »), le robot se confond car il ne peut pas le mesurer facilement. De plus, le robot peut être lent si la montagne est trop grande.

L'Assistant Créatif (Modèles de Fondation/IA) :
Considérez cela comme une bibliothécaire surdouée qui a lu presque tout ce qui a jamais été écrit. Elle peut écrire des histoires, dessiner des images et comprendre des instructions complexes.

• Comment cela fonctionne : Elle utilise ses vastes connaissances pour deviner instantanément la meilleure réponse.
• Le problème : Parfois, elle est confiante mais se trompe (ce qu'on appelle des « hallucinations »). Elle peut aussi être imprévisible (un jour elle donne une excellente réponse, le lendemain une réponse absurde). Elle nécessite également beaucoup d'électricité et des ordinateurs puissants pour fonctionner.

2. Les trois façons dont ils peuvent s'associer

Le document suggère trois façons principales dont ces deux personnages peuvent s'entraider :

A. L'Assistant aide l'Explorateur (IA pour SBSE)

• L'idée : L'Assistant Créatif peut aider l'Explorateur à préparer le puzzle.
• Analogie : Imaginez que l'Explorateur essaie de trouver la meilleure route, mais ne sait pas lire la carte. L'Assistant lit la carte, trace le chemin et écrit même les instructions pour l'Explorateur.
• Ce que dit le document : L'IA peut aider à concevoir les « règles » de la recherche, écrire le code dont le robot a besoin pour fonctionner, et même expliquer les découvertes du robot en anglais simple pour que les humains puissent les comprendre.

B. L'Explorateur aide l'Assistant (SBSE pour IA)

• L'idée : L'Explorateur peut aider à corriger les erreurs de l'Assistant Créatif.
• Analogie : L'Assistant écrit une histoire, mais elle comporte quelques trous dans l'intrigue. L'Explorateur agit comme un éditeur strict, testant des milliers de variations de l'histoire pour trouver la version avec le moins d'erreurs et le meilleur flux.
• Ce que dit le document : L'Explorateur peut aider à régler l'IA pour la rendre plus fiable, trouver les meilleurs « prompts » (instructions) à donner à l'IA, et tester le code écrit par l'IA pour s'assurer qu'il fonctionne réellement.

C. La Danse Parfaite (Intégration)

• L'idée : Ils travaillent ensemble en temps réel.
• Analogie : L'Assistant suggère une idée créative, et l'Explorateur la teste immédiatement. Si l'Explorateur dit : « Cela ne fonctionnera pas », l'Assistant essaie instantanément une nouvelle idée. Ils échangent des idées jusqu'à ce qu'ils trouvent la solution parfaite.
• Ce que dit le document : C'est l'avenir. Ils commencent déjà à les mélanger pour des choses comme tester des voitures autonomes et corriger des bugs, mais il reste beaucoup de travail à faire pour rendre cette danse fluide.

3. Les obstacles sur la route

Les chercheurs signalent quelques points délicats sur la carte :

• Le problème du « Combat Équitable » : Comment comparer un robot qui fonctionne sur un ordinateur portable gratuitement contre une IA qui fonctionne sur un superordinateur géant et coûteux ? C'est comme comparer un vélo à un avion à réaction. Le document dit que nous avons besoin de nouvelles règles pour nous assurer de les comparer équitablement (par exemple, en comptant la quantité d'énergie qu'ils consomment).
• Le problème du « Copier-Coller » : Si vous utilisez une IA commerciale (comme un chatbot payant), l'entreprise pourrait la modifier demain. Si vous effectuez une expérience aujourd'hui, vous ne pourrez peut-être pas la répéter le mois prochain car l'IA a changé. Cela rend la recherche scientifique difficile.
• Le problème de la « Boîte Noire » : Parfois, l'IA donne une réponse, mais nous ne savons pas pourquoi. L'Explorateur doit comprendre le « pourquoi » pour faire confiance à la réponse.

4. L'avenir (Regard vers 2030)

Le document utilise un cadre spécial (la Tétrade de McLuhan) pour deviner à quoi ressemblera l'avenir :

• Ce qu'il améliore : Il rendra l'ingénierie logicielle beaucoup plus rapide et facile. Même des personnes qui ne sont pas des experts pourraient être capables de construire des logiciels complexes simplement en parlant à l'IA.
• Ce qu'il récupère : Il ramène la « touche humaine ». Au lieu d'écrire du code complexe, les humains peuvent simplement décrire ce qu'ils veulent en langage simple.
• Ce qu'il rend obsolète : Certaines anciennes méthodes manuelles de conception de tests logiciels ou de correction de bugs pourraient disparaître car l'IA peut les faire automatiquement.
• Ce qu'il inverse : Si nous nous appuyons trop sur l'IA, nous pourrions oublier comment résoudre des problèmes nous-mêmes. Nous pourrions devenir dépendants de l'outil et perdre nos propres compétences.

5. Où cela pourrait aller ensuite

Le document met en avant quelques nouvelles frontières passionnantes où cette collaboration pourrait se produire :

• Voitures Autonomes : Utiliser l'IA pour comprendre des scènes de circulation complexes et l'Explorateur pour tester des millions de scénarios « que se passerait-il si » afin de s'assurer que la voiture est sûre.
• Robots : Aider les robots à comprendre les gestes humains et s'assurer qu'ils ne cassent pas les choses lorsqu'ils essaient de nouvelles tâches.
• Internet des Objets (Maisons Intelligentes) : Tester comment des milliers d'appareils intelligents différents communiquent entre eux sans planter.
• Informatique Quantique : Utiliser ces techniques pour aider à construire le logiciel des ordinateurs ultra-rapides du futur.

La Conclusion

Le document conclut que bien que l'IA (Modèles de Fondation) soit actuellement la « star » du spectacle et que l'Ingénierie Basée sur la Recherche soit le « héros méconnu », la vraie magie se produit lorsqu'ils travaillent ensemble. Les chercheurs ont tracé une carte pour les prochaines années, nous montrant où chercher les problèmes et comment combiner ces deux outils puissants pour construire des logiciels meilleurs, plus sûrs et plus intelligents.

Résumé technique

Résumé Technique : Ingénierie Logicielle Basée sur la Recherche et Modèles Fondamentaux d'IA

Énoncé du Problème

L'Ingénierie Logicielle Basée sur la Recherche (SBSE) constitue un domaine de recherche depuis environ 25 ans, appliquant avec succès des techniques de recherche métaheuristique pour résoudre des problèmes d'ingénierie logicielle (SE) tout au long du cycle de vie. Cependant, l'émergence rapide des Modèles Fondamentaux (FMs) — en particulier les Modèles de Langage (LLM), les Modèles Vision-Langage (VLM) et les Modèles Multimodaux (MM) — a créé un paysage indéfini concernant l'évolution de la SBSE. Bien que les FMs offrent des capacités transformatrices dans le traitement des données multimodales et le raisonnement, leur intégration avec la SBSE reste peu explorée. Le problème central abordé est l'absence d'une feuille de route structurée définissant comment la SBSE et les FMs peuvent synergiser, les défis spécifiques à leur intégration (tels que l'équité et la reproductibilité de l'évaluation empirique), et le potentiel des FMs à perturber les pratiques traditionnelles de la SBSE.

Méthodologie

Ce papier ne présente pas un nouvel algorithme empirique ni une étude expérimentale spécifique. Il emploie plutôt une revue systématique de la littérature et une analyse conceptuelle pour construire une feuille de route de recherche. La méthodologie comprend :

1. Analyse du Paysage : Examen de la recherche actuelle de pointe pour identifier comment les FMs sont actuellement utilisés dans la SBSE et inversement.
2. Catégorisation des Synergies : Structuration de l'interaction entre la SBSE et les FMs en trois dimensions principales :
   • Utilisation des FMs pour améliorer la SBSE.
   • Utilisation de la SBSE pour faire progresser les FMs.
   • Intégration de la SBSE et des FMs pour une interaction bidirectionnelle.
3. Application du Cadre : Utilisation de la Tétrade de McLuhan (Améliorer, Récupérer, Rendre Obsolète, Inverser) pour analyser les effets disruptifs des FMs sur l'avenir de la SBSE.
4. Évaluation Critique : Identification des lacunes dans les pratiques d'évaluation empirique, spécifiquement concernant l'équité des ressources et la reproductibilité lors de la comparaison des techniques SBSE avec des FMs commerciaux.

Contributions Clés

1. Une Feuille de Route de Recherche à Trois Piliers

Le papier articule une feuille de route complète organisée autour de trois aspects synergiques :

A. FMs pour la SBSE (Amélioration de la SBSE)

• Automatisation de la Conception : Les FMs peuvent automatiser la définition des fonctions de fitness, le codage des solutions et la définition de l'espace de recherche, réduisant ainsi le besoin d'expertise de domaine manuelle.
• Génération d'Artéfacts : Les FMs peuvent générer des scripts de test exécutables à partir de données de test basées sur la recherche et interpréter les solutions SBSE codées (par exemple, convertir des codages binaires en exigences textuelles ou en modèles graphiques).
• Implémentation et Débogage : Les FMs peuvent aider à générer des implémentations SBSE partielles ou complètes et automatiser le débogage/réparation de ces implémentations.

B. SBSE pour les FMs (Avancement des FMs)

• Adressage des Limitations : Les techniques SBSE (par exemple, les algorithmes évolutionnaires) peuvent être appliquées pour gérer les limitations des FMs telles que le non-déterminisme, les hallucinations et l'incertitude. Par exemple, les algorithmes de recherche peuvent explorer systématiquement les espaces de prompts pour détecter les hallucinations ou optimiser les hyperparamètres pour le fine-tuning.
• Raffinement d'Artéfacts : La SBSE peut améliorer les artéfacts générés par les FMs, tels que le raffinement du code généré par les LLM pour corriger les erreurs de compilation, l'optimisation des cas de test générés par les LLM pour la couverture et la diversité, et la validation des modèles générés par les FMs.

C. Intégration de la SBSE et des FMs (Synergie Bidirectionnelle)

• Nouveaux Opérateurs de Recherche : Les FMs peuvent agir en tant qu'opérateurs de recherche (par exemple, croisement et mutation) ou fonctions de fitness au sein des boucles SBSE.
• Domaines Émergents : Le papier souligne le potentiel d'intégration de la SBSE et des FMs dans des domaines complexes et multimodaux tels que les Systèmes de Conduite Autonome (ADS), la Robotique, les systèmes alimentés par l'IA, l'IoT et l'Informatique Quantique.

2. Défis de l'Évaluation Empirique

Le papier identifie une lacune critique dans la manière dont les techniques hybrides SBSE-FM sont évaluées. Il soutient que les comparaisons équitables sont difficiles car :

• Disparité des Ressources : Les FMs commerciaux s'exécutent sur des GPU haut de gamme distants, tandis que la SBSE s'exécute souvent sur des CPU locaux. Les comparer sans tenir compte de la consommation d'énergie et des coûts matériels est injuste.
• Replicabilité : Les FMs commerciaux distants évoluent dans le temps (FM-W4), rendant la réplication des études impossible. Les auteurs préconisent l'utilisation de FMs locaux et open-source pour une recherche reproductible, même si les modèles commerciaux produisent de meilleurs résultats immédiats.
• Directives Nécessaires : La communauté manque de directives standardisées pour des comparaisons équitables et conscientes des ressources des techniques hybrides.

3. Horizon Futur (2030) via la Tétrade de McLuhan

Les auteurs appliquent la Tétrade de McLuhan pour prévoir l'impact des FMs sur la SBSE :

• Améliore : Les FMs améliorent l'automatisation dans la conception SBSE (codage, fonctions de fitness) et permettent la résolution de problèmes multimodaux (ADS, robotique).
• Récupère : Les FMs récupèrent l'interaction centrée sur l'humain (interfaces en langage naturel) et la nature créative/explorative de la résolution de problèmes, rendant la SBSE plus accessible aux non-experts.
• Rend Obsolète : Les pratiques de conception manuelles (par exemple, le codage manuel des fonctions de fitness) et les algorithmes de recherche simples (par exemple, la Méthode des Variables Alternées) peuvent devenir obsolètes alors que les FMs gèrent directement ces tâches.
• Inverse : Une dépendance excessive aux FMs peut inverser le focus de la conception systématique de solutions vers l'ingénierie de prompts, supprimant potentiellement le développement de nouveaux algorithmes SBSE et entraînant une perte d'expertise SBSE.

Résultats et Affirmations

Le papier ne rapporte pas de résultats expérimentaux (par exemple, « L'algorithme X a amélioré la couverture de 15 % »). Ses « résultats » sont plutôt l'identification d'opportunités de recherche et de défis ouverts :

• État Actuel : La recherche est actuellement dominée par les LLM ; le potentiel des VLM et des MM dans la SBSE est largement inexploré.
• Identification des Lacunes : Bien que la SBSE ait réussi à résoudre des problèmes SE pendant des décennies, son adoption pratique dans l'industrie reste limitée par rapport à l'adoption généralisée des FMs. Le papier affirme que l'intégration de la SBSE avec les FMs pourrait combler ce fossé en rendant la SBSE plus utilisable et efficace pour des problèmes abstraits comme l'analyse des exigences.
• Signification : Le papier affirme être la première feuille de route prospective traitant spécifiquement de la synergie entre la SBSE et la classe plus large des Modèles Fondamentaux (pas seulement les LLM). Il se distingue des précédentes enquêtes en se concentrant sur la relation bidirectionnelle et les défis spécifiques de l'évaluation empirique dans ce nouveau contexte.

Signification et Voix

Les auteurs maintiennent un ton motivant mais prudent. Ils reconnaissent que si les FMs sont disruptifs, ils ne sont pas une panacée. Le papier souligne que :

• La SBSE offre des approches rigoureuses basées sur l'optimisation qui peuvent atténuer la nature stochastique et sujette aux hallucinations des FMs.
• Les FMs offrent la compréhension contextuelle et les capacités multimodales que la SBSE traditionnelle ne possède pas.
• L'avenir du domaine réside dans la synergie, et non dans le remplacement.
• Un travail significatif est nécessaire pour établir des normes d'évaluation empirique équitables afin de garantir la rigueur scientifique à mesure que le domaine évolue.

Le papier conclut en exhortant la communauté de recherche à dépasser les expériences isolées et à développer des cadres intégrés qui exploitent les forces de la SBSE et des FMs pour résoudre des défis complexes et réels d'ingénierie logicielle dans les domaines émergents.