Measuring What a Specification Determines: A Formal Semantic-Block Model and an Execution-Judged Benchmark

Dans le monde moderne du logiciel, un nombre croissant d'entreprises tentent d'automatiser la création de programmes informatiques en utilisant l'intelligence artificielle. Au lieu d'embaucher une équipe d'ingénieurs pour écrire chaque ligne de code à partir de zéro, elles fournissent une description écrite détaillée de ce que le logiciel doit faire, appelée spécification, et demandent à une IA de le construire. Cette approche, appelée développement piloté par la spécification, traite le plan écrit comme le manuel d'instructions principal de la machine. L'espoir est que si le plan est suffisamment clair, l'IA produira un logiciel parfait à chaque fois. Cependant, une question critique demeure : un meilleur plan rend-il réellement l'IA plus intelligente, ou les systèmes d'IA connaissent-ils déjà les réponses grâce à leur entraînement ? Si l'IA est d'accord avec le plan simplement parce qu'elle a déjà vu des plans similaires, le plan lui-même ne fait aucun travail réel. Cette incertitude rend difficile de savoir si une spécification est véritablement de haute qualité ou s'il s'agit simplement d'un document qui se trouve correspondre à ce que la machine allait déjà faire.

Une équipe de chercheurs s'est donné pour mission de résoudre ce problème de mesure en testant une tâche spécifique et complexe : déplacer une base de données massive d'un type de système à un autre. Ils ont créé une spécification formelle et structurée pour la migration de données d'une base de données Oracle vers une base de données PostgreSQL, un processus qui implique la traduction de milliers de règles sur la manière dont les données sont stockées et traitées. Pour tester si cette spécification aidait réellement, ils n'ont pas seulement demandé à l'IA d'écrire du code et de vérifier s'il semblait correct. Au lieu de cela, ils ont construit une expérience rigoureuse où le même groupe de systèmes d'IA devait effectuer la migration deux fois : une fois avec la spécification détaillée et une fois sans elle. Les chercheurs ont utilisé une base de données Oracle en direct et un système PostgreSQL neuf comme juge strict. Ils ont exécuté le code généré par l'IA contre les données originales pour voir si les résultats étaient identiques, traitant le comportement réel du logiciel comme la seule véritable mesure du succès.

L'étude impliquait trois systèmes d'IA différents agissant comme des implémenteurs indépendants, travaillant tous sur les mêmes 75 tâches de migration spécifiques. Lorsque les chercheurs ont comparé les résultats, ils ont constaté une séparation nette entre ce que le logiciel pouvait faire et la qualité de l'accord entre les systèmes d'IA. La spécification a considérablement amélioré la capacité du logiciel à s'exécuter sans planter. Sans la spécification, seulement 72 % du code généré pouvait être chargé avec succès dans la nouvelle base de données. Avec la spécification complète, ce chiffre est passé à 97,3 %. Le plan a agi comme un guide qui a aidé l'IA à éviter les erreurs fatales et à produire un code qui fonctionne réellement.

Cependant, l'histoire a pris un tournant différent lorsque les chercheurs ont examiné si la spécification rendait les systèmes d'IA plus en accord les uns avec les autres. Avant l'étude, il y avait l'espoir qu'un plan parfait forcerait tous les systèmes d'IA à prendre exactement les mêmes décisions, créant ainsi une solution unifiée. Les données ont montré que ce n'était pas le cas. Même sans la spécification, les systèmes d'IA étaient déjà d'accord entre eux dans 83 % des cas, probablement parce qu'ils avaient appris les mêmes pratiques industrielles standards lors de leur entraînement. Lorsque la spécification a été ajoutée, ce taux d'accord a à peine bougé, passant à 83,8 %. Le plan n'a pas changé l'avis de l'IA sur les décisions qu'elle prenait déjà ; il l'a simplement aidée à exécuter ces décisions sans les briser.

Les chercheurs ont également découvert que la manière dont l'information était présentée importait plus que la quantité d'informations données. Dans une expérience, ils ont pris une règle unique et l'ont placée dans différentes parties du document. Lorsqu'une règle était enfouie dans un paragraphe à la fin d'une section, l'IA la suivait seulement 23 % du temps. Lorsqu'une même règle était placée dans un tableau structuré au sommet de la section, la conformité passait à 42 %. Étonnamment, répéter la règle aux deux endroits réduisait en réalité le taux de conformité à 34 %, suggérant que la redondance peut confondre le système plutôt que de renforcer l'instruction. Cette découverte indique que la structure du document est plus influente que le volume de texte.

Peut-être la découverte la plus significative est qu'une spécification peut parfois aggraver les choses. Dans un cas spécifique, une règle dans la spécification ordonnait à l'IA d'utiliser un certain type de conteneur de données. L'IA a suivi cette règle parfaitement, mais le résultat était un code invalide qui ne fonctionnerait pas. Sans la spécification, l'IA avait ignoré cette instruction spécifique et avait utilisé de sa propre initiative une autre méthode fonctionnelle. Cela a prouvé que suivre une règle ne garantit pas un résultat correct, et qu'une spécification peut introduire de nouvelles erreurs tout en corrigeant les anciennes. L'étude a également révélé que les systèmes d'IA avaient une limite naturelle à leur cohérence ; lorsque les chercheurs ont répété le même test plusieurs fois, les résultats variaient d'environ 14 points de pourcentage simplement en raison de la nature aléatoire de la génération de texte par l'IA. Cette variabilité signifiait que les petites améliorations ne pouvaient pas être considérées comme des progrès réels.

En fin de compte, la recherche conclut qu'une spécification est un outil puissant pour rendre un logiciel exécutable et pour aider les humains à identifier là où les instructions font défaut, mais qu'elle n'est pas une baguette magique qui force les différents systèmes d'IA à penser de la même manière. La spécification a réussi à réduire le nombre de programmes défectueux de près d'un quart, prouvant sa valeur pour garantir que le code s'exécute. Pourtant, elle a échoué à augmenter l'accord entre les différents systèmes d'IA ou à améliorer la précision des données elles-mêmes, qui est restée inchangée à 19 résultats corrects sur 42 tests dans les groupes contrôlés et non contrôlés. L'étude suggère que pour la génération actuelle d'IA, une spécification agit davantage comme un filet de sécurité qui empêche les échecs catastrophiques que comme un guide qui élève la qualité de la solution au-delà de ce que l'IA sait déjà. La véritable puissance de la spécification ne réside pas dans le fait de forcer l'IA à être d'accord, mais dans le fait de rendre le processus de construction de logiciels suffisamment fiable pour être vérifié et contrôlé.