Deterministic vs. LLM-Controlled Orchestration for COBOL-to-Python Modernization
Cet article présente une étude empirique contrôlée démontrant que l'orchestration déterministe surpasse les flux de travail agentiques pilotés par LLM dans la modernisation de COBOL vers Python en atteignant une précision de traduction comparable tout en améliorant considérablement la robustesse, en réduisant la variabilité des performances et en abaissant les coûts opérationnels jusqu'à 3,5 fois.
Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète
Depuis des décennies, les secteurs de la finance et du gouvernement s'appuient sur des programmes informatiques massifs et complexes écrits dans un langage appelé COBOL. Ces systèmes gèrent les transactions bancaires mondiales et les paiements de la sécurité sociale, pourtant les experts qui les ont conçus partent à la retraite, et le code lui-même est souvent vieux de plusieurs décennies, mal documenté et difficile à modifier. Pour maintenir ces services vitaux en fonctionnement, les organisations doivent traduire ce code ancien vers des langages modernes comme Python, un processus qui exige une précision extrême car la moindre erreur peut provoquer la défaillance d'un système. Récemment, un nouveau type d'intelligence artificielle connu sous le nom de modèle de langage étendu est apparu comme un outil potentiel pour cette tâche. Ces modèles peuvent lire du code et écrire du nouveau code, mais ils fonctionnent souvent en agissant comme des agents autonomes : ils décident eux-mêmes des étapes à suivre, de quand recommencer une tâche et de la manière de corriger les erreurs au fur et à mesure. Cela soulève une question critique pour les ingénieurs : vaut-il mieux laisser l'intelligence artificielle piloter l'ensemble du processus, en décidant de chaque mouvement en temps réel, ou est-il plus efficace de maintenir le processus sur une voie stricte et prédéfinie où l'ordinateur suit un ensemble de règles fixes ?
Une équipe de chercheurs de l'Université Bucknell et d'Astrio s'est donné pour mission de répondre à cette question en menant une expérience contrôlée pour voir comment ces deux approches différentes gèrent la tâche difficile de la conversion de code COBOL en Python. Ils ont construit un système appelé ATLAS pour servir de traducteur, mais ils ont conçu l'expérience de sorte que la seule chose qui changeait entre les tests était qui était aux commandes. Dans une version, l'intelligence artificielle avait le plein contrôle, étant autorisée à choisir son propre chemin, sélectionner ses propres outils et décider quand s'arrêter ou repartir de zéro. Dans l'autre version, la même intelligence artificielle était utilisée pour écrire le code, mais un ensemble de règles rigides et immuables dictait exactement les étapes à suivre, l'ordre de passage, et le nombre de tentatives à effectuer si quelque chose échouait. En gardant le cerveau du système — le modèle de langage — exactement le même dans les deux scénarios, les chercheurs ont pu isoler l'effet de la méthode de contrôle elle-même, éliminant toutes les autres variables pour voir quelle stratégie fonctionnait réellement le mieux.
Les résultats de cette étude ont révélé un compromis clair entre flexibilité et fiabilité. Lorsque l'intelligence artificielle était autorisée à contrôler le processus, elle parvenait fréquemment à produire un programme fonctionnel, réussissant souvent à générer un résultat capable de s'exécuter sans planter. Cependant, ce succès comportait un coût caché : les résultats étaient incohérents. Parce que le modèle prenait ses propres décisions sur la manière de procéder, le même code de départ pouvait conduire à des résultats très différents selon les essais, produisant parfois une traduction parfaite et échouant parfois de manière imprévisible. De plus, cette approche « agentique » était incroyablement coûteuse. Le modèle s'engageait souvent dans de longs sentiers sinueux de raisonnement, se posant des questions à lui-même et essayant des stratégies multiples qui n'étaient pas nécessaires, consommant ainsi de vastes quantités de ressources informatiques. Dans certains cas, l'approche flexible utilisait plus de trois fois plus de jetons — les unités de base d'information que le modèle traite — que l'approche fixe pour atteindre un résultat similaire.
En revanche, le système qui suivait un chemin fixe et déterministe produisait des résultats bien plus stables et prévisibles. Bien que la capacité globale de traduction du code fût tout aussi bonne que celle de la version flexible, le système rigide échouait rarement dans les cas les plus critiques. Il ne se perdait pas dans des boucles de réflexion inutiles et ne variait pas son comportement d'une exécution à l'autre. Plus important encore, il était nettement moins cher à exploiter. En s'en tenant à un calendrier d'étapes strict et en n'utilisant l'intelligence artificielle que pour écrire le code plutôt que pour planifier le voyage, le système a réduit le coût de la traduction d'un facteur de trois à trois et demi. Les chercheurs ont constaté que pour des tâches telles que la modernisation de logiciels hérités, où les étapes sont bien définies et les résultats peuvent être vérifiés par rapport à des règles strictes, laisser l'intelligence artificielle conduire la voiture était non seulement plus coûteux, mais aussi moins fiable que d'avoir une carte conçue par l'homme pour guider le chemin.
Cette étude suggère que l'avenir de l'utilisation de l'intelligence artificielle dans des tâches d'ingénierie complexes ne réside peut-être pas dans le fait de donner aux machines une liberté totale de décision sur leur façon de travailler. Au lieu de cela, l'approche la plus efficace semble consister à intégrer ces modèles puissants dans un cadre structuré où les règles d'engagement sont fixes et le chemin est clair. L'intelligence artificielle reste l'expert rédacteur, capable de comprendre des instructions complexes et de générer du nouveau code, mais l'orchestration du travail — la planification, le timing et les contrôles de sécurité — demeure sous un contrôle strict et déterministe. Cela garantit que le processus est non seulement capable de produire des résultats de haute qualité, mais qu'il reste également robuste, prévisible et économiquement viable pour les grands systèmes critiques qui font fonctionner notre monde moderne.
Noyé(e) sous les articles dans votre domaine ?
Recevez des digests quotidiens des articles les plus récents correspondant à vos mots-clés de recherche — avec des résumés techniques, dans votre langue.