177 articles
Cette étude présente la première audit systématique des « shadow APIs » qui prétendent offrir un accès aux modèles LLM de pointe, révélant des pratiques trompeuses majeures telles que des divergences de performance allant jusqu'à 47,21 % et des échecs de vérification d'identité, ce qui compromet gravement la fiabilité de la recherche scientifique et les intérêts des utilisateurs.
Dans le cadre de la compétition NLBSE'26, l'outil LoRA-MME propose un ensemble de quatre encodeurs transformateurs adaptés via LoRA pour la classification multi-label de commentaires de code, obtenant de solides performances sémantiques mais révélant un compromis défavorable entre précision et efficacité d'inférence dû à son coût computationnel élevé.
Cet article présente MPBMC, une approche hybride combinant des représentations fonctionnelles de circuits matériels via des réseaux de neurones à graphes et des statistiques d'exécution pour regrouper intelligemment les propriétés et accélérer la vérification par model checking borné multi-propriétés.
Cette étude révèle que les benchmarks de sécurité pour les LLM n'offrent pas d'avantage significatif en termes d'influence académique par rapport aux articles non-benchmarks et souffrent d'une qualité de code insuffisante, mettant en évidence un décalage critique entre la notoriété des auteurs et la rigueur des ressources logicielles fournies.
Cet article présente iScript, un modèle de langage adapté au domaine de la conception physique pour la génération de scripts Tcl Innovus, ainsi que la benchmark iScript-Bench, en surmontant le manque de données grâce à une pipeline de synthèse multi-étapes et en démontrant des performances supérieures aux modèles d'état de l'art grâce à une stratégie d'entraînement en deux étapes et un cadre de vérification rigoureux.
Ce papier présente CLARC, un benchmark automatisé et robuste en C/C++ issu de GitHub, conçu pour évaluer la capacité des modèles de recherche de code à comprendre la sémantique au-delà des indices lexicaux, en révélant leurs limites face à des défis tels que l'anonymisation des identifiants ou la compilation vers des langages bas niveau.
Cet article présente les résultats d'une enquête industrielle en Wallonie sur les pratiques actuelles, les défis et les lacunes concernant la robustesse des systèmes cyber-physiques, en les comparant aux méthodologies de l'état de l'art.
Ce papier présente Vibe Code Bench, un nouveau benchmark évaluant la capacité des modèles d'IA à développer des applications web complètes de bout en bout, révélant que même les modèles les plus performants actuels n'atteignent qu'une précision de 58 % et soulignant l'importance cruciale de l'auto-test et de l'alignement des évaluateurs.
Cette étude évalue la capacité de GPT-4, Claude 3 et Gemini à générer des scénarios BDD automatisés, révélant que bien que GPT-4 excelle dans les métriques de similarité, Claude 3 produit les scénarios les plus pertinents selon les experts humains, avec des résultats optimaux obtenus via des techniques de prompt spécifiques à chaque modèle et des paramètres de température nulle.
MOOSEnger est un agent d'intelligence artificielle doté d'outils spécialisés qui combine la génération augmentée par récupération et des analyseurs déterministes pour transformer des intentions en langage naturel en fichiers d'entrée MOOSE exécutables, atteignant un taux de réussite de 93 % sur un benchmark de 125 prompts, contre seulement 8 % pour une approche basée uniquement sur un modèle de langage.
Ce papier présente FireBench, un nouveau benchmark open-source conçu pour évaluer la capacité des grands modèles de langage à suivre des instructions dans des contextes d'entreprise et d'API, en comblant le fossé entre les évaluations actuelles axées sur le chat et les besoins réels des applications professionnelles.
Cette étude qualitative identifie six archétypes d'Open Source Programme Offices (OSPO) au sein des organisations publiques européennes et propose des recommandations stratégiques pour aider les décideurs à concevoir des structures adaptées favorisant l'adoption de l'open source, la souveraineté numérique et l'interopérabilité des services.
Cette étude présente un système de personas générés automatiquement à partir d'avis d'utilisateurs dans les magasins d'applications VR, démontrant son efficacité pour faciliter l'empathie et l'identification des exigences d'accessibilité dans les cours de conception VR.
Le papier présente RepoLaunch, le premier agent capable d'automatiser entièrement la compilation, la gestion des dépendances et l'exécution des tests pour des dépôts de code sur n'importe quelle langue et plateforme, permettant ainsi la création d'ensembles de données pour l'ingénierie logicielle avec une intervention humaine minimale.
Cette étude examine les motivations des contributeurs de Stack Overflow à travers les cultures américaine, chinoise et russe avant l'ère des LLMs, révélant des différences clés entre l'auto-promotion aux États-Unis et l'orientation vers l'apprentissage en Chine, afin d'optimiser les stratégies de participation internationale.
Cet article propose un cadre de référence et une plateforme unifiée pour évaluer systématiquement la qualité, la représentativité et l'adéquation des jeux de données de modèles logiciels, afin d'améliorer la reproductibilité et la comparabilité des recherches en ingénierie dirigée par les modèles.
Cet article propose un cadre générique pour évaluer la capacité des modèles de langage à générer du code dans des langages de spécification de contraintes comme OCL et Alloy, démontrant que leur performance y est inférieure à celle observée avec Python, mais qu'elle peut être améliorée par des techniques telles que la réparation ou la génération multiple de candidats.
Cette étude à grande échelle évalue pour la première fois la capacité de quatre modèles de langage à générer des tests unitaires complets, révélant que bien que les techniques de raisonnement comme GToT améliorent la fiabilité et la lisibilité par rapport aux méthodes traditionnelles, des taux d'échec de compilation élevés dus aux hallucinations et des défauts de maintenabilité persistent, justifiant ainsi le recours à des approches hybrides combinant génération par LLM et validation automatisée.
Cette présentation introduit TrashFuzz, un algorithme de fuzzing en boîte noire qui teste la résilience des véhicules autonomes en manipulant de manière réaliste la position d'objets routiers courants pour induire des erreurs de perception et des violations du code de la route, tout en respectant les normes de conception routière.
Cet article présente la modélisation formelle, la vérification et le test de l'environnement d'exécution des automates de contrat (CARE) à l'aide de l'outil Uppaal, démontrant ainsi comment ces processus formels améliorent la fiabilité d'une application distribuée open source.