Repairing vulnerabilities without invisible hands. A differentiated replication study on LLMs

Résumé Technique : Une Étude de Réplication Différenciée sur les LLM pour la Réparation Automatisée de Vulnérabilités

Énoncé du Problème
La Réparation Automatisée de Vulnérabilités (AVR - Automated Vulnerability Repair) utilisant les Grands Modèles de Langage (LLM) a récemment démontré des résultats surpassant les méthodes traditionnelles de réparation de programmes basées sur les tests. Cependant, les auteurs soutiennent que ces résultats « exceptionnels » pourraient être pilotés par trois « mains invisibles » :

1. Fuite de Code (Code Leakage) : Les LLM pourraient avoir été entraînés sur les jeux de données de référence utilisés pour l'évaluation (ex. : Vul4J, PrimeVul), leur permettant de mémoriser les corrections plutôt que de généraliser.
2. Conception de l'Invite (Complétion vs Patching) : De nombreuses études présentent la réparation comme une tâche de complétion de code où le code vulnérable est remplacé par un espace réservé (placeholder). Si le modèle a mémorisé la correction, il se contente de compléter le motif.
3. Localisation de Faille Parfaite : Les études fournissent souvent le numéro de ligne exact de la vulnérabilité. Combiné aux invites de complétion de code, cela permet aux modèles mémorisés de reproduire les corrections sans comprendre la logique sous-jacente.

L'hypothèse centrale est que si les LLM généralisent réellement, l'introduction d'erreurs dans la localisation de la faille devrait dégrader les performances. Inversement, s'ils ne font que « tricher » via la mémorisation, ils ignoreront les erreurs de localisation et reproduiront la correction connue, quel que soit le prompt.

Méthodologie
Les auteurs proposent une « étude de réplication sceptique » utilisant un pipeline différencié sur les benchmarks Vul4J et VJTrans (transformé/remanié). La méthodologie implique :

• Injection Contrôlée d'Erreurs : Contrairement aux travaux antérieurs qui fournissent une localisation parfaite, ce pipeline décale délibérément la localisation de la faille dans l'invite de $n$ lignes (spécifiquement des décalages de 2, 4 et 8 lignes, tant positives que négatives) par rapport à la vérité terrain.
• Variations de Prompts : L'étude utilise quatre modèles d'invites (P1–P4) variant les informations fournies :
  • Informations générales + fonction uniquement.
  • Fonction + marqueurs de localisation au niveau de la ligne.
  • Fonction + description du type de vulnérabilité.
  • Fonction + marqueurs de niveau de ligne et type de vulnérabilité.
• Pipeline LLM à Deux Étapes :
  1. Générateur : Un premier LLM génère un patch basé sur l'invite (potentiellement erronée).
  2. Réviseur : Un second LLM examine le patch généré, affichant « TRUE » s'il semble correct ou « FALSE » s'il échoue.
• Validation : Les patchs générés sont validés par :
  • Tests de Régression : S'assurer que la fonctionnalité est préservée.
  • Tests de Preuve de Vulnérabilité (PoV) : S'assurer que la vulnérabilité est réellement corrigée.
  • Audit Manuel : Un échantillon de patchs passant les tests automatisés est inspecté manuellement pour les classer comme « Correct », « Partiellement Correct » ou « Erroné ».
• Analyse Statistique : L'étude emploie les TOST (Two One-Sided Tests) pour prouver l' équivalence statistique plutôt qu'une simple absence de différence significative. Cela sert à tester si les performances restent stables malgré les erreurs de localisation (soutenant l'hypothèse de mémorisation). La méthode Agresti-Coull-Wilson est utilisée pour calculer les intervalles de confiance pour les résultats de l'audit manuel.

Contributions Clés

1. Réplication Différenciée : Le papier dépasse la simple réplication en introduisant une variable contrôlée (erreur de localisation) pour tester la robustesse de l'AVR basée sur les LLM.
2. Isolation de la Mémorisation : En utilisant VJTrans (vulnérabilités remaniées avec des identifiants renommés et un flux de contrôle altéré), l'étude tente d'isoler la généralisation du modèle de la mémorisation des données, car la correction exacte du développeur n'est pas disponible pour ces cas transformés.
3. Cadre Statistique pour l'Équivalence : Les auteurs proposent d'utiliser le test d'équivalence (TOST) pour valider scientifiquement si les modèles « tricheurs » (mémorisant) performent de manière identique sous des conditions perturbées par rapport aux conditions parfaites.
4. Analyse Critique des « Mains Invisibles » : L'étude remet explicitement en question la validité des benchmarks actuels d'AVR en démontrant comment la localisation parfaite et le cadrage de la complétion de code peuvent gonfler artificiellement les taux de réussite.

Résultats et Résultats Attendus
Note : Comme il s'agit d'une proposition/plan d'étude (indiqué par les sections « Plan d'Exécution » et « Énoncé de Recherche »), le papier ne présente pas de résultats empiriques finaux mais expose les hypothèses et le design expérimental pour les tester.

Le papier expose des hypothèses concernant les résultats attendus :

• Hypothèse sur la Mémorisation : Si les LLM reposent sur la mémorisation, il y aura une équivalence statistiquement significative de performance entre les invites avec localisation parfaite et celles avec localisation décalée (RQ1ERR). Le modèle ignorera l'erreur et produira la correction connue.
• Hypothèse sur la Généralisation : Si les LLM généralisent, les performances devraient chuter significativement lorsque la localisation est décalée, car le modèle tentera de corriger le mauvais code.
• Comportement du Réviseur : Si l'hypothèse du « tricheur » se vérifie, le second LLM (réviseur) s'appuiera également sur la mémorisation. Il devrait reconnaître des patchs « plausibles » (mémorisés) même lorsque la localisation dans l'invite est incorrecte, alors qu'il pourrait échouer à reconnaître des patchs corrects pour des vulnérabilités remaniées (inconnues).
• Sensibilité au Décalage : Les auteurs s'attendent à ce qu'il n'y ait aucune différence de performance significative entre les petits déplacements ($\le 2$) et les grands déplacements ($>3$) si le modèle triche, car le modèle ignore entièrement l'indice de localisation de l'invite.

Signification
Le papier affirme sa pertinence en abordant la crise de la reproductibilité de l'ingénierie logicielle basée sur les LLM. En démontrant que les taux de réussite actuels élevés peuvent être des artefacts de fuite de données et de localisation parfaite, l'étude vise à :

• Fournir une base plus rigoureuse pour évaluer les outils d'AVR.
• Distinguer les modèles qui comprennent réellement les motifs de vulnérabilité de ceux qui se contentent de rappeler les données d'entraînement.
• Établir une méthodologie (injection d'erreur + test d'équivalence) qui peut être appliquée aux études futures pour garantir que les améliorations rapportées en réparation de programmes sont des généralisations réelles et non des artefacts de mémorisation.

Les auteurs concluent que sans de tels contrôles, le domaine risque de surestimer les capacités des LLM dans des tâches critiques pour la sécurité.