When to Answer and When to Defer: A Decision Framework for Reliable Code Predictions

Résumé technique : Quand répondre et quand différer

Énoncé du problème
Les modèles de langage pour le code sont de plus en plus déployés pour des tâches de classification (par exemple, détection de vulnérabilités) et de génération (par exemple, synthèse de code). Cependant, ces modèles présentent fréquemment une mauvaise alignement entre la confiance prédictive et la correction réelle, attribuant souvent une haute confiance à des prédictions incorrectes et une faible confiance à des prédictions correctes. Les méthodes existantes de calibration et d'estimation d'incertitude, largement développées pour le langage naturel, échouent à se transférer efficacement au code. Plus précisément, les techniques de calibration a posteriori réduisent souvent le désalignement moyen mais ne parviennent pas à améliorer le classement des prédictions selon leur probabilité de correction, ce qui est une condition préalable à une prédiction sélective efficace (abstention). De plus, les approches actuelles traitent l'incertitude comme un indicateur passif plutôt que comme un signal actionnable, manquant de mécanismes intégrés pour résoudre ou valider les cas incertains.

Méthodologie : Un cadre de décision unifié
Les auteurs proposent un cadre orienté déploiement qui intègre l'estimation d'incertitude, la calibration du modèle et la gestion de l'abstention basée sur des outils. Ce cadre est conçu pour fonctionner à la fois sur des tâches de classification et de génération à travers trois composants principaux :

1. Estimation d'incertitude : Le système extrait des signaux internes des modèles pour éclairer les décisions en aval. Cela inclut des métriques dérivées des distributions prédictives et des méthodes quantifiant la variabilité du modèle sous des perturbations contrôlées. Ces signaux servent de base au calcul de la probabilité de correction plutôt que d'agir comme des filtres directs.
2. Stratégies de calibration :
   • Calibration pré-déploiement : Pour les modèles de classification, le cadre introduit une tête d'abstention explicite ou une classe « rejet » dans l'espace des étiquettes, entraînée avec des pertes sélectives conscientes du risque. Pour les modèles génératifs, il emploie un entraînement conscient de la récompense pour aligner la génération sur des proxies de correction (par exemple, taux de réussite de validation), encourageant un comportement conservateur en cas d'incertitude.
   • Calibration post-déploiement : Pour permettre l'abstention sans réentraînement, le cadre applique des schémas de calibration pondérés (mettant l'accent sur les classes à forte erreur ou sous-représentées) et une calibration consciente de la variance (mapant la dispersion des prédictions vers des probabilités de correction). Pour les modèles génératifs, la calibration intervient à la fois au niveau du token (pour une confiance incrémentale) et au niveau de la séquence (pour une évaluation globale de la sortie).
3. Abstention et récupération (couche MCP) : Lorsqu'un score calibré tombe en dessous d'un seuil ajustable, le système s'abstient et active une couche de récupération Modèle-Contexte-Protocole (MCP).
   • Pour les tâches génératives : La couche MCP adresse les modes de défaillance en augmentant les entrées avec des informations de tâche manquantes (par exemple, génération de plans intermédiaires), en injectant des connaissances externes (par exemple, extraits de documentation), ou en imposant des simplifications (par exemple, contrainte de la longueur de génération).
   • Pour les tâches de classification : L'abstention déclenche une récupération spécifique au domaine utilisant des analyseurs statiques, des outils de découpage de programme ou des validateurs basés sur des règles pour évaluer le flux de contrôle et les dépendances de données, garantissant que les décisions sont étayées par des preuves symboliques.

Contributions clés

• Cadre unifié : Une architecture généralisable pour l'abstention sélective et la récupération structurée à travers les tâches de modélisation de code, tant de classification que génératives.
• Calibration spécifique à la tâche : Nouvelles stratégies de calibration adaptées au code, incluant une calibration comportementale basée sur les logits pour la classification et un scaling pondéré pour les modèles génératifs.
• Mécanismes d'abstention en deux phases : Méthodes pour une abstention explicite via réentraînement du modèle (pré-déploiement) et via des seuils de confiance calibrés sans réentraînement (post-déploiement).
• Abstention actionnable : Une reconceptualisation de l'abstention comme une primitive de décision qui déclenche des interventions guidées par des outils (MCP) plutôt qu'un échec terminal.
• Engagement pour la science ouverte : Une promesse de publier le code, les configurations et les ensembles de données sous une licence permissive.

Résultats préliminaires
Les auteurs présentent des résultats empiriques évaluant la transférabilité des métriques d'incertitude et des techniques de calibration vers des modèles de code pré-entraînés :

• Modèles génératifs : Une méthode de scaling logistique pondéré appliquée à DeepSeek-Coder-7b et CodeLlama-7b sur le benchmark MBPP+ a constamment réduit l'erreur de calibration (ECE) et le score de Brier par rapport au scaling de Platt et à la régression isotone. À 80 % de couverture, la précision de la prédiction sélective a dépassé 70 %.
• Modèles de classification : Une méthode de calibration comportementale opérant directement sur les logits du modèle (contournant le softmax) a été appliquée à des tâches de prédiction de défauts. Cette approche a produit les scores de Brier et d'ECE les plus bas parmi les stratégies testées, atteignant plus de 90 % de précision sélective à 80 % de couverture pour DeepSeek-Coder-7b et Qwen-Coder-7b.
• Métriques d'incertitude : L'évaluation de 16 métriques d'incertitude sur la prédiction de défauts, la détection de vulnérabilités et la génération de code a révélé que, bien que beaucoup soient corrélées à la correction, aucune ne sert de solution agnostique à la tâche pour une abstention fiable sans calibration comportementale. Les métriques non calibrées surestiment souvent la fiabilité sur des prédictions erronées en raison d'un appariement de motifs superficiel dans le code.

Importance et affirmations
L'article soutient que le déploiement fiable des modèles de code nécessite de dépasser la simple déclaration de confiance passive pour aboutir à des systèmes opérationnels agissant avec prudence en cas d'incertitude. Les auteurs affirment que leur cadre fournit une fondation pour une utilisation consciente du risque et contrôlée par la couverture des modèles de code. En traitant l'abstention comme un mécanisme de prise de décision principiel soutenu par des outils d'analyse légers, ce travail vise à permettre un déploiement robuste dans des flux de travail d'ingénierie logicielle à haut risque sans sacrifier la couverture pour la sécurité. La recherche souligne que l'abstention efficace dans les tâches de code nécessite une calibration comportementale — alignant la confiance interne avec la correction au niveau de chaque instance — plutôt que de compter uniquement sur des métriques distributionnelles.