ConceptRM: The Quest to Mitigate Alert Fatigue through Consensus-Based Purity-Driven Data Cleaning for Reflection Modelling

---

1. Problématique : La Fatigue d'Alerte et le Bruit des Données

Contexte :
L'adoption massive d'agents intelligents (notamment basés sur les LLM) dans des domaines comme la revue de code a introduit un problème critique : la « fatigue d'alerte ». Ces agents génèrent un volume écrasant d'alertes, dont une grande majorité sont des faux positifs (hallucinations, remarques triviales, suggestions inutiles). Cela désensibilise les développeurs, qui finissent par ignorer les alertes, risquant ainsi de laisser passer des vulnérabilités critiques.

Le Défi Technique :
Pour atténuer ce problème, une approche courante consiste à entraîner un modèle de réflexion (reflection model) agissant comme filtre pour intercepter les fausses alertes. Cependant, l'entraînement de tels modèles nécessite des données étiquetées de haute qualité.

• Source du problème : Les données proviennent souvent d'environnements de production où le feedback utilisateur (Accepter, Rejeter, Ignorer) est bruyant et subjectif.
• Coût prohibitif : Le nettoyage manuel de ces données par des experts est trop coûteux et lent pour être scalable.
• Limitation des méthodes existantes : Les méthodes classiques d'apprentissage avec des étiquettes bruyantes (Learning with Noisy Labels - LNL), comme Co-teaching, reposent sur des initialisations de paramètres différentes pour créer une divergence entre les modèles. Or, dans l'ère du fine-tuning de LLM pré-entraînés, les poids initiaux sont identiques, ce qui annule cette divergence et rend ces méthodes inefficaces.

2. Méthodologie : ConceptRM

L'article propose ConceptRM, une méthode novatrice qui déplace la source de divergence du espace des paramètres vers l'espace des données.

A. Acquisition et Prétraitement des Données

• Données brutes : Collectées à partir d'un système de revue de code interne (74 876 échantillons) avec trois types de feedback : Accept, Reject, Ignore.
• Ancres Expertes : Un petit ensemble de données (100 à 1000 échantillons) est annoté manuellement par des ingénieurs seniors pour servir de référence fiable (Validation Set).

B. Nettoyage de Données par Injection de Bruit (Noise-Doping)

Au lieu d'initialiser les modèles différemment, ConceptRM crée une divergence en perturbant la distribution des données d'entraînement :

1. Construction de jeux de données perturbés : Six jeux de données ($D_1$ à $D_6$) sont créés. Chaque jeu maintient un équilibre 1:1 entre négatifs (Reject) et positifs, mais la classe positive est un mélange d'Accept et de Ignore à des ratios croissants ($\alpha_k$ de 0% à 50%).
2. Effet sur les frontières de décision :
   • Les modèles entraînés sur des données très bruitées (beaucoup de Ignore dans la classe positive) apprennent des frontières conservatrices (faux positifs très bas, mais taux d'interception bas).
   • Les modèles entraînés sur des données plus propres apprennent des frontières agressives (taux d'interception élevé, mais faux positifs plus nombreux).

C. Co-Enseignement Piloté par la Pureté (Purity-Driven Co-Teaching)

• Entraînement Parallèle : Plusieurs modèles ($M_1...M_K$) sont entraînés en parallèle sur ces jeux de données perturbés.
• Stratégie de Consensus : Pour sélectionner la meilleure combinaison de modèles capable de nettoyer les données, deux stratégies sont évaluées :
  • Consensus Strict (SC) : Un échantillon est étiqueté comme négatif uniquement si tous les modèles sont d'accord. Cela maximise la pureté (minimise les faux positifs).
  • Vote Majoritaire (MV) : L'étiquette est donnée par la majorité. Cela offre un meilleur équilibre entre couverture et précision.
• Optimisation : Le choix de la combinaison optimale $(M^*, C^*)$ est guidé par une métrique appelée PIE (Purity-driven Intercept Efficacy), définie comme le ratio $IR / FPR$ (Taux d'Interception / Taux de Faux Positifs), sous contrainte d'un taux d'interception minimum ($\gamma$).

D. Raffinement Final

Le meilleur ensemble de modèles est utilisé pour ré-étiqueter (re-inference) l'ensemble de données brut complet. Ce corpus « nettoyé » est ensuite utilisé pour entraîner le modèle de réflexion final.

3. Contributions Clés

1. Paradigme de Divergence par les Données : ConceptRM résout le problème de l'homogénéité des poids initiaux dans le fine-tuning de LLM en introduisant une divergence via la perturbation des données (injection de bruit contrôlé) plutôt que par l'initialisation des paramètres.
2. Métrique PIE : Introduction d'une métrique d'évaluation qui privilégie la « pureté » de l'interception (maximiser le nombre d'alertes utiles interceptées par unité de coût de faux positif), plutôt que la simple précision ou le rappel.
3. Efficacité des Données (Data Efficiency) : La méthode démontre qu'une très petite quantité d'annotations expertes (100 échantillons) suffit pour guider un processus de nettoyage efficace, réduisant drastiquement le coût d'annotation.
4. Flexibilité Stratégique : La capacité de basculer entre des stratégies conservatrices (SC) et agressives (MV) permet d'adapter le modèle aux contraintes spécifiques de déploiement (tolérance au risque vs couverture).

4. Résultats Expérimentaux

Les expériences ont été menées sur des données industrielles internes et un ensemble de test open-source (GitHub).

• Performance vs Fine-Tuning Naïf :

  • Le fine-tuning naïf sur des données bruyantes atteint un taux d'interception (IR) élevé (73%) mais avec un taux de faux positifs (FPR) inacceptable (35%).
  • ConceptRM (SC-1k) réduit le FPR à 13,0% (données internes) et 9,6% (GitHub) tout en maintenant un IR compétitif.
  • L'amélioration de la métrique PIE est spectaculaire : +53,31% sur les données internes et +41,67% sur les données GitHub par rapport aux modèles de base.

• Comparaison avec les LLMs de pointe (SOTA) :

  • Les modèles LLM massifs (Qwen-480B, Claude-4.5, DeepSeek) utilisant le Prompt Engineering souffrent soit d'une sur-interception (FPR > 40%), soit d'une sous-interception (IR faible).
  • Le modèle ConceptRM (basé sur un LLM plus petit, Qwen-30B) surpasse tous les baselines SOTA en termes de métrique PIE, prouvant que la méthodologie d'entraînement est plus critique que la simple mise à l'échelle du modèle.

• Analyse des Facteurs :

  • Passer de 100 à 1000 annotations expertes n'apporte que des gains marginaux, confirmant la robustesse de la méthode en scénario « cold-start ».
  • La stratégie Strict Consensus (SC) est idéale pour les environnements où le coût d'un faux positif est critique (ex: sécurité), tandis que Majority Vote (MV) offre une meilleure couverture pour les scénarios généraux.

5. Signification et Impact

• Atténuation de la Fatigue d'Alerte : En filtrant efficacement le bruit tout en préservant les signaux faibles, ConceptRM restaure la confiance des développeurs dans les assistants IA, évitant l'effet « cri du loup ».
• Sécurité Logicielle : La capacité à maintenir un taux de faux positifs très bas tout en interceptant les erreurs garantit que les avertissements de sécurité critiques ne sont pas noyés sous des suggestions inutiles.
• Généralisation : Ce cadre fournit une base pour construire des Modèles de Récompense (Reward Models) de haute qualité pour l'apprentissage par renforcement (RL) dans divers domaines, sans nécessiter de coûts d'annotation massifs.
• Recherche Future : L'article ouvre la voie à l'étude théorique des garanties de convergence dans le co-enseignement piloté par la pureté et aux relations informationnelles entre la force du consensus et la généralisation des modèles.

En résumé, ConceptRM propose une solution pragmatique et économiquement viable pour transformer des données de feedback utilisateur bruyantes en un corpus d'entraînement de haute qualité, permettant de déployer des agents IA plus fiables et moins intrusifs.