Amplitude Uncertainties Everywhere All at Once

1. Problématique et Contexte

La génération d'événements pour le Grand Collisionneur de Hadrons (LHC) et le futur HL-LHC nécessite des simulations de première principe extrêmement précises et rapides. Les méthodes d'apprentissage automatique (ML) sont devenues essentielles pour approximer les amplitudes de diffusion complexes (surrogates). Cependant, pour que ces modèles soient fiables, ils ne doivent pas seulement prédire la valeur moyenne de l'amplitude avec précision, mais aussi fournir des estimations d'incertitudes locales bien calibrées.

Le défi principal réside dans la distinction et la quantification correcte de deux types d'incertitudes :

• Incertitude systématique (ou épistémique) : Liée à la structure du modèle, aux biais de l'architecture ou aux lacunes dans la couverture des données.
• Incertitude statistique (ou aléatoire) : Liée au bruit des données d'entraînement ou à la variabilité des poids du réseau.

L'article vise à évaluer et améliorer trois méthodes principales pour apprendre ces incertitudes dans le contexte de la régression d'amplitudes : les ensembles répulsifs (Repulsive Ensembles - RE), la régression évidentielle (Evidential Regression - ER) et les réseaux de neurones bayésiens (BNN).

2. Méthodologie

Les auteurs utilisent comme banc d'essai l'amplitude carrée du processus de diffusion $gg \to \gamma\gamma g$ (induit par des boucles), générée avec SHERPA et la bibliothèque NJET.

A. Approches Comparées

1. Ensembles Répulsifs (RE) :

   • Entraîne un ensemble de réseaux de neurones avec une fonction de perte incluant un terme de répulsion (noyau RBF) pour éviter que les membres ne convergent vers le même minimum local.
   • L'incertitude statistique est estimée par la variance des prédictions des membres de l'ensemble, tandis que l'incertitude systématique est dérivée de la variance intrinsèque apprise par chaque membre (via une perte hétéroscédastique).
   • Problème identifié : Une miscalibration de l'incertitude systématique lorsque le biais du modèle domine le bruit des données.

2. Régression Évidentielle (ER) :

   • Méthode "sans échantillonnage" (sampling-free) qui place une distribution a priori (Normal-Inverse-Gamma) sur les paramètres de la vraisemblance de sortie (moyenne et variance).
   • Le réseau prédit directement les paramètres de cette distribution a priori, permettant de déduire analytiquement les incertitudes systématiques et statistiques en une seule passe avant.
   • Deux variantes sont testées : l'utilisation d'une perte de régularisation ou la contrainte directe des hyperparamètres ($2\alpha = \nu$).

3. Réseaux Bayésiens (BNN) :

   • Utilisés comme référence (benchmark) via l'inférence variationnelle, bien que moins détaillés dans cette étude spécifique que les deux autres méthodes.

B. Scénarios de Test

Les auteurs évaluent la robustesse des méthodes face à des perturbations localisées dans l'espace des phases, mimant des instabilités numériques réelles :

• Flou de seuil "plateau" (Flat-box) : Ajout de bruit gaussien dans une fenêtre d'invariant de masse spécifique.
• Flou de seuil "pic" (Peaked) : Le bruit augmente drastiquement à l'approche d'un seuil physique.
• Trou de données (Threshold gap) : Absence totale de données d'entraînement dans une région de l'espace des phases (gap).

3. Contributions Clés et Résultats

A. Analyse des Ensembles Répulsifs

• Impact du noyau répulsif : L'effet du paramètre de répulsion ($\beta$) est négligeable pour des ensembles de données d'entraînement suffisamment grands (>10% du dataset total).
• Biais et Expressivité : Les auteurs démontrent que les ensembles ne corrigent pas les biais systématiques inhérents à l'architecture du réseau (manque d'expressivité). Un biais persiste même en moyennant les membres de l'ensemble.
• Calibration de l'incertitude systématique : La méthode naive (moyenne simple des incertitudes des membres) miscalibre l'incertitude systématique lorsque le biais domine.
  • Solution proposée : Entraîner un réseau supplémentaire pour prédire directement une incertitude systématique globale ($\sigma_{syst}$) basée sur la moyenne de l'ensemble. Cela améliore la calibration pour les petits ensembles, mais révèle des biais résiduels (non-gaussiens) pour les grands ensembles.

B. Performance de la Régression Évidentielle

• Efficacité : L'ER offre une alternative très efficace aux ensembles, évitant le coût computationnel du multi-entraînement.
• Précision : Pour les données non bruitées, l'ER atteint une précision comparable aux ensembles et aux BNN ($\langle |\Delta| \rangle \sim 3 \cdot 10^{-5}$).
• Optimisation : La contrainte directe des paramètres ($2\alpha = \nu$) s'avère supérieure à l'utilisation d'une perte de régularisation supplémentaire pour briser la dégénérescence des paramètres.
• Calibration : L'ER fournit des incertitudes bien calibrées, bien qu'elle ait parfois du mal à capturer les bords très nets des zones de bruit (flou "plateau").

C. Défis Localisés (Bruit et Gaps)

• Identification du bruit local : Toutes les méthodes (RE, ER, BNN) réussissent à identifier les régions de bruit ajouté (flou de seuil) et à augmenter leurs incertitudes prédites dans ces zones.
  • Les Ensembles Répulsifs suivent le mieux la forme attendue de l'incertitude systématique.
  • Les BNN et l'ER offrent une meilleure calibration globale des incertitudes (pulls proches d'une Gaussienne unitaire).
• Gaps de données : Dans les régions sans données d'entraînement (trous), les réseaux maintiennent une bonne précision grâce à la capacité d'interpolation (l'amplitude étant plate dans cette région).
  • Les RE et les BNN augmentent correctement l'incertitude statistique dans le gap.
  • Les RE montrent une augmentation localisée de l'incertitude, tandis que les BNN montrent une augmentation plus globale.
  • L'ER prédit une incertitude plate, ce qui suggère une difficulté à distinguer les effets statistiques locaux dans ce scénario spécifique.

4. Signification et Conclusion

Cet article apporte des avancées cruciales pour l'utilisation de l'IA dans la physique des hautes énergies :

1. Limites des Ensembles : Il démontre que l'ensembling ne résout pas automatiquement les biais de modèle et que la calibration des incertitudes nécessite des ajustements spécifiques (comme l'apprentissage d'une incertitude systématique globale) pour éviter la miscalibration.
2. Alternative Efficace : La régression évidentielle est validée comme une méthode robuste, rapide et bien calibrée, capable de remplacer les ensembles coûteux dans de nombreux scénarios, tout en permettant de séparer les incertitudes statistiques et systématiques.
3. Robustesse aux Instabilités : Les méthodes modernes de régression d'amplitudes sont capables de détecter et de quantifier les instabilités numériques (bruit local, gaps de données), ce qui est essentiel pour la fiabilité des générateurs d'événements de nouvelle génération.

En résumé, l'étude fournit une boîte à outils améliorée pour les physiciens, guidant le choix entre la précision et le coût computationnel (Ensembles vs ER) tout en soulignant l'importance de la calibration des incertitudes pour valider les substituts ML dans les analyses de précision du LHC.