Résumé Technique : Définition d'une résolution minimale pour les analyses non binned

Énoncé du Problème

Les analyses de collisionneurs de haute énergie (HEP) s'appuient de plus en plus sur des modèles d'apprentissage automatique (ML) pour estimer les processus de fond dans des espaces de caractéristiques multidimensionnels et non binned (sans regroupement). Bien que ces techniques améliorent la puissance statistique, elles introduisent une vulnérabilité critique : la spécification erronée du modèle de fond.

Lorsque le modèle de fond $p(x|\theta_b)$, qu'il soit issu de données ou de simulations, ne correspond pas parfaitement au vrai fond $p_{true}(x)$, cela peut entraîner des biais systématiques. Plus précisément, si le modèle sous-estime la densité de probabilité dans les régions où le signal et le fond se chevauchent (souvent en raison d'artefacts d'entraînement ou de biais architecturaux qui font « déborder » la densité vers les queues de distribution), le rapport de vraisemblance signal-sur-fond est surestimé. Cela conduit à une surestimation fallacieuse de l'intensité du signal ($\hat{\mu}_s$), pouvant mener à de fausses découvertes. Quantifier et corriger ces biais est difficile car ils sont souvent non gaussiens, difficiles à paramétrer et dépendent de la distribution d'entraînement spécifique du modèle ML.

Méthodologie : Vraisemblance à Résolution Minimale (MRL)

Le papier propose la méthode de la Vraisemblance à Résolution Minimale (Minimum Resolution Likelihood - MRL) comme une solution conservatrice pour atténuer la surestimation du signal causée par une mauvaise modélisation du fond. La philosophie centrale est de troquer les incertitudes systématiques contre des incertitudes statistiques en définissant une Région Fiduciale de Signal (FSR) qui exclut les régions où le modèle de fond n'est pas fiable.

La méthodologie procède comme suit :

1. Région de Calibration : Une région contenant uniquement du fond (ou une distribution plus proche du vrai fond que le modèle) est requise. Cette région est utilisée pour valider le modèle de fond.
2. Comparaison de Volume de Vraisemblance : La méthode compare la distribution cumulative des valeurs de vraisemblance du modèle de fond, $L = p(x|\theta_b)$, entre :
   • Des échantillons générés par le modèle de fond (Toys).
   • Des échantillons de la Région de Calibration (représentant le vrai fond).
3. Détermination de $L_{min}$ : Un seuil de vraisemblance critique, $L_{min}$, est défini comme la valeur où le décalage entre la fonction de survie prédite par le modèle et la fonction de survie du vrai fond est maximal :
   $$L_{min} \equiv \arg \max_{L_c} | f(L_c | \theta_b) - f(L_c | true_b) |$$
   où $f(L_c)$ est la fraction d'événements ayant une vraisemblance supérieure à $L_c$.
   • Interprétation : $L_{min}$ correspond au « point de croisement » où le modèle de fond passe d'une sous-estimation à une surestimation de la densité de fond. Les événements ayant des vraisemblances inférieures à ce seuil sont considérés comme peu fiables.
4. Région Fiduciale de Signal (FSR) : Les événements dans la Région de Signal ayant $p(x|\theta_b) < L_{min}$ sont écartés. L'analyse statistique est ensuite effectuée uniquement sur les événements restants.
5. Vraisemblance Modifiée : La fonction de vraisemblance étendue est redéfinie pour inclure des termes d'efficacité ($\epsilon$) qui tiennent compte de la fraction de signal et de fond conservés dans la FSR. Ces efficacités sont estimées à l'aide de la Région de Calibration et de simulations (toys).

Contributions Clés

• Définition de la MRL : Une prescription formelle pour définir un cut de données (data-driven cut) ($L_{min}$) qui isole la région où le modèle de fond est digne de confiance, convertissant efficacement les biais systématiques non quantifiables en incertitudes statistiques dues à la réduction de la taille de l'échantillon.
• Justification Théorique : Le papier démontre que $L_{min}$ correspond mathématiquement au point de croisement entre les régions où le modèle sous-estime et surestime le fond, fournissant un critère d'exclusion robuste.
• Intégration avec les Paramètres de Nuisance : Le cadre accepte les paramètres de nuisance (ex: incertitudes de forme) en repondérant la vraisemblance, permettant le profilage même après l'application du cut FSR.
• Utilité Diagnostique : La méthode sert d'outil de diagnostic pour identifier quand le biais d'un modèle est assez important pour invalider une analyse, imposant une estimation conservatrice (compatible avec zéro) plutôt qu'une découverte biaisée.

Résultats

Les auteurs valident la méthode MRL à l'aide de deux exemples de type "toy" et d'une application réaliste à la recherche de di-Higgs utilisant la technique HI-SIGMA.

Exemples de Type "Toy"

1. Cas Gaussien 1D :
   • Lorsque l'écart-type du modèle de fond était mal spécifié, un ajustement standard surestimait significativement l'intensité du signal.
   • L'application de la MRL a réduit ce biais, produisant des estimations de l'intensité du signal cohérentes avec la valeur réelle (ou zéro pour les signaux faibles), bien qu'avec une incertitude accrue due à la réduction du nombre d'événements.
   • Les tests de couverture ont montré que si l'ajustement biaisé ne couvrait pas le paramètre réel, l'ajustement corrigé par la MRL restaurait la couverture pour les signaux modérés à importants, bien qu'il reste conservateur pour les signaux très faibles.
2. Cas Exponentiel/Gaussien 2D :
   • Dans un scénario 2D mimant la cinématique du di-Higgs, le modèle biaisé a de nouveau conduit à une surestimation significative du signal.
   • La MRL a corrigé avec succès le biais pour différentes intensités de signal. Cependant, pour les scénarios de signal « rares » (faible statistique), la méthode est devenue très conservatrice, résultant souvent en des estimations cohérentes avec zéro et une sous-couverture, soulignant le compromis entre l'élimination du biais et la puissance statistique.

Application Réelle : HI-SIGMA (Recherche de Di-Higgs)

• La méthode a été appliquée à un jeu de données di-higgs ($hh \to b\bar{b}\gamma\gamma$) utilisant des flux normaux conditionnels (cNF) pour l'estimation du fond.
• Sans Masquage : L'application initiale de la MRL sans masquage de la zone latérale (sideband masking) a entraîné un cut trop conservateur qui supprimait la plupart des événements de signal, entraînant de grandes incertitudes et une perte de sensibilité.
• Avec Masquage : Combinée à une technique de masquage de la zone latérale (précédemment démontrée comme améliorant HI-SIGMA), la MRL a efficacement supprimé les régions problématiques de la zone latérale. L'ajustement résultant était non biaisé (ou cohérent avec zéro) avec des incertitudes plus petites qu'un ajustement basé uniquement sur la masse, bien que plus grandes que le fit HI-SIGMA standard.
• Pseudo-expériences : Dans un ensemble limité de pseudo-expériences, la MRL a systématiquement empêché les fausses découvertes dans les régimes de faible signal, forçant l'estimation de l'intensité du signal à être cohérente avec zéro lorsque le biais du fond était trop sévère pour être fiable.

Signification et Revendications

Le papier affirme que la MRL offre un « pansement » conservateur pour les analyses non binned de haute dimension où les modèles de fond sont imparfaits. Sa principale importance réside dans :

1. Atténuation du Biais : Elle empêche le scénario dangereux de fausses découvertes de signaux causées par la sous-estimation du fond dans la région de signal.
2. Compromis d'Incertitude : Elle échange explicitement le biais systématique du modèle contre l'incertitude statistique (réduction des statistiques effectives), un compromis que les auteurs considèrent préférable aux erreurs systématiques non quantifiées.
3. Puissance Diagnostique : Elle fournit une métrique quantitative ($L_{min}$ et la différence de fraction associée) pour évaluer la fiabilité d'un modèle de fond avant de tirer des conclusions physiques.

Les auteurs restent modestes quant à la portée de la méthode, notant qu'elle n'est pas une solution « ultime ». Ils reconnaissent que pour des intensités de signal très faibles, la méthode peut être trop conservatrice, pouvant masquer de vrais signaux. Ils suggèrent que les travaux futurs pourraient explorer des coupes plus douces (masquage) plutôt que des exclusions strictes, et des tests supplémentaires avec des statistiques plus élevées pour affiner la définition de $L_{min}$. La méthode est envisagée comme applicable non seulement aux fonds dérivés de données, mais aussi comme diagnostic pour l'inférence basée sur la simulation (SBI) et les tâches de détection d'anomalies.