⚛️ high-energy experiments

SysVar: Consistent and scalable treatment of systematic uncertainties in template-based analyses

Cet article présente SysVar, une bibliothèque Python open-source et agnostique à l'expérience qui simplifie le traitement scalable et cohérent des incertitudes systématiques dans les analyses basées sur des modèles en automatisant la propagation des poids de correction et en préservant les corrélations par des variations propres orthogonales.

Auteurs originaux : Ilias Tsaklidis, Agrim Aggarwal, Georgios Alexandris, Tristan Fillinger, Giacomo De Pietro, Daniel Ivanov, Melisa-Melek Akdag, Markus Prim, Florian Bernlochner

Publié 2026-10-06

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ilias Tsaklidis, Agrim Aggarwal, Georgios Alexandris, Tristan Fillinger, Giacomo De Pietro, Daniel Ivanov, Melisa-Melek Akdag, Markus Prim, Florian Bernlochner

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Dans le monde de la physique des hautes énergies, les scientifiques agissent comme des détectives cosmiques, tentant de comprendre les blocs fondamentaux de l'univers en faisant s'entrechoquer des particules à des vitesses incroyables. Lorsque ces collisions se produisent, elles génèrent un jet chaotique de nouvelles particules que les détecteurs enregistrent sous forme de données brutes. Pour donner un sens à tout cela, les chercheurs comparent ce qu'ils observent à des simulations informatiques de processus physiques connus. Cependant, ces simulations ne sont jamais parfaites ; elles nécessitent des ajustements, ou « corrections », pour correspondre au monde réel. Ces ajustements comportent leurs propres incertitudes, semblables à la marge d'erreur d'une règle. Le défi surgit lorsque les scientifiques tentent de combiner les résultats de différentes expériences ou de différents types de mesures. S'ils ignorent la manière dont ces incertitudes sont liées, ou s'ils supposent qu'elles sont totalement indépendantes, la fresque finale de l'univers qu'ils peignent peut être subtilement déformée, menant à des conclusions erronées sur les lois de la nature.

Une équipe de chercheurs a développé un nouvel outil appelé SysVar pour résoudre ce problème spécifique. Leur travail traite d'une complexité cachée dans la façon dont les scientifiques gèrent le caractère « flou » de leurs données. Lorsqu'une correction est appliquée à une simulation, elle ne se contente pas de déplacer le nombre total d'événements vers le haut ou vers le bas ; elle modifie la forme de la distribution des données de manières qui sont souvent connectées entre différentes parties de la mesure. Par exemple, si une correction est basée sur la quantité de mouvement d'une particule, l'incertitude de cette correction pourrait affecter les parties à faible et haute quantité de mouvement des données de manière liée et corrélée. Les méthodes traditionnelles forcent souvent les scientifiques à traiter ces incertitudes soit comme totalement liées, soit comme totalement distinctes, une simplification qui peut introduire des erreurs. SysVar offre un moyen de préserver les connexions réelles et complexes entre ces incertitudes lorsqu'elles passent des corrections initiales aux modèles de données finaux utilisés pour l'analyse.

Les chercheurs ont démontré la puissance de cette approche en utilisant un ensemble de données synthétiques conçu pour imiter une désintégration de particule générique. Dans cette simulation, chaque événement s'est vu attribuer un poids basé sur une mesure de calibration effectuée dans des compartiments (bins) spécifiques. L'équipe a introduit une corrélation connue entre les incertitudes de ces compartiments de calibration, un scénario réaliste où les erreurs dans une partie de la mesure sont statistiquement liées aux erreurs dans une autre. Lorsqu'ils ont propagé ces incertitudes à travers le système, ils ont constaté que la structure de corrélation résultante dans les données finales était incroyablement complexe et dense. Il ne s'agissait pas d'un schéma simple qui pourrait être décrit en supposant que tout était entièrement connecté ou entièrement indépendant. Au lieu de cela, l'incertitude créait un réseau de relations qui traversait différents types de particules et différentes régions des données.

Pour gérer cette complexité, SysVar utilise une méthode d'échantillonnage. Au lieu d'essayer d'écrire une formule unique pour la façon dont les incertitudes interagissent, l'outil génère des milliers de versions légèrement différentes des données, chacune reflétant une variation possible des incertitudes tout en respectant leurs corrélations connues. En comparant ces milliers de variations, l'outil construit une carte complète de la façon dont les points de données sont liés les uns aux autres. Il utilise ensuite une technique mathématique pour compresser cette carte massive en un petit ensemble de motifs indépendants, appelés eigenvariations. Chacun de ces motifs représente une façon distincte dont les données peuvent varier, et ils peuvent être injectés directement dans les logiciels d'analyse standards en tant que « paramètres de nuisance », qui sont des variables prenant en compte les erreurs systématiques. Cela permet à l'ajustement statistique final de prendre naturellement en compte la nature complexe et corrélée des incertitudes sans que le scientifique n'ait à suivre manuellement chaque connexion.

L'impact de cette méthode devient plus clair lors de la combinaison de résultats provenant de différentes expériences. Les auteurs ont créé un scénario où deux mesures indépendantes, similaires à celles effectuées par les expériences Belle II et LHCb, étaient combinées pour étudier le comportement des particules. Dans une approche conventionnelle, les scientifiques analyseraient chaque expérience séparément, puis feraient la moyenne des résultats, en supposant que les incertitudes partagées sont entièrement liées. Cependant, lorsqu'ils ont utilisé SysVar pour propager l'incertitude partagée à travers les formes réelles des modèles de données, le résultat combiné a changé. La valeur centrale de la mesure s'est déplacée d'un montant faible mais significatif, environ quatre pour cent dans un ratio spécifique. Ce décalage s'est produit parce que l'incertitude partagée agissait sur la forme des données dans les deux expériences simultanément, permettant aux données d'une expérience de contraindre l'autre d'une manière qu'une simple moyenne ne pouvait capturer.

Cette découverte suggère que la façon dont les scientifiques combinent actuellement les mesures pourrait omettre des informations subtiles mais importantes. L'étude montre que traiter les incertitudes partagées comme une simple corrélation entre les chiffres finaux n'est pas la même chose que de laisser cette incertitude influencer la structure détaillée des données tout au long de l'analyse. Bien que le décalage spécifique observé dans cette simulation dépende du jeu de données particulier utilisé, la différence entre les deux méthodes prouve qu'elles ne sont pas équivalentes. La nouvelle approche remplace une hypothèse rigide par un modèle flexible sur lequel les données elles-mêmes peuvent agir, menant à une compréhension plus cohérente et précise des processus physiques étudiés.

L'outil est conçu pour être léger et accessible, fonctionnant avec des formats de données standards et ne nécessitant aucune connaissance spécialisée des mathématiques sous-jacentes pour être utilisé. Il effectue l'essentiel du travail de gestion de données, permettant aux chercheurs de définir leur analyse via un simple fichier de configuration plutôt que d'écrire un code complexe. En termes de performance, le processus ne prend que quelques minutes sur un seul cœur de processeur pour des jeux de données réalistes, consommant une quantité de mémoire gérable. Les chercheurs notent que la principale limitation n'est pas la taille de l'échantillon de données, mais le nombre de compartiments utilisés pour organiser les données, bien que la méthode de compression de l'outil maintienne le nombre final de variables suffisamment réduit pour que les logiciels d'analyse standards puissent les traiter efficacement.

À l'avenir, les développeurs prévoient de perfectionner l'outil, notamment en modifiant l'endroit où la compression mathématique a lieu pour le rendre encore plus rapide. Ils ont également l'intention d'étendre ses capacités visuelles, permettant aux scientifiques d'inspecter chaque étape du processus pour garantir la transparence. Bien que l'outil ait été développé avec l'expérience Belle II à l'esprit, sa conception est universelle, ce qui le rend adapté à toute expérience nécessitant de combiner les données de manière cohérente. En veillant à ce que les liens subtils entre les incertitudes soient préservés, Sys-Var aide les scientifiques à construire une image plus claire et plus précise de l'univers, où les connexions entre les différentes pièces de preuves sont respectées plutôt que simplifiées.

Résumé technique de SysVar : un traitement cohérent et évolutif des incertitudes systématiques

Énoncé du problème
Dans les analyses basées sur des modèles (templates) en physique des hautes énergies, les données observées sont généralement modélées comme un mélange de processus physiques isolés via des ajustements de modèles contre des simulations. Ces simulations sont repondérées à l'aide de facteurs de correction (par exemple, pour l'efficacité ou la résolution) mesurés dans des bacs (bins) de variables auxiliaires. Un défi critique surgit lors de la propagation des incertitudes systématiques de ces corrections dans les modèles finaux d'extraction du signal.

Les cadres standards basés sur le modèle HistFactory (par exemple, pyhf) supportent des paramètres de nuisance qui sont soit entièrement corrélés, soit entièrement non corrélés entre les bacs de la variable d'extraction du signal. Cependant, ils ne peuvent pas gérer nativement les corrélations partielles. En pratique, les corrections induisent souvent des structures de corrélation complexes et denses à travers les bacs des modèles, qui ne sont ni totalement corrélées ni totalement non corrélées. La solution de contournement conventionnelle — traiter ces corrélations comme soit totalement présentes, soit absentes — peut introduire des biais. De plus, la décomposition manuelle des corrélations partielles en paramètres de nuisance supportés devient impraticable à mesure que le nombre de corrections, de canaux et de modèles augmente, nécessitant aux analystes de suivre quelle correction agit sur quel bac et de combiner les sources en une seule matrice de covariance.

Méthodologie
SysVar répond à cela en automatisant la propagation des incertitudes de correction tout en préservant leurs corrélations via un flux de travail d'échantillonnage et de compression en quatre étapes :

Échantillonnage : Toutes les sources d'incertitude agissant sur une correction sont agrégées dans une matrice de covariance unique. SysVar tire $N_v$ variations corrélées (toys) d'une distribution gaussienne multivariée définie par cette matrice. Crucialement, si plusieurs objets dans un même événement partagent une correction (par exemple, deux leptons ayant la même efficacité d'identification), la même variation est appliquée à tous, préservant ainsi les corrélations intra-événement.
Construction de la covariance : Pour chaque variation, les modèles sont re-histogrammés. Le décalage du contenu de chaque bac par rapport à la moyenne à travers toutes les variations est calculé. Ces décalages sont utilisés pour construire une matrice de covariance globale ( $C_{syst}$ ) couvrant l'ensemble de l'espace d'analyse (canaux, modèles et bacs), plutôt que de générer des matrices séparées par modèle.
Changement de base (décomposition en valeurs propres) : Puisque les cadres d'ajustement ne peuvent pas utiliser directement une matrice de covariance dense, SysVar diagonalise $C_{syst}$ via une décomposition en valeurs propres ( $C_{syst} = VUV^T$ ). Cette transformation convertit la covariance en un ensemble de variations propres orthogonales. Chaque variation propre représente un décalage cohérent et entièrement corrélé de chaque bac, définissant ainsi un paramètre de nuisance de forme ordinaire.
Troncation : Pour éviter que le nombre de paramètres de nuisance n'égale le nombre total de bacs des modèles, SysVar ne conserve que les variations propres correspondant aux plus grandes valeurs propres. Le seuil de troncature est déterminé en surveillant l'erreur relative maximale de la covariance reconstruite par rapport à l'originale, en s'arrêtant lorsque cette erreur descend en dessous d'une précision définie par l'utilisateur. Cela garantit que l'ensemble conservé reproduit la structure de covariance originale avec une précision spécifiée.

Le résultat consiste en des décalages de modèles « haut » (up) et « bas » (down) pour chaque variation propre conservée, formatés pour être directement ingérés par des outils d'ajustement comme cabinetry et pyhf.

Contributions clés

Propagation automatisée des corrélations : SysVar fournit une API légère qui gère la comptabilité de l'application des poids de correction, la construction des variations systématiques et l'histogrammation des modèles nominaux et variés, réduisant ainsi les flux de travail manuels sujets aux erreurs.
Gestion des corrélations partielles : En compressant la pleine covariance en variations propres orthogonales, SysVar permet aux cadres d'ajustement de modéliser des corrélations partielles qui se situent entre les extrêmes de « totalement corrélé » et « totalement non corrélé ».
Flux de travail déclaratif : Les analyses sont définies via des objets de configuration (Python, YAML ou JSON) plutôt que par du code procédural. Cela permet une inclusion/exclusion facile des corrections dans des canaux spécifiques et garantit que toutes les étapes intermédiaires (covariance, variations propres, modèles individuels) restent inspectables.
Conception agnostique vis-à-vis de l'expérience : Bien que développé pour Belle II, le package n'est pas lié à une expérience spécifique et est conçu pour être installable via pip et compatible avec les formats de données standards de la physique des hautes énergies.

Résultats
L'article démontre l'impact de SysVar à travers deux exemples principaux :

Jeu de données synthétiques : Une désintégration fictive $X \to YZ$ illustre comment une correction avec des bacs partiellement corrélés dans une variable auxiliaire induit une matrice de corrélation dense et non universelle à travers les bacs de l'observable de l'ajustement. L'article montre que traiter ces éléments comme non corrélés est incorrect, car les corrélations induites peuvent être importantes et positives même lorsque la corrélation d'entrée est nulle.
Combinaison de pseudo-mesures : Une combinaison de pseudo-mesures pour les rapports de l'universalité du goût des leptons ( $R(D)$ $R (D)$ et $R(D^*)$ $R (D^{*})$ ) de Belle II et LHCb a été réalisée.
- Approche conventionnelle : Les expériences sont ajustées séparément et les résultats sont moyennés, en supposant que les incertitudes systématiques partagées sont totalement corrélées entre les incertitudes finales.
- Approche SysVar : Un ajustement simultané est effectué où l'incertitude partagée est propagée à travers les formes des modèles via les variations propres.
- Résultat : L'ajustement combiné utilisant SysVar a produit une valeur centrale pour $R(D^*)$ environ 0,4 $\sigma$ plus basse que la moyenne post-ajustement conventionnelle. Ce décalage se produit car la propagation de l'incertitude à travers les formes permet à l'ajustement d'utiliser la corrélation pour contraindre les rendements de signal entre les expériences, alors que la méthode conventionnelle ne corrèle que les tailles d'erreurs finales.

Signification et revendications
Les auteurs affirment que SysVar offre une solution rigoureuse à un goulot d'étranglement croissant dans les mesures de précision : le traitement cohérent des incertitudes systématiques dans les analyses à grande échelle et multi-canaux. L'article souligne que :

La propagation des sources systématiques partagées à travers les formes des modèles, plutôt que simplement les incertitudes finales, est une décision de modélisation qui peut déplacer les valeurs centrales combinées.
La méthode est informatiquement réalisable, s'exécutant en quelques minutes sur un seul cœur pour des analyses réalistes, avec une utilisation de la mémoire évoluant linéairement avec la taille de l'échantillon.
La principale limitation est la dimensionnalité de l'espace des modèles (affectant le coût en $O(d^3)$ de la diagonalisation), ce qui est atténué par la stratégie de troncation.
Les travaux futurs se concentreront sur l'exécution de la décomposition en valeurs propres dans le plus petit espace des poids de correction plutôt que dans le grand espace des modèles afin de réduire davantage les coûts de calcul, et sur l'extension de l'API pour la parallélisation et la visualisation.

L'article conclut que SysVar permet aux analystes de remplacer les approximations ad hoc par un cadre cohérent, inspectable et évolutif pour la gestion des incertitudes systématiques, particulièrement dans les scénarios de combinaison de mesures indépendantes partageant des sources systématiques.

Articles similaires