💻 computer science

Robust Score-Based Generative Modelling withTsallis–Gaussian Perturbations

Cet article propose un cadre de modélisation générative par score robuste utilisant des perturbations de Tsallis–Gaussian et une architecture neuronale à double tête afin d'atténuer efficacement l'impact des données à queue lourde et de la contamination tout en maintenant des performances génératives compétitives.

Auteurs originaux : Shenghan Gao, Spiridon Penev, Libo Li

Publié 2026-07-15

📖 8 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Shenghan Gao, Spiridon Penev, Libo Li

Article original sous licence CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à peindre des tableaux, à prédire les krachs boursiers ou à inventer de nouveaux composés chimiques. Le robot apprend en observant des exemples réels, mais il a une habitude délicate : il se laisse facilement déconcentrer par le « bruit » ou les valeurs aberrantes étranges. Si vous lui montrez l'image d'un chat avec un énorme carré violet brillant au milieu, un robot standard pourrait être tellement distrait par ce carré bizarre qu'il en oublierait totalement comment dessiner un chat.

Ce document présente une nouvelle façon d'enseigner à ces robots, appelée TSMLD (Tsallis Score-Based Generative Modelling with Langevin Dynamics). Considérez cela comme le fait de donner au robot une paire de « casques antibruit intelligents » et une « règle flexible » afin qu'il puisse apprendre à partir de données réelles désordonnées sans être déstabilisé par les éléments bizarres.

Le Problème : Le Piège « Gaussien »

La plupart des robots peintres actuels utilisent une méthode basée sur un bruit gaussien (ou courbe en cloche). Imaginez ce bruit comme une pluie douce et prévisible. Si une goutte touche le nez de votre robot, c'est un petit tapotement gérable. Mais dans le monde réel, les données ne sont pas toujours une pluie douce. Parfois, c'est une averse de grêle, ou soudainement, un énorme rocher qui dévale la colline.

Dans les données financières (comme les cours boursiers) ou les ensembles de données réels désordonnés, ces « rochers » sont appelés queues lourdes (heavy tails). Ce sont des événements rares et extrêmes — comme un marché qui chute de 20 % en un jour. Les robots gaussiens standards traitent ces énormes rochers comme de simples « grosses gouttes de pluie ». Parce que leur mathématiques sont linéaires, un énorme rocher fait perdre le contrôle au cerveau du robot, ce qui l'amène à tirer les mauvaises leçons. C'est comme essayer d'apprendre à faire du vélo pendant que quelqu'un vous lance des enclumes ; vous pourriez apprendre à esquiver les enclumes, mais vous n'apprendrez jamais à faire du vélo.

La Solution : L'Amélioration « Tsallis »

Les auteurs proposent de remplacer la pluie douce par des perturbations Tsallis-Gaussiennes.

1. Le Score Redescendant Borné (Les Casques Antibruit Intelligents)
Dans l'ancienne méthode, si le robot voyait une erreur énorme (un rocher), il hurlait : « ERREUR ! ERREUR ! » avec un volume infini. La nouvelle méthode utilise un score Tsallis qui est borné.

L'analogie : Imaginez que le signal d'erreur du robot est un bouton de volume. Dans l'ancien système, une grosse erreur tournait le bouton du volume au maximum et continuait de l'augmenter indéfiniment. Dans le nouveau système, il y a une limite physique sur le bouton du volume. Même si un rocher frappe le robot, le bruit qu'il entend plafonne à un niveau sûr.
Le résultat : Le robot ignore le volume hurlant des valeurs aberrantes extrêmes. Il traite un krach financier massif ou un pixel corrompu dans une image comme étant « bruyant, mais pas infini ». Cela l'empêche de surréagir aux événements extrêmes et rares.

2. Le Poids Adaptatif (Le Filtre Intelligent)
Le deuxième truc est un poids de rapport de densité.

L'analogie : Imaginez le robot dans une salle de classe. Si un élève (un point de donnée) est assis à un endroit où l'enseignant (le modèle) attend un élève, l'enseignant l'écoute attentivement. Mais si un élève apparaît à un endroit où personne n'est censé être (une valeur aberrante étrange et improbable), l'enseignant dit doucement : « D'accord, je te vois, mais je ne vais pas changer tout mon plan de cours à cause de toi ».
Le résultat : Le robot baisse automatiquement le volume sur les points de données qui semblent ne pas être à leur place, tout en gardant le volume élevé sur les données qui suivent le schéma. C'est ce qu'on appelle la robustesse au niveau de l'échantillon.

Ce que les Expériences Ont Montré

Les auteurs ont testé ce nouveau robot dans trois terrains de jeux différents :

1. Données Synthétiques (La Salle de Sport d'Entraînement)
Ils ont utilisé des données fictives avec des « corruptions » (comme le remplacement de caractéristiques aléatoires par du bruit pur).

Le constat : Lorsque les données étaient propres, le nouveau robot était aussi bon que l'ancien. Mais quand ils ont commencé à projeter du « bruit » sur lui (corrompant 20 %, 30 %, voire 50 % des données), le nouveau robot est resté calme.
Les chiffres : Sur un ensemble de données appelé HAR (Reconnaissance de l'Activité Humaine), lorsque 50 % des données étaient corrompues, la précision de l'ancien robot a chuté d'environ 20,60 %. Le nouveau robot (avec un réglage spécifique de $q=1,35$ ) n'a chuté que de 16,15 %. Il a bien mieux tenu sa position.

2. Images (Le Cours d'Art)
Ils ont appris au robot à dessiner des visages et des vêtements (MNIST, Fashion-MNIST, CIFAR-10).

Le constat : S'ils corrompaient les images d'entraînement en transformant des pixels aléatoires en noir ou blanc, le nouveau robot produisait des images beaucoup plus nettes.
Les chiffres : Sur Fashion-MNIST, lorsqu'ils ont corrompu 40 % des images d'entraînement, le score de qualité (FID) de l'ancien robot est monté à 9,69 (ce qui est moins bon). Le nouveau robot l'a maintenu à 6,77. Les images étaient moins « glitchées » et ressemblaient davantage à de vrais vêtements.

3. Données Financières (La Bourse)
C'est ici que les queues lourdes comptent le plus. Ils ont entraîné le robot sur des données boursières de 1990 à 2018 et lui ont demandé de prédire ce qui se passerait pendant la période de crise de 2020-2024.

Le constat : Les robots standards (et même certaines IA financières spécialisées comme les GAN) avaient tendance à sous-estimer la gravité d'un krach. Ils pensaient que le marché serait plus calme qu'il ne l'était réellement. Le nouveau robot, avec les bons réglages, a appris à s'attendre aux « rochers ».
Les chiffres : Pour le portefeuille FF48, le vrai marché avait un « Kurtosis » (une mesure de la grosseur des queues de distribution) de 12,6109.
- Le vieux robot gaussien prédisait 5,0742 (beaucoup trop calme).
- Le nouveau robot avec $q=1,5$ prédisait 11,3833 (bien plus proche de la réalité).
- Il a également obtenu une CVaR (une mesure de la perte dans le pire des cas) beaucoup plus proche de la valeur réelle de la crise, prédisant -4,4913 contre -3,0053 pour l'ancien robot.

Ce que le Papier Écarte (Les « Ne Pas Faire »)

Les auteurs sont très clairs sur ce qui ne fonctionne pas :

Changer seulement le bruit ne suffit pas : Si vous utilisez simplement le bruit à queue lourde mais conservez l'ancienne méthode « gaussienne » pour calculer la perte (les mathématiques qui disent au robot comment apprendre), cela échoue. Le robot pourrait apprendre les queues, mais il gâcherait les parties normales des données.
Changer seulement le poids ne suffit pas : Si vous gardez l'ancien bruit gaussien mais essayez d'ajouter le « pondération intelligente », cela échoue également. Le robot ne peut toujours pas générer les événements extrêmes (les « rochers ») car le bruit lui-même est trop doux.
Plus grand n'est pas toujours mieux : Ils ont découvert que si vous rendez le paramètre de « lourdeur de la queue » ( $q$ ) trop élevé (comme $q=1,6$ ), le robot commence à créer trop d'événements extrêmes, même quand il ne le devrait pas. C'est comme un robot qui penserait que chaque jour est un krach boursier. Le point idéal se situait généralement autour de $q=1,2$ à $q=1,5$ .

À quel point en sont-ils sûrs ?

Les auteurs ne prétendent pas avoir « résolu » l'IA générative. Ils suggèrent que cette méthode est une amélioration robuste.

Ils ont mesuré ces résultats sur des ensembles de données réels (HAR, CIFAR-10, FF48) et ont simulé des corruptions pour tester les limites.
Ils ont constaté que la méthode suggère un meilleur équilibre entre la gestion des événements extrêmes et la précision des données normales.
Ils admettent que pour les cas extrêmement extrêmes (où la variance est infinie), les mathématiques actuelles pourraient nécessiter plus d'ajustements, mais pour les tests effectués, cela a fonctionné.

Ce qu'il faut retenir

Ce papier suggère qu'en donnant à l'IA une façon « bornée » d'entendre les erreurs et un « filtre intelligent » pour ignorer les valeurs aberrantes étranges, nous pouvons construire des modèles qui ne s'effondrent pas quand le monde devient désordonné. Qu'il s'agisse d'un fichier d'image corrompu ou d'un krach boursier soudain, le nouveau robot TSMLD reste calme, apprend les bonnes leçons et ne se laisse pas distraire par le bruit. Ce n'est pas une solution miracle pour tout, mais pour le monde réel, complexe et à queues lourdes, c'est un outil bien plus robuste que les anciens.

Résumé Technique : Modélisation Générative Robuste par Score avec Perturbations de Tsallis–Gaussian

Énoncé du Problème

La modélisation générative basée sur le score, particulièrement le Score-Matching avec la Dynamique de Langevin (SMLD), repose fortement sur les perturbations gaussiennes pour définir l'objectif d'entraînement et la dynamique d'échantillonnage. Bien que les perturbations gaussiennes offrent une commodité analytique et un lien direct avec la divergence de Fisher, elles possèdent une limitation critique : la fonction de score conditionnelle est linéaire et non bornée par rapport au résidu de la perturbation ( $r = y - x$ ). Par conséquent, l'objectif standard de Denoising Score-Matching (DSM) est très sensible aux écarts importants, ce qui le rend non robuste face aux distributions de données à queues lourdes et à la contamination des données (ex. : bruit au niveau des caractéristiques ou corruption au niveau des échantillons).

Les tentatives existantes pour remédier à cela en substituant simplement le bruit gaussien par des alternatives à queues lourdes (ex. : dynamiques stables ou fractionnaires) échouent souvent à fournir un cadre statistiquement cohérent. Elles ne parviennent généralement pas à aligner la distribution de perturbation avec une divergence, une fonction de perte ou une procédure d'échantillonnage correspondante, laissant ainsi indéfinies les propriétés de robustesse de la cible d'entraînement. De plus, les données financières et les données tabulaires synthétiques présentent souvent des queues lourdes, un regroupement de la volatilité et des ruptures structurelles, nécessissant des modèles génératifs capables de capturer les événements extrêmes sans être déstabilisés par eux.

Méthodologie

Les auteurs proposent un cadre unifié, le Tsallis-Weighted SMLD (TSMLD), qui intègre des perturbations Tsallis–Gaussian (ou $q$ -Gaussian) avec la divergence de Tsallis Kullback–Leibler (KL). Le cadre est construit sur deux mécanismes de robustesse complémentaires :

1. Noyau de Perturbation Tsallis–Gaussian (Robustesse au niveau des caractéristiques)

Au lieu du bruit gaussien standard, le modèle injecte un bruit Tsallis–Gaussian. Pour un paramètre de déformation $q > 1$ , cette distribution présente des queues lourdes.

Score Borné : Le score conditionnel induit par le noyau Tsallis–Gaussian, $\nabla_y \log p_j(y|x)$ , est borné et redescendant par rapport au résidu $r$ . Contrairement au score gaussien linéaire, le score de Tsallis décroît vers zéro pour les résidus importants.
Effet : Cela limite l'influence des écarts extrêmes des caractéristiques lors de l'entraînement, empênant les valeurs aberrantes (outliers) de dominer les mises à jour de gradient.

2. Pondération de Tsallis via la Divergence Tsallis KL (Robustesse au niveau des échantillons)

L'objectif d'entraînement est dérivé de la variation du premier ordre de la divergence Tsallis KL, conduisant à un objectif de score-matching explicite (ESM) pondéré :
$\mathcal{L} \propto \mathbb{E} \left[ \omega_{q,j}(Y) \| \nabla_Y \log p_\theta(Y) - \nabla_Y \log p_j(Y) \|_2^2 \right]$
où le poids est défini par $\omega_{q,j}(y) = (p_j(y) / p_\theta(y))^{1-q}$ .

Mécanisme : Lorsque $q > 1$ , les observations pour lesquelles le modèle assigne une faible probabilité par rapport aux données (faible rapport de densité) reçoivent des poids réduits.
Effet : Cela atténue l'influence des échantillons mal supportés ou contaminés au niveau de l'échantillon, améliorant la robustesse contre les changements de distribution et les valeurs aberrantes.

Implémentation : Architecture à Double Tête (Dual-Head)

Puisque les poids théoriques dépendent de rapports de densité inconnus, les auteurs proposent une implémentation pratique utilisant un réseau de neurones à double tête basé sur les réseaux de scores conditionnels par bruit (NCSN) :

Tête Primaire : Estime le score ordinaire $\nabla \log p_\theta$ pour l'échantillonnage.
Tête Auxiliaire : Estime une transformation scalaire ou vectorielle pour approximer le facteur de puissance de densité $p_\theta^{1-q}$ , permettant le calcul du poids de Tsallis sans estimation explicite de la densité.

Stabilisation : L'implémentation utilise une normalisation par mini-lots dans le domaine logarithmique, un calendrier de préchauffage (warm-up) pour les poids, et une opération de blocage de gradient (stop-gradient) pour empêcher le réseau d'optimiser les poids afin de minimiser la perte plutôt que l'erreur de score.

Échantillonnage

L'échantillonnage est réalisé via une dynamique de Langevin avec bruit de Tsallis recuit (annealed). L'échantillonneur parcourt une échelle de bruit $\sigma_1 > \dots > \sigma_J$ , utilisant le score ordinaire appris pour la dérive (drift) et le bruit Tsallis–Gaussian pour le terme stochastique. Cela permet une exploration plus large de l'espace d'états, particulièrement à des niveaux de bruit élevés, comparé aux dynamiques de Langevin gaussiennes standard.

Contributions Clés

Cadre Unifié : L'article formule le premier cadre d'échantillonnage par score qui aligne conjointement une famille de perturbations à queues lourdes (Tsallis–Gaussian) avec une divergence correspondante (Tsallis KL) et une fonction d'objectif pondérée.
Double Mécanisme de Robustesse : Il établit théoriquement et empiriquement que la robustesse est obtenue par :
- Robustesse au niveau des caractéristiques : Un score conditionnel borné et redescendant qui amortit les écarts extrêmes par coordonnée.
- Robustesse au niveau des échantillons : Une pondération adaptative du rapport de densité qui atténue l'influence des observations mal appariées.
Architecture Neuronale Pratique : Une implémentation à double tête qui approxime les poids de Tsallis dans des dimensions élevées sans estimation explicite de densité, compatible avec les pipelines SMLD existants.
Validation Empirique : Des expériences approfondies sur des jeux de données synthétiques, financiers et d'images démontrant une robustesse améliorée sous contamination et dans des régimes à queues lourdes tout en maintenant des performances génératives compétitives.

Résultats

Données Synthétiques et Tabulaires

Performance : Sur les tâches de classification (HAR, ISOLET, Spambase) et de régression (Superconductivity, Communities and Crime, Wave Energy), le TSMLD (avec un $q$ modéré $\approx 1.2$ ) surpasse systématiquement le SMLD standard et d'autres bases (CTGAN, TVAE, TabDDPM) en termes d'utilité en aval (TSTR) et de fidélité de distribution (MMD).
Robustesse : Sous une corruption des caractéristiques et des échantillons (jusqu'à 50 % de bruit), le TSMLD présente une stabilité nettement supérieure au SMLD standard et aux générateurs tabulaires. Il préserve mieux la structure pertinente de la tâche, montrant une dégradation moindre des performances en précision et en métriques de régression.

Génération d'Images

Qualité : Sur MNIST, Fashion-MNIST et CIFAR-10, le TSMLD atteint des scores FID (Fréchet Inception Distance) compétitifs ou supérieurs par rapport au SMLD standard et à d'autres modèles de diffusion à queues lourdes (LIM, DLPM).
Robustesse : Sous une corruption des pixels et des images, le TSMLD démontre une résilience supérieure. Les images générées contiennent moins d'artefacts et maintiennent mieux la cohérence sémantique que les modèles de référence lorsqu'ils sont entraînés sur des données contaminées.

Séries Temporelles Financières

Faits Stylisés : Le TSMLD récupère mieux les faits stylisés financiers, incluant l'épaisseur des queues (kurtosis), le risque de baisse (VaR, CVaR) et la dépendance au mode de marché (valeurs propres des matrices de corrélation), comparativement aux bases GAN (TimeGAN, TailGAN) et de diffusion.
Régimes de Stress : Lors de diagnostics hors distribution (période de crise 2020–2024), le TSMLD avec $q=1.5$ génère des scénarios présentant un comportement de queue réaliste et des dynamiques de période de crise, là où les modèles SMLD gaussiens et les GAN ont tendance à sous-estimer le risque de queue.
Résultats d'Ablation :
- Perturbation de Tsallis : La perturbation de Tsallis est le principal moteur de la récupération du comportement de queue en période de stress.
- Poids de Tsallis : La pondération adaptative est cruciale pour calibrer le modèle dans les régimes calmes, évitant la sur-amplification des queues durant les périodes de faible volatilité.
- Synergie : Ni composante seule n'est suffisante ; le modèle complet TSMLD combine l'exploration à queues lourdes avec un calibrage adaptatif au niveau de l'échantillon.

Signification et Revendications

L'article affirme que le cadre proposé offre une approche statistiquement alignée de la modélisation générative robuste. Il soutient que changer simplement la distribution du bruit est insuffisant ; un cadre cohérent doit aligner la perturbation, la divergence et les dynamiques d'échantillonnage.

Les auteurs positionnent leur travail comme une étape significative vers des modèles génératifs robustes aux données à queues lourdes et à la contamination, qui sont prévalentes dans les applications financières et la génération de données synthétiques. Ils soulignent que la méthode offre un « compromis favorable » entre la fidélité de la distribution et l'utilité en aval, particulièrement dans les régimes de forte corruption où les méthodes standard échouent.

L'article reste modeste dans ses revendications théoriques :

Il reconnaît que la convergence du échantillonneur de Langevin à bruit de Tsallis n'est actuellement prouvée que pour le régime à variance finie ( $1 < q < 5/3$ ).
Il note que les termes « robustesse au niveau des caractéristiques » et « robustesse au niveau des échantillons » sont des étiquettes descriptives pour les effets observés plutôt que des analogues directs de la robustesse classique basée sur les fonctions d'influence, car la formulation des fonctions d'influence au sein de la modélisation de score est une question ouverte.
Il suggère que des travaux futurs sont nécessaires pour développer des règles adaptatives aux données pour la sélection de $q$ et pour étendre le cadre aux régimes à variance infinie via la régularisation.

En résumé, l'article présente le TSMLD comme une alternative robuste et unifiée au SMLD gaussien, particulièrement efficace pour les domaines où les événements extrêmes et la contamination des données sont des préoccupations critiques.