🤖 machine learning

Harpoon: Generalised Manifold Guidance for Conditional Tabular Diffusion

Cet article introduit HARPOON, une méthode de guidage par variété généralisée pour la diffusion tabulaire conditionnelle qui étend la théorie des variétés aux données discrètes et à divers objectifs d'inférence, permettant la génération d'échantillons satisfaisant des contraintes spécifiques sans nécessiter de réentraînement.

Auteurs originaux : Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Publié 2026-06-05

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez d'apprendre à un robot à dessiner des portraits de personnes. Vous voulez que le robot crée des visages réalistes, mais vous voulez aussi lui donner des instructions spécifiques, comme « fais porter un chapeau à la personne » ou « assure-toi que la personne porte une chemise rouge ».

Dans le monde des données, les « données tabulaires » sont comme un immense tableur avec des lignes et des colonnes (par exemple, Âge, Revenu, Intitulé du poste). Créer des feuilles de calcul réalistes qui suivent des règles spécifiques est difficile. Si vous demandez simplement à une IA standard de remplir des chiffres manquants ou de suivre une règle telle que « l'âge doit être supérieur à 18 », elle se confond souvent. Elle pourrait créer une personne de 150 ans, ou elle pourrait briser la logique interne des données (comme une personne ayant un emploi mais aucun revenu).

Ce document présente une nouvelle méthode appelée HARPOON pour résoudre ce problème. Voici comment cela fonctionne, expliqué simplement :

1. Le Problème : Le Robot « Hors Piste »

Les modèles d'IA actuels pour les feuilles de calcul sont comme un robot qui a mémorisé un ensemble spécifique de règles pendant son entraînement. Si vous lui demandez de faire quelque chose qu'il n'a pas vu auparavant (comme une nouvelle sorte de contrainte), il s'égare.

L'Ancienne Méthode : Si vous voulez qu'un robot suive une nouvelle règle, vous devez souvent l'arrêter, réentraîner le robot de zéro, ou utiliser une méthode maladroite de « rejet » où vous générez des milliers de mauvaises images et les jetez jusqu'à en trouver une qui convient. C'est lent et inefficace.
Le Problème des « Variétés » (Manifolds) : Les scientifiques savent que les données réelles (comme les vraies personnes) n'existent pas de manière aléatoire dans un nuage chaotique. Elles existent sur une forme spécifique et lisse (comme une feuille de papier courbe flottant dans un espace 3D). Cette forme est appelée une variété (ou manifold). Si vous forcez le robot à dessiner quelque chose qui ne correspond pas à cette feuille, le résultat semble faux et brisé. Les méthodes précédentes pouvaient maintenir le robot sur la feuille, mais seulement pour des choses simples et continues (comme des lignes lisses), pas pour des feuilles de calcul désordonnées avec des catégories (comme « Homme/Femme » ou « Rouge/Bleu »).

2. La Solution : Le « Harpon »

Les auteurs ont réalisé que le modèle d'IA qu'ils utilisent (un « modèle de diffusion ») est en fait très doué pour comprendre cette forme cachée, même si on ne lui a pas explicitement appris.

L'analogie du Navire et du Courant :
Imaginez que l'IA est un navire tentant de naviguer d'un océan agité (bruit aléatoire) vers un port calme (une feuille de calcul réaliste).

La Carte (La Variété) : Le port est construit sur un littoral spécifique et incurvé. Si le navire tente de naviguer en ligne droite vers la destination mais ignore le littoral, il sera projeté contre les rochers (créant des données irréalistes).
La Boussole (Le Modèle) : Le modèle d'IA agit comme une boussole qui pointe toujours vers le point le plus proche sur le littoral.
Le Harpon (Le Guidage) : C'est la nouvelle invention. Au lieu de simplement naviguer en ligne droite, le navire tire un harpon qui le tire le long du littoral. Il ne pousse pas le navire hors de la côte ; il le guide le long de la courbe de la terre.

3. Comment fonctionne HARPOON

HARPOON utilise une danse ingénieuse en deux étapes à chaque moment du processus de génération :

Le Pas en Avant : L'IA fait un pas normal pour nettoyer les données (supprimer le bruit).
La Correction Tangente : Immédiatement après, elle vérifie les « règles » que vous lui avez données (par exemple, « Âge > 18 »). Elle calcule un ajustement infime qui déplace les données latéralement le long de la forme des données réelles, plutôt que de les pousser hors de la forme.

Pensez à quelqu'un qui descend un sentier de montagne sinueux.

Les anciennes méthodes essaieraient de marcher en ligne droite vers la destination, tombant souvent dans le précipice.
HARPOON regarde le sentier, fait un pas en avant, puis vous ramène doucement sur le sentier si vous commencez à dériver, garantissant que vous restez sur le chemin sûr et réaliste tout en progressant vers votre objectif.

4. Pourquoi c'est spécial

Le papier revendique trois grandes victoires :

Cela fonctionne sur des données « désordonnées » : Contrairement aux théories précédentes qui ne fonctionnaient que sur des données continues et lisses, HARPOON gère les feuilles de calcul avec des types mixtes (nombres et catégories comme « Oui/Non ») sans nécess avoir besoin d'un entraînement spécial pour chaque type.
C'est flexible : Vous n'avez pas besoin de réentraîner l'IA pour chaque nouvelle règle. Vous pouvez l'enseigner une fois, et ensuite, au moment de l'inférence (utilisation), vous pouvez lui dire de suivre n'importe quelle règle — comme remplir des nombres manquants, ou s'assurer que « le salaire est supérieur à 50 000 $ » — et elle s'adaptera à la volée.
C'est rapide et précis : Les auteurs ont testé cela sur de nombreux jeux de données réels (comme les défauts de cartes de crédit ou les habitudes d'achat). HARPOON a mieux rempli les données manquantes que les autres méthodes de pointe et a mieux suivi des règles complexes (comme « l'âge doit être compris entre 18 et 65 ans ET le métier doit être 'Ingénieur' ») que ses concurrents, sans planter ni produire de résultats faux.

Résumé

HARPOON est une nouvelle façon de guider l'IA dans la génération de feuilles de calcul réalistes. Au lieu de forcer l'IA à apprendre chaque règle à l'avance, elle utilise la « forme » cachée des données réelles pour guider doucement l'IA vers la bonne réponse. C'est comme avoir un GPS qui ne se contente pas de vous dire où aller, mais qui maintient aussi votre voiture en sécurité sur la route, peu importe la tournure du chemin.

Résumé Technique : HARPOON – Guidage par Variété Généralisé pour la Diffusion Tabulaire Conditionnelle

Énoncé du Problème

La génération de données tabulaires soumises à des conditions spécifiques (contraintes) est cruciale pour des applications telles que l'imputation de valeurs manquantes et la simulation de scénarios « what-if » (et si). Bien que les modèles de diffusion soient apparus comme l'état de l'art (SOTA) pour les tâches génératives, les méthodes existantes de diffusion tabulaire conditionnelle font face à des limitations significatives :

Manque de généralisation : Les stratégies de phase d'entraînement (par exemple, conditionner le modèle sur des contraintes spécifiques) ne parviennent pas à se généraliser à des conditions inédites lors de l'inférence.
Inflexibilité : Les méthodes actuelles peinent à gérer des objectifs d'inférence diversifiés, particulièrement les contraintes non linéaires comme les inégalités de caractéristiques (par exemple, $Âge \ge 10$ ) ou les combinaisons logiques complexes.
Lacunes théoriques : Les approches géométriques récentes de la diffusion (traitant les données comme reposant sur une variété de faible dimension) sont limitées aux domaines continus avec des géométries plates et des pertes d'inférence spécifiques (ex: erreur quadratique). Elles ne tiennent pas compte de la nature mixte des données tabulaires (caractéristiques discrètes et continues) ou ne se généralisent pas à des objectifs différentiables arbitraires.

Méthodologie : HARPOON

Les auteurs introduisent HARPOON, une méthode de diffusion tabulaire conditionnelle qui guide les échantillons non contraints le long de la géométrie de la variété pour satisfaire diverses conditions lors de l'inférence sans réentraînement. L'approche est construite en étendant la théorie des variétés aux espaces de données tabulaires.

Fondements Théoriques

L'article établit deux résultats théoriques clés pour la diffusion tabulaire opérant dans l'espace des données :

Projection Orthogonale : Les auteurs prouvent qu'un modèle de diffusion entraîné avec une perte d'erreur quadratique standard apprend implicitement une application orthogonale sur la variété de données sous-jacente ( $M_0$ ) à mesure que le niveau de bruit approche de zéro ( $\bar{\alpha}_t \to 1$ ). Cela est vrai même pour des géométries courbes, levant les hypothèses de variétés plates des travaux précédents.
Gradients de l'Espace Tangent : Ils prouvent que le gradient de toute fonction de perte d'inférence différentiable ( $L_{inf}$ ) réside dans l'espace tangent de la variété de données au niveau de l'estimation « sale » ( $\hat{x}_0$ ). Cela généralise les découvertes précédentes qui étaient restreintes aux pertes d'erreur quadratique.

Cette théorie implique que, tandis que le débruiteur agit comme une boussole pointant vers la projection orthogonale sur la variété, les gradients de contraintes arbitraires agissent comme des ancres qui dirigent les mises à jour tangentiellement le long de la surface de la variété, maintenant les échantillons à l'intérieur des enveloppes de distribution de données valides.

Algorithme

HARPOON entrelace des étapes de débruitage non conditionnelles avec des corrections de gradient tangentiel :

Estimation « Sale » : À chaque étape $t$ , le modèle calcule une estimation « sale » $\hat{x}_0$ en inversant le processus de bruitage direct.
Gradient Tangentiel : Le gradient de la perte d'inférence ( $\nabla_{x_t} L_{inf}(\hat{x}_0, c)$ ) est calculé. Sur la base de la preuve théorique, ce gradient est contraint à l'espace tangent de la variété.
Mise à jour Entrelacée : L'échantillon subit une étape de débruitage non conditionnelle standard, suivie immédiatement d'une mise à jour tangentielle utilisant le gradient pré-calculé. Ce processus se répète jusqu'à convergence.

Crucialement, la perte d'inférence ( $L_{inf}$ ) peut différer de la perte d'entraînement. Pour les données tabulaires, les auteurs utilisent des pertes induisant la parcimonie comme l'Erreur Absolue Moyenne (MAE) et l'Entropie Croisée (CE) pour les caractéristiques catégorielles, qui sont mieux adaptées à la nature discrète des données tabulaires que la MSE standard.

Contributions Clés

Théorie : L'article fournit les premiers résultats théoriques liant les variétés à la diffusion tabulaire, prouvant que les modèles de diffusion agissent comme des projecteurs orthogonaux et que les gradients de n'importe quel objectif d'inférence différentiable résident dans l'espace tangent, même pour des géométries courbes et des données de types mixtes.
Algorithme : La conception de HARPOON, un mécanisme de guidage sans réentraînement qui s'adapte à diverses conditions (imputation, inégalités, contraintes logiques) lors de l'inférence sans nécessiter de réentraînement ou de réglage fin séparé.
Validation Empirique : Démonstration que le guidage conscient de la variété améliore significativement les performances sur divers ensembles de données et tâches, particulièrement pour la gestion des contraintes d'inégalité où l'échantillonnage par rejet ou le conditionnement à l'entraînement échouent.

Résultats Expérimentaux

Les auteurs ont évalué HARPOON sur huit ensembles de données (incluant les benchmarks UCI comme Adult, Default et Shoppers) à travers deux tâches principales :

1. Imputation

Performance : HARPOON a obtenu des résultats compétitifs ou supérieurs en termes d'Erreur Quadratique Moyenne (MSE) et de précision par rapport aux bases SOTA (DiffPuter, Remasker, GReaT, MIRACLE, GAIN) à travers différents ratios de données manquantes (25%, 50%, 75%).
Robustesse : Contrairement aux méthodes d'entraînement (ex: Remasker) qui se dégradent avec des ratios de données manquantes élevés en raison de leur dépendance à des masques d'entraînement spécifiques, HARPOON est resté robuste.
Sensibilité à la Perte : Les études d'ablation ont montré que l'utilisation de la MAE (ou MAE + CE) lors de l'inférence surpassait l'utilisation de la perte MSE du temps d'entraînement, validant la revendication théorique que la géométrie de la variété permet une sélection flexible de la perte lors de l'inférence.

2. Inégalités et Contraintes Logiques

Satisfaction des Contraintes : Pour les contraintes de plage (ex: $Âge \ge 50$ ) et les contraintes catégorielles, HARPOON a atteint des taux de violation nettement plus faibles (ex: <8% sur Adult/Default) par rapport à DiffPuter et GReT, qui présentaient des taux de violation de 74 à 96 % en traitant les contraintes comme des problèmes d'imputation.
Logique Complexe : HARPOON a géré avec succès les conjonctions (ET) et les disjonctions (OU) de contraintes, maintenant des taux de violation faibles et une utilité en aval élevée (mesurée par la performance du classifieur XGBoost) là où les bases ont échoué.
Fidélité : Malgré l'application des contraintes, HARPOON a maintenu une fidélité d'échantillon élevée (mesurée par le score $\alpha$ ), indiquant que les mises à jour guidées par la variété n'ont pas poussé les échantillons hors de la distribution.

Efficacité

Le temps d'exécution de HARPOON est environ 2x supérieur à celui d'une base de diffusion non conditionnelle (DiffPuter) en raison des étapes supplémentaires de calcul de gradient. Cependant, il reste nettement plus rapide que les approches basées sur les LLM (GReT) ou les graphes causaux (MIRACLE), complétant l'échantillonnage en moins de 5 secondes, même sur de grands ensembles de données.

Signification et Revendications

L'article positionne HARPOON comme un pont entre le guidage par variété théorique et la génération de données tabulaires pratique. Sa principale signification réside dans le paradigme « gardez l'entraînement simple, passez à l'échelle à l'inférence » :

Généralisation : Il élimine le besoin de réentraîner les modèles pour chaque nouvelle contrainte, permettant à un seul modèle pré-entraîné de s'adapter à des conditions inédites.
Rigueur Théorique : Il étend la théorie du guidage par variété au-delà des domaines continus et plats vers la géométrie complexe et de type mixte des données tabulaires.
Utilité Pratique : Il fournit un mécanisme robuste pour appliquer des contraintes strictes (inégalités, conditions logiques) qui sont courantes dans les domaines réels (ex: santé, finance) mais difficiles à satisfaire pour les modèles génératifs standards sans violer les propriétés de distribution des données.

Les auteurs concluent que HARPOON débloque des bénéfices pratiques pour la modélisation tabulaire réelle en offrant un mécanisme de guidage général, théoriquement fondé et robuste, adaptable et efficace.