🤖 machine learning

Harpoon: Generalised Manifold Guidance for Conditional Tabular Diffusion

Dit artikel introduceert HARPOON, een gegeneraliseerde manifold guidance-methode voor conditionele tabulaire diffusie die manifoldtheorie uitbreidt naar discrete data en diverse inferentie-doelstellingen, waardoor de generatie van samples mogelijk wordt die aan specifieke restricties voldoen zonder dat hertraining vereist is.

Oorspronkelijke auteurs: Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Gepubliceerd 2026-06-05

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot probeert te leren om tekeningen van mensen te maken. Je wilt dat de robot realistische gezichten creëert, maar je wilt het ook specifieke instructies geven, zoals "laat de persoon een hoed dragen" of "zorg dat de persoon een rood shirt draagt."

In de wereld van data is "tabulaire data" als een gigantisch spreadsheet met rijen en kolommen (bijv. Leeftijd, Inkomen, Functietitel). Het creëren van realistische spreadsheets die specifieke regels volgen, is moeilijk. Als je een standaard AI vraagt om ontbrekende getallen in te vullen of een regel te volgen zoals "Leeftijd moet boven de 18 zijn," raakt deze vaak in de war. Het kan een persoon creëren die 150 jaar oud is, of het kan de interne logica van de data breken (zoals een persoon die een baan heeft maar geen inkomen).

Dit artikel introduceert een nieuwe methode genaamd HARPOON om dit probleem op te lossen. Hier is hoe het werkt, eenvoudig uitgelegd:

1. Het Probleem: De "Van het Spoor Raakte" Robot

Huidige AI-modellen voor spreadsheets zijn als een robot die een specifieke set regels uit zijn training heeft onthouden. Als je het iets vraagt wat het nog niet eerder heeft gezien (zoals een nieuw type beperking), raakt het de weg kwijt.

De Oude Manier: Als je wilt dat de robot een nieuwe regel volgt, moet je de robot vaak stoppen, de robot vanaf nul opnieuw trainen, of een onhandige "rejection"-methode gebruiken waarbij je duizenden slechte plaatjes genereert en weggooit totdat je er één vindt die wel werkt. Dit is traag en inefficiënt.
Het Probleem met "Manifolds": Wetenschappers weten dat echte data (zoals echte mensen) niet willekeurig in een chaotische wolk bestaan. Het bestaat op een specifieke, gladde vorm (zoals een gebogen vel papier die in een 3D-ruimte zweeft). Deze vorm wordt een manifold genoemd. Als je de robot dwingt iets te tekenen dat niet op dit vel past, ziet het resultaat er nep en kapot uit. Eerdere methoden konden de robot op het vel houden, maar alleen voor eenvoudige, continue dingen (zoals gladde lijnen), niet voor rommelige spreadsheets met categorieën (zoals "Man/Vrouw" of "Rood/Blauw").

2. De Oplossing: De "Harpoen"

De auteurs realiseerden zich dat het AI-model dat ze gebruiken (een "diffusiemodel") eigenlijk heel goed is in het begrijpen van deze verborgen vorm, zelfs als ze dat niet expliciet hebben geleerd.

De Analogie van het Schip en de Stroming:
Stel je voor dat de AI een schip is dat probeert te varen van een stormachtige oceaan (willekeurige ruis) naar een rustige haven (een realistische spreadsheet).

De Kaart (De Manifold): De haven is gebouwd op een specifieke, gebogen kustlijn. Als het schip probeert recht naar de bestemming te varen maar de kustlijn negeert, zal het op de rotsen lopen (het creëren van onrealistische data).
Het Kompas (Het Model): Het AI-model fungeert als een kompas dat altijd wijst naar het dichtstbijzijnde punt op de kustlijn.
De Harpoen (De Begeleiding): Dit is de nieuwe uitvinding. In plaats van alleen maar rechtuit te varen, vuurt het schip een harpoen af die het langs de kustlijn trekt. Het duwt het schip niet van de kust af; het begeleidt het langs de curve van het land.

3. Hoe HARPOON Werkt

HARPOON gebruikt bij elke stap in het generatieproces een slimme tweestapsdans:

De Stap Voorwaarts: De AI zet een normale stap om de data op te schonen (het verwijderen van ruis).
De Tangentiële Correctie: Direct daarna controleert het de "regels" die je hebt gegeven (bijv. "Leeftijd > 18"). Het berekent een kleine aanpassing die de data zijwaarts langs de vorm van de echte data beweegt, in plaats van de data van de vorm af te duwen.

Denk aan het wandelen op een kronkelend bergpad.

Oude methoden zouden proberen in een rechte lijn naar de bestemming te lopen, waarbij ze vaak van de klif afvallen.
HARPOON kijkt naar het pad, zet een stap voorwaarts, en geeft je dan een zachte duw terug op het pad als je begint af te wijken, zodat je op het veilige, realistische pad blijft terwijl je toch naar je doel beweegt.

4. Waarom Dit Speciaal Is

Het artikel claimt drie grote overwinningen:

Het Werkt op "Rommelige" Data: In tegen tegenstelling tot eerdere theorieën die alleen werkten op gladde, continue data, kan HARPOON omgaan met spreadsheets met gemengde typen (getallen en categorieën zoals "Ja/Nee") zonder dat er speciale training voor elk type nodig is.
Het is Flexibel: Je hoeft de AI niet voor elke nieuwe regel opnieuw te trainen. Je kunt het één keer leren, en dan aan het einde (tijdens de inferentie) kun je het de opdracht geven om elke regel te volgen — zoals het invullen van ontbrekende getallen, of ervoor zorgen dat "Salaris groter is dan $50k" — en het zal zich on the fly aanpassen.
Het is Snel en Nauwkeurig: De auteurs hebben dit getest op veel real-world datasets (zo zoals kredietkaart wanbetalingen of winkelgewoonten). HARPOON vulde ontbrekende data beter in dan andere topmethoden en volgde complexe regels (zoals "Leeftijd moet tussen de 18 en 65 zijn EN Functie moet 'Engineer' zijn") veel beter dan concurrenten, zonder fouten te maken of nepresultaten te produceren.

Samenvatting

HARPOON is een nieuwe manier om AI te sturen bij het genereren van realistische spreadsheets. In plaats van de AI vooraf elke mogelijke regel te leren, gebruikt het de verborgen "vorm" van echte data om de AI voorzichtig naar het juiste antwoord te sturen. Het is als het hebben van een GPS die niet alleen vertelt waar je heen moet, maar die je auto ook veilig op de weg houdt, hoe bochtig de weg ook is.

Technische Samenvatting: HARPOON – Generalised Manifold Guidance for Conditional Tabular Diffusion

Probleemstelling

Het genereren van tabelgegevens onder specifieke condities (constraints) is cruciaal voor toepassingen zoals het imputeren van ontbrekende waarden en het simuleren van "wat-als"-scenario's. Hoewel diffusiemodellen de state-of-the-art (SOTA) zijn geworden voor generatieve taken, kampen bestaande methoden voor conditionele tabel-diffusie met significante beperkingen:

Gebrek aan Generalisatie: Strategieën tijdens de training (bijv. het conditioneren van het model op specifieke constraints) generaliseren niet naar onbekende condities tijdens de inferentie.
Inflexibiliteit: Huidige methoden hebben moeite met diverse doelstellingen tijdens de inferentie, in het bijzonder niet-lineaire constraints zoals ongelijkheden in kenmerken (bijv. $Age \ge 10$ ) of complexe logische combinaties.
Theoretische Gaten: Recente geometrische benaderingen van diffusie (waarbij data wordt behandeld als liggend op een laagdimensionale manifold) zijn beperkt tot continue domeinen met vlakke geometrieën en specifieke verliesfuncties tijdens de inferentie (bijv. squared-error). Ze houden geen rekening met de gemengde aard van tabelgegevens (discrete en continue kenmerken) of generaliseren niet naar willekeurige differentieerbare doelstellingen.

Methodologie: HARPOON

De auteurs introduceren HARPOON, een methode voor conditionele tabel-diffusie die onconditionele samples via manifold-geometrie stuurt om diverse condities tijdens de inferentie te voldoen zonder hertraining. De aanpak is gebaseerd op het uitbreiden van manifold-theorie naar de ruimtes van tabelgegevens.

Theoretische Fundamenten

Het artikel stelt twee belangrijke theoretische resultaten vast voor tabel-diffusie opererend in de dataruimte:

Orthogonale Projectie: De auteurs bewijzen dat een diffusiemodel getraind met een standaard squared-error loss impliciet een orthogonale mapping leert naar de onderliggende data-manifold ( $M_0$ ) naarmate het ruisniveau naar nul nadert ( $\bar{\alpha}_t \to 1$ ). Dit geldt zelfs voor gekromde geometrieën, wat de aannames van eerdere werken over vlakke manifolds versoepelt.
Tangent-ruimte Gradiënten: Zij bewijzen dat de gradiënt van elke differentieerbare verliesfunctie tijdens de inferentie ( $L_{inf}$ ) binnen de tangent-ruimte van de data-manifold ligt bij de "dirty" schatting ( $\hat{x}_0$ ). Dit generaliseert eerdere bevindingen die beperkt waren tot squared-error losses.

Deze theorie impliceert dat terwijl de denoiser fungeert als een kompas dat wijst naar de orthogonale projectie op de manifold, de gradiënten van willekeurige constraints fungeren als ankers die updates tangentieel langs het oppervlak van de manifold sturen, waardoor samples binnen de geldige distributieshells blijven.

Algoritme

HARPOON weeft onconditionele denoising-stappen door elkaar met tangentiële gradiëntcorrecties:

Dirty Estimate: In elke stap $t$ berekent het model een "dirty" schatting $\hat{x}_0$ door het proces van de forward noising te omkeren.
Tangentiële Gradiënt: De gradiënt van de verliesfunctie tijdens de inferentie ( $\nabla_{x_t} L_{inf}(\hat{x}_0, c)$ ) wordt berekend. Op basis van het theoretische bewijs is deze gradiënt beperkt tot de tangent-ruimte van de manifold.
Interleaved Update: Het sample ondergaat een standaard onconditionele denoising-stap, gevolgd door een directe tangentiële update met behulp van de vooraf berekende gradiënt. Dit proces herhaalt zich tot convergentie.

Cruciaal is dat de verliesfunctie tijdens de inferentie ( $L_{inf}$ ) kan verschillen van de verliesfunctie tijdens de training. Voor tabelgegevens maken de auteurs gebruik van sparsity-inducerende losses zoals Mean Absolute Error (MAE) en Cross-Entropy (CE) voor categorische kenmerken, die beter geschikt zijn voor de discrete aard van tabelgegevens dan standaard MSE.

Belangrijkste Bijdragen

Theorie: Het artikel levert de eerste theoretische resultaten die manifolds koppelen aan tabel-diffusie, waarbij bewezen wordt dat diffusiemodellen fungeren als orthogonale projectoren en dat gradiënten van elke differentieerbare verliesfunctie tijdens de inferentie in de tangent-ruimte liggen, zelfs voor gekromde geometrieën en gemengde data-types.
Algoritme: Het ontwerp van HARPOON, een training-vrije guidance-mechanisme dat zich aanpast aan diverse condities (imputatie, ongelijkheden, logische constraints) tijdens de inferentie zonder dat aparte hertraining of fine-tuning vereist is.
Empirische Validatie: Demonstratie dat manifold-bewuste guidance de prestaties aanzienlijk verbetert over diverse datasets en taken, met name bij het afhandelen van ongelijkheids-constraints waar rejection sampling of conditioning tijdens de training faalt.

Experimentele Resultaten

De auteurs evalueerden HARPOON op acht datasets (inclusief UCI-benchmarks zoals Adult, Default en Shoppers) over twee primaire taken:

1. Imputatie

Prestaties: HARPOON behaalde competitieve of superieure Mean Squared Error (MSE) en nauwkeurigheid vergeleken met SOTA-baselines (DiffPuter, Remasker, GReaT, MIRACLE, GAIN) over variërende missingness-ratio's (25%, 50%, 75%).
Robuustheid: In tegen tegenstelling tot methoden tijdens de training (bijv. Remasker) die degraderen bij hoge missingness-ratio's door de afhankelijkheid van specifieke training-masks, bleef HARPOON robuust.
Loss Sensitiviteit: Ablatie-studies toonden aan dat het gebruik van MAE (of MAE + CE) tijdens de inferentie beter presteerde dan het gebruik van de training-tijd MSE loss, wat de theoretische claim valideert dat de manifold-geometrie flexibele loss-selectie tijdens de inferentie mogelijk maakt.

2. Ongelijkheid en Logische Constraints

Constraint Satisfactie: Voor range-constraints (bijv. $Age \ge 50$ ) en categorische constraints bereikte HARPOON significant lagere schendingspercentages (bijv. <8% op Adult/Default) vergeleken met DiffPuter en GReaT, die schendingspercentages van 74–96% vertoonden door constraints als imputatieproblemen te behandelen.
Complexe Logica: HARPOON handelde conjuncties (AND) en disjuncties (OR) van constraints succesvol af, waarbij lage schendingspercentages en hoge downstream utility (gemeten via XGBoost classifier performance) werden behouden waar baselines faalden.
Fidelity: Ondanks het afdwingen van constraints behield HARPOON een hoge sample fidelity (gemeten via $\alpha$ -score) en utility, wat aangeeft dat de manifold-gestuurde updates de samples niet uit de distributie duwden.

Efficiëntie

De runtime van HARPOON is ongeveer 2x die van een onconditionele diffusie-baseline (DiffPuter) vanwege de extra gradiëntberekeningsstappen. Het blijft echter aanzienlijk sneller dan LLM-gebaseerde (GRe%T) of causale graaf-gebaseerde (MIRACLE) benaderingen, waarbij de sampling in minder dan 5 seconden wordt voltooid, zelfs op grote datasets.

Betekenis en Claims

Het artikel positioneert HARPOON als een brug tussen theoretische manifold-guidance en praktische tabel-generatie. De primaire betekenis ligt in het paradigma "houd training simpel, schaal tijdens de inferentie":

Generalisatie: Het elimineert de noodzaak om modellen voor elke nieuwe constraint opnieuw te trainen, waardoor één enkel getraind model zich kan aanpassen aan onbekende condities.
Theoretische Rigor: Het breidt de manifold-guidance theorie uit voorbij continue, vlakke domeinen naar de complexe, gemengde geometrie van tabelgegevens.
Praktisch Nut: Het biedt een robuust mechanisme voor het afdwingen van harde constraints (ongelijkheden, logische condities) die veel voorkomen in reële domeinen (bijv. gezondheidszorg, financiën), maar die standaard generatieve modellen moeilijk kunnen voldoen zonder de eigenschappen van de datadistributie te schenden.

De auteurs concluderen dat HARPOON praktische voordelen ontsluit voor real-world tabelmodellering door een algemeen, theoretisch gefundeerd guidance-mechanisme te bieden dat zowel robuust als adaptief en efficiënt is.