🤖 machine learning

Harpoon: Generalised Manifold Guidance for Conditional Tabular Diffusion

Dieses Paper stellt HARPOON vor, eine generalisierte Manifold-Guidance-Methode für die bedingte tabellarische Diffusion, welche die Manifold-Theorie auf diskrete Daten und vielfältige Inferenz-Ziele ausweitet und die Generierung von Stichproben ermöglicht, die spezifische Constraints erfüllen, ohne ein erneutes Training zu erfordern.

Ursprüngliche Autoren: Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Veröffentlicht 2026-06-05

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Aditya Shankar, Yuandou Wang, Rihan Hai, Lydia Y. Chen

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Bilder von Menschen zu zeichnen. Sie möchten, dass der Roboter realistische Gesichter erstellt, aber Sie möchten ihm auch spezifische Anweisungen geben, wie zum Beispiel „Lass die Person einen Hut tragen“ oder „Stelle sicher, dass die Person ein rotes Hemd trägt“.

In der Welt der Daten ist „tabellarische Daten“ wie eine riesige Tabelle mit Zeilen und Spalten (z. B. Alter, Einkommen, Berufsbezeichnung). Das Erstellen realistischer Tabellen, die bestimmten Regeln folgen, ist schwierig. Wenn man eine Standard-KI einfach nur bittet, fehlende Zahlen zu ergänzen oder einer Regel wie „Alter muss über 18 sein“ zu folgen, wird sie oft verwirrt. Sie könnte eine Person erstellen, die 150 Jahre alt ist, oder sie könnte die interne Logik der Daten verletzen (wie etwa eine Person, die einen Beruf hat, aber kein Einkommen).

Dieses Paper stellt eine neue Methode namens HARPOON vor, um dieses Problem zu lösen. So funktioniert es, einfach erklärt:

1. Das Problem: Der „vom Weg abgekommene“ Roboter

Aktuelle KI-Modelle für Tabellen sind wie ein Roboter, der während seines Trainings ein bestimmtes Regelwerk auswendig gelernt hat. Wenn man ihm etwas zeigt, das er noch nicht gesehen hat (wie eine neue Art von Einschränkung), verliert er die Orientierung.

Der alte Weg: Wenn man möchte, dass der Roboter einer neuen Regel folgt, muss man ihn oft stoppen, den Roboter von Grund auf neu trainieren oder eine umständliche „Ablehnungsmethode“ anwenden, bei der man tausende schlechte Bilder generiert und wegwirft, bis man eines findet, das funktioniert. Das ist langsam und ineffizient.
Das Problem mit „Manifolds“: Wissenschaftler wissen, dass reale Daten (wie echte Menschen) nicht zufällig in einer chaotischen Wolke existieren. Sie existieren auf einer spezifischen, glatten Form (wie einem gekrümmten Blatt Papier, das im 3D-Raum schwebt). Diese Form wird als Manifold bezeichnet. Wenn man den Roboter zwingt, etwas zu zeichnen, das nicht auf dieses Blatt passt, sieht das Ergebnis künstlich und fehlerhaft aus. Frühere Methoden konnten den Roboter zwar auf dem Blatt halten, aber nur bei einfachen, kontinuierlichen Dingen (wie glatten Linien), nicht aber bei unordentlichen Tabellen mit Kategorien (wie „Männlich/Weiblich“ oder „Rot/Blau“).

2. Die Lösung: Der „Harpoon“ (Die Harpune)

Die Autoren erkannten, dass das KI-Modell, das sie verwenden (ein „Diffusion Model“), eigentlich sehr gut darin ist, diese verborgene Form zu verstehen, selbst wenn sie es ihm nicht explizit beigebracht haben.

Die Analogie vom Schiff und der Strömung:
Stellen Sie sich vor, die KI ist ein Schiff, das versucht, von einem stürmischen Ozean (zufälliges Rauschen) zu einem ruhigen Hafen (einer realistischen Tabelle) zu segeln.

Die Karte (Das Manifold): Der Hafen ist an einer spezifischen, gekrümmten Küstenlinie gebaut. Wenn das Schiff versucht, direkt zum Ziel zu segeln und dabei die Küstenlinie ignoriert, wird es gegen die Felsen prallen (was unrealistische Daten erzeugt).
Der Kompass (Das Modell): Das KI-Modell fungiert wie ein Kompass, der immer auf den nächstgelegenen Punkt der Küstenlinie zeigt.
Die Harpune (Die Führung): Dies ist die neue Erfindung. Anstatt nur geradeaus zu segeln, feuert das Schiff eine Harpune ab, die es entlang der Küstenlinie zieht. Es drückt das Schiff nicht von der Küste weg; es führt es entlang der Kurve des Landes.

3. Wie HARPOON funktioniert

HARPOON nutzt bei jedem Schritt des Generierungsprozesses einen klugen zweistufigen Tanz:

Der Schritt nach vorne: Die KI macht einen normalen Schritt, um die Daten zu bereinigen (das Rauschen zu entfernen).
Die Tangenten-Korrektur: Unmittelbar danach überprüft sie die „Regeln“, die Sie vorgegeben haben (z. B. „Alter > 18“). Sie berechnet eine winzige Anpassung, die die Daten seitwärts entlang der Form der realen Daten bewegt, anstatt sie von der Form wegzudrücken.

Denken Sie daran wie beim Wandern auf einem gewundenen Bergpfad.

Alte Methoden würden versuchen, in einer geraden Linie zum Ziel zu gehen, und dabei oft von der Klippe stürzen.
HARPOON betrachtet den Pfad, macht einen Schritt nach vorne und schubst Sie dann sanft wieder zurück auf den Pfad, falls Sie zu driften beginnen, um sicherzustellen, dass Sie auf dem sicheren, realistischen Weg bleiben, während Sie sich gleichzeitig auf Ihr Ziel zubewegen.

4. Warum dies besonders ist

Das Paper behauptet drei große Erfolge:

Es funktioniert bei „unordentlichen“ Daten: Im Gegensatz zu bisherigen Theorien, die nur für glatte, kontinuierliche Daten funktionierten, bewältigt HARPOON Tabellen mit gemischten Typen (Zahlen und Kategorien wie „Ja/Nein“), ohne dass für jeden Typ ein spezielles Training erforderlich ist.
Es ist flexibel: Sie müssen die KI nicht für jede neue Regel neu trainieren. Sie können sie einmal lehren, und dann können Sie ihr ganz am Ende (während der Inferenz) sagen, dass sie jeder beliebigen Regel folgen soll – wie etwa „Fülle fehlende Zahlen aus“ oder „Stelle sicher, dass das Gehalt größer als 50.000 $ ist“ – und sie wird sich spontan anpassen.
Es ist schnell und präzise: Die Autoren haben dies an vielen realen Datensätzen getestet (wie Kreditkartenausfällen oder Einkaufsgewohnheiten). HARPOON füllte fehlende Daten besser als andere Top-Methoden auf und folgte komplexen Regeln (wie „Alter muss zwischen 18 und 65 liegen UND der Beruf muss 'Ingenieur' sein“) viel besser als die Konkurrenz, ohne dabei abzustürzen oder falsche Ergebnisse zu produzieren.

Zusammenfassung

HARPOON ist eine neue Art, KI bei der Generierung realistischer Tabellen zu führen. Anstatt die KI dazu zu zwingen, jede mögliche Regel im Voraus zu lernen, nutzt sie die verborgene „Form“ der realen Daten, um die KI sanft zur richtigen Antwort zu steuern. Es ist wie ein GPS, das einem nicht nur sagt, wohin man fahren soll, sondern das Auto auch sicher auf der Straße hält, egal wie kurvenreich die Straße auch sein mag.

Technisches Resümee: HARPOON – Generalisierte Manifold-Guidance für bedingte tabellarische Diffusion

Problemstellung

Die Generierung von tabellarischen Daten unter Einhaltung spezifischer Bedingungen (Constraints) ist entscheidend für Anwendungen wie die Imputation fehlender Werte und die Simulation von „Was-wäre-wenn“-Szenarien. Während Diffusionsmodelle als State-of-the-Art (SOTA) für generative Aufgaben hervorgetreten sind, stehen bestehende Methoden für bedingte tabellarische Diffusion vor signifikanten Einschränkungen:

Mangelnde Generalisierung: Strategien zur Trainingszeit (z. B. die Konditionierung des Modells auf spezifische Constraints) generalisieren nicht auf ungesehene Bedingungen zur Inferenzzeit.
Inflexibilität: Aktuelle Methoden haben Schwierigkeiten, diverse Ziele zur Inferenzzeit zu handhaben, insbesondere nicht-lineare Constraints wie Merkmalsungleichungen (z. B. $Age \ge 10$ ) oder komplexe logische Kombinationen.
Theoretische Lücken: Jüngste geometrische Ansätze für Diffusion (die Daten als auf einer niedrigdimensionalen Mannigfaltigkeit liegend behandeln) sind auf kontinuierliche Domänen mit flachen Geometrien und spezifischen Verlustfunktionen zur Inferenzzeit (z. B. quadratischen Fehler) beschränkt. Sie berücksichtigen nicht die gemischten Typen von tabellarischen Daten (diskrete und kontinuierliche Merkmale) oder generalisieren nicht auf beliebige differenzierbare Zielsetzungen.

Methodik: HARPOON

Die Autoren führen HARPOON ein, eine Methode für bedingte tabellarische Diffusion, die unbedingte Stichproben entlang der Mannigfaltigkeitsgeometrie leitet, um diverse Bedingungen zur Inferenzzeit ohne Retraining zu erfüllen. Der Ansatz basiert auf der Erweiterung der Mannigfaltigkeitstheorie auf den Raum tabellarischer Daten.

Theoretische Grundlagen

Die Arbeit etabliert zwei zentrale theoretische Ergebnisse für die tabellarische Diffusion im Datenraum:

Orthogonale Projektion: Die Autoren beweisen, dass ein Diffusionsmodell, das mit Standard-Quadratfehler-Verlust trainiert wurde, implizit eine orthogonale Abbildung auf die zugrunde liegende Datenmannigfaltigkeit ( $M_0$ ) lernt, wenn das Rauschniveau gegen Null geht ( $\bar{\alpha}_t \to 1$ ). Dies gilt selbst für gekrümmte Geometrien und lockert die Annahmen flacher Mannigfaltigkeiten vorangegangener Arbeiten auf.
Tangentialraum-Gradienten: Sie beweisen, dass der Gradient einer beliebigen differenzierbaren Inferenzzeit-Verlustfunktion ( $L_{inf}$ ) innerhalb des Tangentialraums der Datenmannigfaltigkeit am „schmutzigen“ Schätzwert ( $\hat{x}_0$ ) liegt. Dies generalisiert vorangegangene Befunde, die auf quadratische Fehler verloren beschränkt waren.

Diese Theorie impliziert, dass während der Denoiser als Kompass fungiert, der zur orthogonalen Projektion auf die Mannigfaltigkeit zeigt, die Gradienten beliebiger Constraints als Anker wirken, die Updates tangential entlang der Oberfläche der Mannigfaltigkeit steuern und so sicherstellen, dass die Stichproben innerhalb der gültigen Datenverteilungs-Schalen bleiben.

Algorithmus

HARPOON verwebt unbedingte Denoising-Schritte mit tangentialen Gradientenkorrekturen:

Schmutziger Schätzwert (Dirty Estimate): In jedem Schritt $t$ berechnet das Modell einen „schmutzigen“ Schätzwert $\hat{x}_0$ , indem es den Vorwärts-Rauschprozess umkehrt.
Tangentialer Gradient: Der Gradient der Inferenzzeit-Verlustfunktion ( $\nabla_{x_t} L_{inf}(\hat{x}_0, c)$ ) wird berechnet. Basierend auf dem theoretischen Beweis ist dieser Gradient auf den Tangentialraum der Mannigfaltigkeit beschränkt.
Interleaved Update: Die Stichprobe durchläuft einen standardmäßigen unbedingten Denoising-Schritt, gefolgt von einem unmittelbaren tangentialen Update unter Verwendung des vorab berechneten Gradienten. Dieser Prozess wiederholt sich bis zur Konvergenz.

Entscheidend ist, dass die Inferenzzeit-Verlustfunktion ( $L_{inf}$ ) von der Trainings-Verlustfunktion abweichen kann. Für tabellarische Daten nutzen die Autoren sparsamkeitsinduzierende Verluste wie den mittleren absoluten Fehler (MAE) und die Kreuzentropie (CE) für kategoriale Merkmale, die aufgrund der diskreten Natur tabellarischer Daten besser geeignet sind als der Standard-MSE.

Zentrale Beiträge

Theorie: Die Arbeit liefert die ersten theoretischen Ergebnisse, die Mannigfaltigkeits-Guidance mit tabellarischer Diffusion verknüpfen, indem sie beweist, dass Diffusionsmodelle als orthogonale Projektoren agieren und dass Gradienten aus jeder differenzierbaren Inferenzzeit-Zielsetzung im Tangentialraum liegen, selbst bei gekrümmten Geometrien und gemischten Datentypen.
Algorithmus: Das Design von HARPOON, ein trainingsfreier Guidance-Mechanismus, der sich an diverse Bedingungen (Imputation, Ungleichungen, logische Constraints) zur Inferenzzeit anpasst, ohne separates Retraining oder Fine-Tuning zu erfordern.
Empirische Validierung: Demonstration, dass manigfaltigkeitsbewusste Guidance die Performance über diverse Datensätze und Aufgaben hinweg signifikant verbessert, insbesondere beim Umgang mit Ungleichheits-Constraints, bei denen Rejection Sampling oder Training-Zeit-Konditionierung versagen.

Experimentelle Ergebnisse

Die Autoren evaluierten HARPOON auf acht Datensätzen (einschließlich UCI-Benchmarks wie Adult, Default und Shoppers) über zwei primäre Aufgaben hinweg:

1. Imputation

Performance: HARPOON erreichte im Vergleich zu SOTA-Baselines (DiffPuter, Remasker, GReaT, MIRACLE, GAIN) konkurrierbare oder überlegene MSE- und Genauigkeitswerte über variierende Fehlwertraten (25%, 50%, 75%) hinweg.
Robustheit: Im Gegensatz zu Trainingszeit-Methoden (z. B. Remasker), die aufgrund der Abhängigkeit von spezifischen Trainingsmasken bei hohen Fehlwertraten degradieren, blieb HARPOON robust.
Verlustsensitivität: Ablationsstudien zeigten, dass die Verwendung von MAE (oder MAE + CE) zur Inferenzzeit den MSE-Verlust der Trainingszeit übertraf, was die theoretische Behauptung validiert, dass die Geometrie der Mannigfaltigkeit eine flexible Auswahl der Verlustfunktion zur Inferenzzeit ermöglicht.

2. Ungleichheits- und logische Constraints

Constraint-Erfüllung: Für Bereichs-Constraints (z. B. $Age \ge 50$ ) und kategoriale Constraints erreichte HARPOON signifikant niedrigere Verletzungsraten (z. B. <8% bei Adult/Default) im Vergleich zu DiffPuter und GReaT, die Verletzungsraten von 74–96 % aufwiesen, da sie Constraints als Imputationsprobleme behandelten.
Komplexe Logik: HARPOON handhabte erfolgreich Konjunktionen (AND) und Disjunktionen (OR) von Constraints und behielt dabei niedrige Verletzungsraten sowie eine hohe Downstream-Utility (gemessen am XGBoost-Klassifizierer-Leistung) bei, wo Baselines versagten.
Fidelity: Trotz der Durchsetzung von Constraints bewahrte HARPOON eine hohe Stichproben-Fidelity (gemessen am $\alpha$ -Score) und Utility, was darauf hindeutet, dass die manigfaltigkeitsgesteuerten Updates die Stichproben nicht aus der Verteilung drängten.

Effizienz

Die Laufzeit von HARPOON beträgt etwa das 2-fache einer unbedingten Diffusions-Baseline (DiffPuter) aufgrund der zusätzlichen Gradientenberechnungsschritte. Es bleibt jedoch signifikant schneller als LLM-basierte (GReaT) oder kausale Graph-basierte (MIRACLE) Ansätze und schließt das Sampling selbst bei großen Datensätzen in unter 5 Sekunden ab.

Bedeutung und Behauptungen

Das Paper positioniert HARPOON als Brücke zwischen theoretischer Mannigfaltigkeits-Guidance und praktischer tabellarischer Datengenerierung. Seine primäre Bedeutung liegt im Paradigma „Keep training simple, scale at inference“:

Generalisierung: Es eliminiert die Notwendigkeit, Modelle für jeden neuen Constraint neu zu trainieren, wodurch ein einziges vortrainiertes Modell in der Lage ist, sich an ungesehene Bedingungen anzupassen.
Theoretische Stringenz: Es erweitert die Theorie der Mannigfaltigkeits-Guidance über kontinuierliche, flache Domänen hinaus auf die komplexe, gemischte Geometrie tabellarischer Daten.
Praktischer Nutzen: Es bietet einen robusten Mechanismus zur Durchsetzung harter Constraints (Ungleichungen, logische Bedingungen), die in realen Domänen (z. B. Gesundheitswesen, Finanzen) häufig vorkommen, aber für Standard-Generative Modelle schwierig zu erfüllen sind, ohne die Datenverteilungseigenschaften zu verletzen.

Die Autoren kommen zu dem Schluss, dass HARPOON praktische Vorteile für die reale tabellarische Modellierung erschließt, indem es einen allgemeinen, theoretisch fundierten Guidance-Mechanismus bietet, der robust, adaptiv und effizient ist.