🤖 AI

Inverting Data Transformations via Diffusion Sampling

Dieses Paper führt die Transformation-Inverting Energy Diffusion (TIED) ein, eine neuartige Methode, die Diffusionsprozesse auf Lie-Gruppen sowie eine neue trivialisierte Target-Score-Identität nutzt, um unbekannte Datentransformationen probabilistisch zu invertieren und dadurch die Robustheit vortrainierter neuronaler Netze gegenüber Eingangsverzerrungen wie Bildhomografien und PDE-Symmetrien zu verbessern.

Ursprüngliche Autoren: Jinwoo Kim, Sékou-Oumar Kaba, Jiyun Park, Seunghoon Hong, Siamak Ravanbakhsh

Veröffentlicht 2026-06-01

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Jinwoo Kim, Sékou-Oumar Kaba, Jiyun Park, Seunghoon Hong, Siamak Ravanbakhsh

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Das große Problem: Das „Puzzle mit Augenbinde“

Stellen Sie sich vor, Sie haben ein perfektes, klares Foto einer Katze (dies sind Ihre Originaldaten). Jemand nimmt dieses Foto, dreht es, streckt es und verformt es in eine seltsame, unerkennbare Form (dies ist die unbekannte Transformation).

Nun erhalten Sie nur noch das verzerrte, chaotische Foto. Ihr Ziel ist es, genau herauszufinden, wie Sie es verdrehen und dehnen müssen, um es zurück zu biegen, sodass es wieder wie die ursprüngliche Katze aussieht, damit ein Computerprogramm (ein neuronales Netz) sie erkennen kann.

Der schwierige Teil? Sie wissen nicht, wie sie es verzerrt haben. Es könnte sein, dass es um 15 Grad gedreht wurde, oder um 20 % gestreckt wurde, oder aus einem seltsamen Winkel betrachtet wurde. Dies nennt man ein „blindes inverses Problem“.

Der alte Weg: Raten und Überprüfen

Frühere Methoden versuchten, dies so zu lösen:

Deterministisches Raten: Zu versuchen, den einen perfekten Weg zu finden, um das Bild zu korrigieren. Wenn sie falsch geraten hatten, konnte der Computer die Katze immer noch nicht erkennen.
Spezialisierte Trainings: Ein neues Computergehirn zu bauen, das speziell darauf ausgelegt ist, nur eine bestimmte Art von Verdrehung zu handhaben (wie zum Beispiel nur Rotationen). Das ist teuer und funktioniert nicht bei neuen Arten von Verdrehungen.

Der neue Weg: TIED (Der „Diffusions-Detektiv“)

Die Autoren schlagen eine neue Methode namens TIED (Transformation-Inverting Energy Diffusion) vor. Anstatt die Antwort einmalig zu erraten, nutzt TIED einen Prozess, der ähnlich wie die KI-Bildgenerierung funktioniert, aber rückwärts läuft.

So funktioniert es, Schritt für Schritt:

1. Die „Energie“-Karte (Der Kompass)

Zuerst benötigt TIED eine Möglichkeit zu wissen, ob es sich der richtigen Antwort nähert. Es verwendet eine „Energie“-Karte.

Analogie: Stellen Sie sich vor, das ursprüngliche, klare Foto befindet sich am Boden eines tiefen Tals. Die verzerrten, chaotischen Fotos befinden sich hoch oben auf einem Berg.
Die „Energie“ ist die Höhe des Berges. Je niedriger die Energie, desto näher ist das Foto daran, wie eine echte, erkennbare Katze auszusehen.
TIED nutzt ein vortrainiertes Computergehirn, um diese „Höhe“ zu messen. Wenn der Computer denkt: „Das sieht aus wie eine Katze“, ist die Energie niedrig. Wenn der Computer denkt: „Das ist nur Rauschen“, ist die Energie hoch.

2. Der „Diffusions“-Prozess (Der langsame Aufstieg)

Anstatt zu versuchen, direkt zum Boden des Tals zu springen (was schwierig ist, da das Gelände felsig und voller Fallen ist), nutzt TIED einen Diffusionsprozess.

Analogly: Stellen Sie sich vor, Sie sind in einer nebligen Gebirgskette verloren. Sie können den Boden nicht sehen.
Der Vorwärtsprozess: Stellen Sie sich vor, jemand nimmt ein klares Foto und fügt nach und nach immer mehr statisches Rauschen hinzu, bis es nur noch weißes Flimmern ist. Dies ist einfach zu tun.
Der Rückwärtsprozess (TIEDs Magie): TIED beginnt mit dem weißen Flimmern (zufälligem Rauschen) und entfernt das Rauschen Schritt für Schritt, um das Bild freizulegen. Aber anstatt eine neue Katze zu generieren, versucht es, das bestehende chaotische Foto „entzerren“.

3. Die „Lie-Gruppe“ (Die Tanzfläche)

Die Arbeit befasst sich mit komplexen mathematischen Formen, den sogenannten „Lie-Gruppen“.

Analogie: Denken Sie an eine Tanzfläche, auf der Tänzer sich auf unendlich viele Arten bewegen können (drehen, gleiten, dehnen).
Die meisten KI-Methoden versuchen, Bewegungen auf einem flachen Gitter zu berechnen (wie ein Schachbrett). Aber diese Transformationen sind wie ein gekrümmter Tanzboden. Wenn man versucht, auf einem gekrümmten Boden in einer geraden Linie zu gehen, landet man am falschen Ort.
TIED ist besonders, weil es weiß, wie man auf dem gekrümmten Boden tanzt. Es nutzt einen mathematischen Trick namens „Trivialisierung“, um komplexe, gekrümmte Bewegungen in einfache, geradlinige Berechnungen zu übersetzen, wodurch sichergestellt wird, dass es niemals den Tanzboden verlässt.

4. Der „Score“ (Der Wegweiser)

Um zu wissen, in welche Richtung es sich bewegen muss, um die „Energie“ zu senken (um zurück zur Katze zu gelangen), berechnet TIED einen „Score“.

Analogie: Stellen Sie sich einen Guide vor, der Anweisungen vom Boden des Tals aus ruft: „Geh nach links! Geh nach unten!“
TIED berechnet die Stimme dieses Guides nicht, indem es das chaotische Foto direkt betrachtet, sondern indem es viele mögliche „Was-wäre-wenn“-Szenarien simuliert (Monte-Carlo-Sampling), um die beste Bewegungsrichtung zu bestimmen.

Warum ist das eine große Sache?

Die Arbeit behauptet, dass TIED in der Lage ist, ein verzerrtes Bild (oder eine verzerrte physikalische Gleichung zu nehmen) und es zu „entzerren“, sodass ein Standard-Computergehirn es wieder verstehen kann.

Es ist ohne Training (Training-Free): Sie müssen das Computergehirn nicht neu trainieren. Sie fügen einfach diesen „Entverzerrungs“-Schritt hinzu, bevor das Gehirn die Daten betrachtet.
Es ist robust: Es funktioniert selbst dann, wenn die Verzerrung sehr seltsam oder komplex ist (wie Perspektivverformungen im 3D-Raum oder Symmetrien in Physikgleichungen).
Es ist besser: In ihren Tests war TIED besser darin, verzerrte Bilder zu korrigieren und Physikgleichungen zu lösen als bisherige Methoden, die oft stecken blieben oder aufgaben.

Zusammenfassung

Betrachten Sie TIED als einen intelligenten, zeitlich rückwärts laufenden Reiniger.

Sie geben ihm ein chaotisches, verzerrtes Foto.
Es nutzt einen „Kompass“ (Energie), um zu wissen, wie ein „gutes“ Foto aussieht.
Es nutzt einen „Zeitlupen-Rewind“ (Diffusion), um die Verzerrungen Schritt für Schritt vorsichtig abzutragen.
Es stellt sicher, dass jeder Schritt mathematisch gültig bleibt, selbst auf komplexen, gekrümmten Formen.
Das Ergebnis ist ein klares Foto, das der Computer schließlich erkennen kann.

Die Arbeit demonstriert dies an Bildern (wie MNIST-Ziffern) und Physikproblemen (Lösen von Gleichungen) und zeigt damit, dass sie in der Lage ist, Ordnung im Chaos wiederherzustellen, ohne das Haupt-KI-Modell neu trainieren zu müssen.

Technisches Resümee: Invertierung von Datentransformationen via Diffusionssampling

Problemstellung

Die Arbeit befasst sich mit dem Problem der Transformationsinvertierung auf allgemeinen Lie-Gruppen. In vielen Szenarien des maschinellen Lernens und der wissenschaftlichen Modellierung werden beobachtete Daten $\tilde{x}$ erzeugt, indem eine unbekannte Transformation $g$ aus einer Lie-Gruppe $G$ auf eine In-Distribution-Probe $x$ angewendet wird (d. h. $\tilde{x} = g \cdot x$ ). Das Ziel besteht darin, eine inverse Transformation $g^{-1}$ zu rekonstruieren, die die Out-of-Distribution-Beobachtung zurück auf die ursprüngliche Datenverteilung abbildet.

Dies wird als blindes Inversionsproblem formuliert, da die Störtransformation unbekannt ist und die Lösung im Allgemeinen nicht eindeutig ist. Während bestehende Methoden oft im Datenraum operieren oder auf spezialisierte Transformationsfamilien (z. B. Affin- oder Rotationsgruppen) beschränkt sind, zielt diese Arbeit auf allgemeine Lie-Gruppen-Aktionen ab, einschließlich nicht-kompakter, nicht-abelscher Gruppen ohne bi-invariante Metriken (z. B. Bildhomographien $PGL(3, \mathbb{R})$ und Lie-Punkt-Symmetrien für PDEs).

Eine zentrale Anwendung, die hervorgehoben wird, ist die Testzeit-Äquivarianz. Vortrainierte neuronale Netze weisen oft eine mangelnde Robustheit gegenüber geometrischen Transformationen auf. Die Autoren schlagen vor, diese Transformationen zur Testzeit zu invertieren, um Eingaben zurück in die Trainingsverteilung des Modells zu bringen, wodurch die Robustheit verbessert wird, ohne spezialisierte äquivariante Architekturen oder ein Retraining zu erfordern.

Methodik: Transformation-Inverting Energy Diffusion (TIED)

Die vorgeschlagene Methode TIED modelliert die Posterior-Verteilung über Transformationen $p(g | \tilde{x})$ als Boltzmann-Verteilung, die durch eine Energiefunktion $E$ auf dem Datenraum definiert ist. Die Energie leitet sich von einem Daten-Prior $p_x(x)$ ab, wobei $E(x) = -\log p_x(x)$ . Die Posterior-Dichte ist gegeben durch:
$p(g | \tilde{x}) \propto p_x(g^{-1} \cdot \tilde{x}) |\det J_{g^{-1}}(\tilde{x})|$

Um aus dieser Posterior zu sampeln, führt TIED einen Diffusionsprozess direkt auf der Lie-Gruppe ein. Die Methodik überwindet zwei Hauptprobleme: die zerklüftte, multimodale Natur von Energielandschaften (die oft von neuronalen Netzen abgeleitet sind) und die geometrischen Beschränkungen des Samplings auf Mannigfaltigkeiten.

1. Trivialisiertes Diffusion auf Lie-Gruppen

Anstatt Updates in den Tangentialräumen beliebiger Gruppenelemente durchzuführen, nutzt TIED die Trivialisierung. Die Updates erfolgen in der Lie-Algebra $\mathfrak{g}$ (dem Tangentialraum am Identitätselement) und werden via Exponentialabbildung auf das aktuelle Gruppenelement transportiert.

Vorwärts-Prozess: Eine Variance-Exploding Stochastic Differential Equation (SDE) wird auf der Gruppe definiert, indem infinitesimale Störungen in der Lie-Algebra gezogen und via Rechtsmultiplikation transportiert werden:
$dg_t = d(L_{g_t})_e [\gamma(t) dw^{\mathfrak{g}}_t]$
wobei $w^{\mathfrak{g}}_t$ eine Brownsche Bewegung in der Lie-Algebra ist.
Rückwärts-Prozess: Die Rückwärts-SDE wird abgeleitet, um Proben aus der Posterior zu gewinnen. Entscheidend ist, dass der Drift-Term den trivialisierten Score $\nabla_g \log p_t(g_t)$ beinhaltet, welcher ein Element der Lie-Algebra ist.

2. Trivialisierte Target-Score-Identität

Ein wesentlicher theoretischer Beitrag ist eine neue trivialisierte Target-Score-Identität. Standardmäßiges Score-Matching erfordert Zugriff auf saubere Proben, die in diesem Inversionsszenario nicht verfügbar sind. Stattdessen drückt TIED den Score der verrauschten Verteilung in Abhängigkeit vom Gradienten der sauberen Energiefunktion aus.
Die Autoren beweisen, dass für allgemeine Lie-Gruppen (oh-ne die Anforderung einer bi-invarianten Metrik) der trivialisierte Score mittels einer Monte-Carlo-Erwartung über den Rauschkern $k_t$ geschätzt werden kann:
$\nabla_g \log p_t(g_t) = \nabla_g \log \int_G k_t(w) \exp\left(-E(g_t w^{-1}) - \log \lambda(w)\right) d\mu(w)$
wobei $\lambda(w)$ die Änderung des Haar-Maßes unter Inversion berücksichtigt. Dies ermöglicht die Schätzung des Scores allein unter Verwendung der Energiefunktion $E$ und deren Gradienten, die mittels automatischer Differenzierung berechnet werden.

3. Praktische Implementierung

Der Sampling-Algorithmus (Algorithmus 1) diskretisiert die Rückwärts-SDE. In jedem Schritt:

Zieht Rauschen $w$ aus dem Rauschkern $k_t$ .
Berechnet die Energie $E$ für transformierte Kandidaten.
Schätzt den trivialisierten Score mittels der Monte-Carlo-Identität (unter Verwendung des Log-Sum-Exp-Tricks zur Stabilisierung).
Aktualisiert das Gruppenelement mittels der Exponentialabbildung.

Die Methode unterstützt verschiedene Energie-Definitionen, einschließlich solcher, die von Variational Autoencoders (VAEs) oder direkt aus der Konfidenzvorhersage eines vortrainierten Klassifikators abgeleitet sind.

Wichtigste Beiträge

TIED Sampler: Ein neuartiger Diffusionssampler zur Invertierung von Datentransformationen auf allgemeinen Lie-Gruppen. Er garantiert, dass Updates auf der Mannigfaltigkeit bleiben, und handhabt nicht-kompakte, nicht-lineare Aktionen unter Verwendung ausschließlich der Kenntnis der Lie-Algebra.
Theoretischer Rahmen: Ein Beweis, dass Transformationsinversion zur Testzeit-Äquivarianz vortrainierter Modelle genutzt werden kann. Die Autoren zeigen, dass die Transformationsinversions-Posterior $G$ -äquivariant ist, was die Korrektheit des Ansatzes sicherstellt.
Neue Score-Identität: Eine Verallgemeinerung der Target-Score-Identität auf Lie-Gruppen, die ohne bi-invariante Metriken funktioniert und somit ein effizientes Score-basiertes Sampling mittels Energien-Gradienten statt reiner Datenproben ermöglicht.
Empirische Validierung: Demonstrationen an Bildhomographien ( $PGL(3, \mathbb{R})$ ) und PDE-Symmetrien ( $SL(2, \mathbb{R}) \ltimes H(1, \mathbb{R})$ ), die eine konsistente Leistungssteigerung gegenüber starken Baselines zeigen.

Experimentelle Ergebnisse

Das Paper evaluiert TIED in drei Hauptaufgaben:

Synthetisches Sampling auf $SO(10)$: TIED sampelt erfolgreich aus einer multimodalen Energiedistribution auf einer hochdimensionalen Lie-Gruppe ($dim=45$) und konvergiert signifikant schneller als ein trivialisierter kinetischer Langevin-Sampler.
Bildklassifizierung (MNIST):
- Setup: Ein vortrainierter ResNet18 wird auf MNIST-Bildern getestet, die unbekannten affinen ( $Aff(2, \mathbb{R})$ ) und Homographie-Transformationen ( $PGL(3, \mathbb{R})$ ) unterliegen.
- Baselines: Vergleich gegen Optimierungsbasierte Methoden (LieLAC, FoCal, ITS) und Sampling-Methoden (Kinetischer Langevin).
- Ergebnisse: TIED übertrifft alle Baselines signifikant. Beispielsweise erreicht TIED unter affinen Transformationen mit einem Klassifikator-basierten Energie-Modell eine Genauigkeit von 82,64 % im Vergleich zu 55,48 % für den rohen ResNet18 und 74,72 % für kinetischen Langevin. Es übertrifft in einigen Settings auch spezialisierte äquivariante Netzwerke (affConv).
PDE-Lösen:
- Setup: Ein DeepONet-Neural-Operator wird auf 1D-Wärme- und Burgers-Gleichungen unter unbekannten Lie-Punkt-Symmetrietransformationen getestet.
- Ergebnisse: TIED erzielt den niedrigsten relativen $L_2$ -Fehler in allen Testfällen und übertrifft dabei LieLAC und FoCal. Für die 1D-Wärmegleichung mit $SL(2, \mathbb{R}) \ltimes H(1, \mathbb{R})$ -Symmetrien reduziert TIED den Fehler auf 0,043, verglichen mit 0,066 für LieLAC und 0,690 für den unkorrigierten DeepONet.

Bedeutung und Behauptungen

Die Autoren behaupten, dass TIED eine training-freie Pipeline bereitstellt, um jedes vortrainierte Modell zur Testzeit äquivariant gegenüber Lie-Gruppen-Transformationen zu machen. Durch die Nutzung von Energy-Based Models (die durch das vortrainierte Modell selbst approximiert werden können), vermeidet die Methode die Notwendigkeit spezialisierter äquivarianter Architekturen oder teurem Retraining.

Die Signifikanz liegt in:

Generalität: Es gilt für eine breite Klasse von Lie-Gruppen, einschließlich solcher, die nicht-kompakt sind und keine bi-invarianten Metriken besitzen, was bisherige Diffusions- oder Optimierungsmethoden vor Herausforderungen gestellt hat.
Robustheit: Es stellt transformierte Eingaben effektiv auf die Trainingsverteilung wieder her und verbessert dadurch die Generalisierung vortrainierter Netzwerke auf Out-of-Distribution-geometrische Transformationen erheblich.
Effizienz: Der Diffusionsansatz bietet in Kombination mit der trivialisierten Score-Identität einen effizienteren und stabileren Sampling-Prozess im Vergleich zu traditionellem MCMC oder iterativer Optimierung auf zerklüfteten Energielandschaften.

Das Paper schließt mit der Feststellung, dass dieser Ansatz eine Form der Inferenzzeit-Skalierung für Äquivarianz darstellt und eine praktische Lösung für Robustheit in der Ära großer Foundation-Modelle bietet, in der der Umgang mit Out-of-Distribution-Transformationen kritisch ist.