🤖 machine learning

Measure-to-measure Regression with Transformers

Dieser Beitrag führt eine Formalisierung der nichtlinearen Maß-zu-Maß-Regression ein und schlägt zwei skalierbare, auf Transformern basierende Ansätze vor – statische Abbildungen und dynamische Geschwindigkeitsfelder –, um Transformationen zwischen Wahrscheinlichkeitsverteilungen zu erlernen, und zeigt deren Wirksamkeit bei der Vorhersage der Populationsentwicklung in synthetischen, physikalischen und biologischen Datensätzen.

Ursprüngliche Autoren: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

Veröffentlicht 2026-05-28

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen einem Roboter beizubringen, vorherzusagen, wie sich eine Menschenmenge bewegt.

Der alte Weg (Klassische Regression):
Normalerweise betrachtet man zur Vorhersage von Bewegungen eine Person nach der anderen. Man sagt: „Wenn Alice nach links geht, landet sie hier. Wenn Bob nach rechts geht, landet er dort." Man behandelt jeden als unabhängigen Reisenden.

Das neue Problem (Maß-zu-Maß-Regression):
Aber in vielen realen Situationen – wie bei einem Fischschwarm, einem Bienenschwarm oder einer Ansammlung von Zellen im Körper – bewegen sich Menschen nicht allein. Sie bewegen sich als Kollektiv. Wenn sich die gesamte Menge verschiebt, liegt das daran, wie sie miteinander interagieren. Man kann nicht nur eine Person betrachten; man muss die gesamte „Wolke" aus Menschen (die Verteilung) betrachten und vorhersagen, wie sich die gesamte Wolke neu formt.

Die Arbeit nennt dies Maß-zu-Maß-Regression (M2M-Regression). Anstatt vorherzusagen, wohin ein einzelner Punkt geht, sagen Sie voraus, wie sich eine gesamte Form oder Wolke von Punkten in eine neue Form verwandelt.

Die Lösung: Der „Transformer" als Mengenmanager

Die Autoren schlagen vor, eine bestimmte Art von KI namens Transformer (dieselbe Technologie, die vielen modernen Chatbots zugrunde liegt), zu verwenden, um dies zu lösen. Aber sie nutzen sie auf eine besondere Weise.

Stellen Sie sich einen Standard-Transformer als einen super-organisierten Manager vor, der eine Liste von Elementen betrachtet und entscheidet, was mit jedem einzelnen zu tun ist, basierend auf den anderen.

Der Zauber: In dieser Arbeit betrachtet der Transformer nicht nur eine Liste; er betrachtet die gesamte Menge als eine einzige Entität. Er fragt: „Angesichts der aktuellen Form dieser Menge, wie sollte sich jede einzelne Person bewegen, um diese Form in diese neue Form zu verwandeln?"

Die Arbeit stellt zwei Hauptmethoden vor, um dies zu tun:

1. Die „Snap"-Methode (Statische Transformer)

Stellen Sie sich vor, Sie haben ein Foto einer Menge in einer Startposition und ein Foto von ihnen in einer Endposition.

Wie es funktioniert: Die KI betrachtet das Startfoto und berechnet sofort eine „magische Karte", die jeder einzelnen Person genau sagt, wohin sie springen muss, um in einem einzigen riesigen Sprung das Ziel zu erreichen.
Die Analogie: Es ist wie ein Regisseur, der ruft: „Alle, springt jetzt sofort zu eurem Endplatz!" und die Menge teleportiert sich sofort in die neue Formation.
Vor-/Nachteile: Es ist schnell, aber die Berechnung dieses perfekten „Sprungs" für alle gleichzeitig ist mathematisch sehr schwierig und kann chaotisch sein.

2. Die „Flow"-Methode (Dynamische Transformer / M2M-TFM)

Dies ist der Star der Arbeit. Anstatt eines riesigen Sprungs, stellen Sie sich vor, die Menge bewegt sich wie eine Flüssigkeit oder ein Fluss.

Wie es funktioniert: Die KI sagt den Leuten nicht, wohin sie springen sollen. Stattdessen wirkt sie wie ein Wind oder eine Strömung. Sie berechnet ein „Geschwindigkeitsfeld" – eine sanfte Brise, die die Menge vorantreibt.
- Zum Zeitpunkt 0 ist die Brise schwach.
- Zum Zeitpunkt 0,5 drückt die Brise stärker in eine bestimmte Richtung.
- Zum Zeitpunkt 1 hat sich die Menge sanft in die neue Form geflossen.
Die Analogie: Denken Sie daran, Wasser aus einem Krug in ein Glas zu gießen. Sie sagen keinem einzelnen Wassermolekül, wohin es gehen soll; Sie kontrollieren einfach den Fluss des Strahls, und das Wasser findet auf natürliche Weise seinen Weg, um das Glas zu füllen.
Warum es besser ist: Die Arbeit zeigt, dass diese „Flow"-Methode viel flexibler und genauer ist. Sie lernt die Regeln der Bewegung, statt nur Start- und Endpunkte auswendig zu lernen.

Wo haben sie dies getestet?

Die Autoren haben nicht nur über Theorie gesprochen; sie haben ihren „Mengenmanager" an drei spezifischen Herausforderungen getestet:

Formwandelnde Buchstaben: Sie nahmen Wolken aus Punkten, die Buchstaben bildeten (wie „A" oder „B"), und verunstalteten sie (zerstreuten die Punkte). Die KI musste lernen, wie sie die zerstreuten Punkte zurück in die korrekte Buchstabenform drückt. Ihre „Flow"-Methode war dabei die beste.
Simulierte Physik: Sie simulierten komplexe Systeme, in denen Teilchen interagieren (wie das „Kuramoto-Modell", das wie eine Gruppe von Pendeln ist, die gemeinsam schwingen). Die KI musste vorhersagen, wie sich die Gruppe im Laufe der Zeit entwickeln würde. Wieder gewann die Flow-Methode.
Reale Biologie (Darmkrebs): Dies ist der große Punkt. Sie verwendeten Daten von patientenabgeleiteten Organoiden (winzige, 3D-Cluster von Zellen, die aus einem Tumor eines Patienten gezüchtet wurden).
- Das Setup: Sie hatten Daten, die zeigten, wie die Zellen eines Patienten vor der Behandlung und nach der Behandlung aussahen.
- Das Ziel: Sie trainierten die KI mit Daten von 9 Patienten und baten sie, die Behandlungswirkung für einen 10. Patienten vorherzusagen, den sie noch nie gesehen hatte.
- Das Ergebnis: Die KI lernte erfolgreich die „Regeln", wie diese spezifischen Krebszellen auf Medikamente reagieren, und konnte das Ergebnis für den neuen Patienten besser vorhersagen als frühere Methoden.

Das Fazit

Die Arbeit argumentiert, dass man, wenn man mit Gruppen zu tun hat, die sich gemeinsam bewegen (wie Zellen, Teilchen oder Menschenmengen), diese nicht als Individuen behandeln sollte. Man sollte sie als eine einzelne, sich verändernde Wolke behandeln.

Indem sie Transformer verwenden, um entweder als „Snap"-Karte oder als „Flow"-Strömung zu wirken, schufen sie ein Werkzeug, das lernen kann, wie man diese Wolken neu formt. Ihr „Flow"-Ansatz (M2M-TFM) ist besonders leistungsfähig, weil er das komplexe Problem, eine ganze Menge zu bewegen, in eine sanfte, schrittweise Reise zerlegt, was es leichter zu lernen und genauer vorherzusagen macht, selbst für völlig neue Situationen.

Technische Zusammenfassung: Maß-zu-Maß-Regression mit Transformern

Problemdefinition

Die Arbeit adressiert das Problem der Maß-zu-Maß-Regression (M2M), das darauf abzielt, eine Abbildung zwischen Wahrscheinlichkeitsmaßen zu erlernen, anstatt zwischen einzelnen Datenpunkten. In vielen wissenschaftlichen Domänen, wie der Zell- und Molekularbiologie, entwickeln sich Populationen als Kollektive und nicht als unabhängige Einheiten. Folglich werden Daten natürlicherweise als Punktwolken oder Verteilungen (Maße) $\mu$ und $\nu$ dargestellt. Das Ziel besteht darin, einen Operator $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ zu erlernen, sodass $\nu = T^*(\mu)$ gilt, gegeben eine endliche Menge beobachteter Eingabe-Ausgabe-Paare $\{(\mu_i, \nu_i)\}_{i=1}^n$ .

Im Gegensatz zur klassischen Regression, bei der Stichproben unabhängig transformiert werden, behandelt die M2M-Regression gesamte Verteilungen als fundamentale Datenpunkte. Eine kritische Herausforderung besteht darin, dass der erlernte Operator auf nicht gesehene Maße verallgemeinern muss, einschließlich solcher mit unterschiedlichen Trägergrößen oder glatten Grenzwerten, anstatt lediglich zwischen den während des Trainings gesehenen empirischen Trägern zu interpolieren. Bestehende Ansätze verlassen sich häufig auf eingeschränkte Funktionsklassen (z. B. lineare Transportabbildungen oder Kernel-Methoden), die für komplexe, nichtlineare Dynamiken entweder nicht ausdrucksstark genug oder nicht skalierbar sind.

Methodik

Die Autoren schlagen vor, Transformer als Operatoren auf Wahrscheinlichkeitsmaßen einzusetzen und dabei ihre inhärente maßabhängige und Mean-Field-Struktur zu nutzen. Der Self-Attention-Mechanismus ermöglicht es einem Transformer, eine Menge von Tokens (Partikeln) als Kollektiv zu verarbeiten und seine Ausgabe effektiv auf die empirische Verteilung der Eingabe zu konditionieren.

Die Arbeit formalisiert nichtlineare M2M-Operatoren als Pushforward-Abbildungen der Form $T(\mu) = (f_\mu)^\sharp \mu$ , wobei die Transportabbildung $f_\mu$ explizit vom Quellmaß $\mu$ abhängt. Zwei unterschiedliche Transformer-basierte Paradigmen werden eingeführt:

1. Statische M2M-Regression (Ein-Schritt-Pushforward)

Dieser Ansatz modelliert die Transformation als direkte, einstufige Abbildung $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ , parametrisiert durch einen Transformer.

Mechanismus: Der Transformer nimmt eine Menge von Partikeln entgegen, die das Eingabemaß $\mu$ definieren, und gibt eine transformierte Menge von Partikeln aus, die das Zielmaß $\nu$ repräsentieren.
Training: Das Modell wird trainiert, indem ein verteilungsbasiertes Verlustmaß $D(F_\mu(x), y)$ über Kopplungen $\gamma_i$ zwischen Eingabe- und Ausgabemaßen minimiert wird. Die Autoren verwenden verschiedene Verlustfunktionen, einschließlich Maximum Mean Discrepancy (MMD), Energy Distance (ED) und Wasserstein-Distanzen ( $W_1, W_2$ ), die über den Sinkhorn-Algorithmus berechnet werden.
Einschränkung: Die Optimierung von verteilungsbasierten Distanzen in hohen Dimensionen ist statistisch und rechnerisch herausfordernd.

2. Dynamische M2M-Regression (Transformer Flow Matching - M2M-TFM)

Um die Schwierigkeiten der direkten verteilungsbasierten Optimierung zu überwinden, führen die Autoren einen dynamischen Ansatz ein, der die Transformation als kontinuierlichen Fluss modelliert.

Mechanismus: Anstelle einer einzigen Abbildung wird die Transformation durch ein zeitabhängiges Geschwindigkeitsfeld $\chi_t[\mu(t)]$ definiert, das vom aktuellen Zustand des Maßes abhängt. Die Evolution des Maßes wird durch eine Kontinuitätsgleichung gesteuert: $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ . Das endgültige Ergebnis wird durch Integration dieser gewöhnlichen Differentialgleichung (ODE) von $t=0$ bis $t=1$ erhalten.
Architektur: Ein zeitabhängiger Transformer parametrisiert das Geschwindigkeitsfeld $\chi_t$ . Der Transformer verarbeitet den aktuellen Satz von Partikeln und den Zeitschritt $t$ , um den Geschwindigkeitsvektor für jeden Partikel vorherzusagen.
Training (M2M-TFM): Die Methode employs Conditional Flow Matching (CFM). Sie trainiert das Geschwindigkeitsfeld so, dass es die Zielgeschwindigkeit eines linearen Interpolationspfads $\phi_t(x, y) = (1-t)x + ty$ zwischen Quell- und Zielpartikeln nachbildet. Die Verlustfunktion minimiert den quadratischen Fehler zwischen der vorhergesagten Geschwindigkeit und der Zielgeschwindigkeit $(y-x)$ , marginalisiert über den Datensatz von Maßpaaren. Dies wandelt das schwierige verteilungsbasierte Optimierungsproblem in eine handhabbare punktweise Regressionsaufgabe um.
Inferenz: Gegeben ein neues Eingabemaß simuliert das Modell die ODE-Trajektorie schrittweise, um die vorhergesagte Ausgabemaß zu generieren.

Hauptbeiträge

Formalisierung: Die Arbeit liefert eine rigorose Formalisierung der nichtlinearen M2M-Regression als Erlernen von Operatoren auf dem Raum der Wahrscheinlichkeitsmaße $\mathcal{P}(\mathbb{R}^d)$ und unterscheidet zwischen direkten Abbildungen und kontinuierlicher Zeitdynamik.
Neue Frameworks: Sie stellt zwei skalierbare, ausdrucksstarke Ansätze vor:
- Statische Transformer: Verwendung von Standard-Transformern zur direkten Approximation der M2M-Abbildung.
- M2M-TFM: Ein dynamisches Framework, das Flow Matching mit der maßabhängigen Natur von Transformern integriert und die Notwendigkeit einer expliziten verteilungsbasierten Verlustoptimierung während des Trainings eliminiert.
Empirische Validierung: Die Autoren demonstrieren die Wirksamkeit dieser Methoden in drei unterschiedlichen Szenarien:
- Synthetische Mehr-Maß-Objekte: Vorhersage der Umkehrung von Diffusions- und Kernel-Interaktionsprozessen auf Buchstabenformen und Mehr-Objekt-Kompositionen.
- McKean-Vlasov-Systeme: Vorhersage der Evolution von Populationsdynamiken in 2D-, 50D- und 100D-Systemen (Kuramoto, FitzHugh-Nagumo, Mean-Field Atlas).
- Reale Anwendung: Vorhersage des Therapieansprechens bei Darmkrebs unter Verwendung eines groß angelegten, aus Patienten stammenden Organoid-Datensatzes (PDO), wobei das Modell auf nicht gesehene Patienten verallgemeinern muss.

Ergebnisse

Die vorgeschlagenen Methoden, insbesondere das dynamische M2M-TFM, übertreffen bestehende Baselines konsistent in allen experimentellen Settings:

Synthetische Objekte: M2M-TFM erzielte die niedrigsten Wasserstein- ( $W_1$ ) und Energy-Distance-(ED)-Fehler und übertraf Conditional Flow Matching (CFM), Meta-Flow Matching (Meta-FM) und Wasserstein Flow Matching (WFM) signifikant.
McKean-Vlasov-Systeme: In hochdimensionalen (100D) Settings zeigte M2M-TFM eine überlegene Generalisierung und Ausdruckskraft im Vergleich zu Neural McKean-Vlasov (NMKV) und Mean-Field-Transformern (MF-Transformer) und reduzierte den Fehler oft um einen beträchtlichen Betrag.
Biologische Anwendung: Auf dem Darmkrebs-Datensatz lieferte M2M-TFM eine ausgewogene Leistung über alle Metriken hinweg ( $W_1$ , ED und $r^2$ ), wohingegen statische Methoden tendenziell nur in der Metrik excelierten, die ihrer spezifischen Verlustfunktion entsprach. M2M-TFM erreichte das höchste $r^2$ (0,9029) und konkurrenzfähige $W_1$ -Werte, was auf eine robuste Generalisierung auf nicht gesehene Patienten hindeutet.

Bedeutung und Behauptungen

Die Arbeit behauptet, dass Transformer eine natürliche und leistungsfähige Architektur für die M2M-Regression darstellen, aufgrund ihrer inhärenten Fähigkeit, maßabhängige Dynamiken zu modellieren. Durch die Formalisierung des Problems durch die Brille von Operatoren auf $\mathcal{P}(\mathbb{R}^d)$ überbrücken die Autoren die Lücke zwischen theoretischen Mean-Field-Grenzen von Transformern und praktischen Anwendungen.

Die primäre Bedeutung liegt im M2M-TFM-Framework, das eine skalierbare und ausdrucksstarke Lösung für das M2M-Regressionsproblem bietet. Indem das Erlernen komplexer verteilungsbasierter Operatoren auf eine punktweise Regression an Geschwindigkeitsfeldern reduziert wird, vermeidet die Methode den „Fluch der Dimensionalität", der mit der direkten Optimierung verteilungsbasierter Distanzen verbunden ist. Die Autoren positionieren diese Arbeit als vielseitige Grundlage für die Modellierung kollektiver Dynamiken in wissenschaftlichen Anwendungen und heben insbesondere ihren Erfolg bei der Vorhersage zellulärer Evolution und Therapieansprechen hervor, wo Daten inhärent verteilt sind.

Die Arbeit bleibt hinsichtlich theoretischer Garantien bescheiden und stellt fest, dass, obwohl tiefe Transformer als bekannte universelle Approximatoren für M2M-Abbildungen bekannt sind, formale Garantien für das Erlernen nichtlinearer Operatoren mittels Vektorfeldmodellen im Rahmen des Flow-Matching-Rahmens eine offene Richtung für zukünftige Arbeiten bleiben. Ebenso geht die aktuelle Implementierung von linearen Interpolationspfaden und deterministischen Dynamiken aus und überlässt Erweiterungen auf nichtlineare, stochastische und unausgeglichene Settings der zukünftigen Forschung.