🤖 machine learning

Measure-to-measure Regression with Transformers

Dit artikel introduceert een formalisering van niet-lineaire regressie van maat tot maat en stelt twee schaalbare transformer-gebaseerde benaderingen voor—statische kaarten en dynamische snelheidsvelden—om transformaties tussen kansverdelingen te leren, waarbij de effectiviteit ervan wordt aangetoond in het voorspellen van populatie-evolutie over synthetische, fysieke en biologische datasets.

Oorspronkelijke auteurs: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

Gepubliceerd 2026-05-28

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Matthew Vandergrift, Martha White, Yury Polyanskiy, Philippe Rigollet, Lazar Atanackovic

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je probeert een robot te leren hoe een menigte mensen zich zal verplaatsen.

De oude manier (klassieke regressie):
Meestal, als je beweging wilt voorspellen, bekijk je één persoon tegelijk. Je zegt: "Als Alice naar links loopt, eindigt ze hier. Als Bob naar rechts loopt, eindigt hij daar." Je behandelt iedereen als een onafhankelijke reiziger.

Het nieuwe probleem (maat-naar-maat regressie):
Maar in veel real-world situaties—zoals een school vissen, een zwerm bijen, of een menigte cellen in een lichaam—bewegen mensen niet alleen. Ze bewegen als een collectief. Als de hele menigte verschuift, is dat omdat ze met elkaar interageren. Je kunt niet gewoon naar één persoon kijken; je moet naar de hele "wolk" van mensen (de verdeling) kijken en voorspellen hoe de hele wolk zichzelf zal herschikken.

Het artikel noemt dit Maat-naar-maat (M2M) regressie. In plaats van te voorspellen waar één punt naartoe gaat, voorspel je hoe een hele vorm of wolk van punten transformeert in een nieuwe vorm.

De oplossing: De "Transformer" als menigtemanager

De auteurs stellen voor om een specifiek type AI te gebruiken, genaamd een Transformer (dezelfde technologie achter veel moderne chatbots), om dit op te lossen. Maar ze gebruiken het op een speciale manier.

Stel je een standaard Transformer voor als een super-georganiseerde manager die naar een lijst met items kijkt en beslist wat hij met elk item moet doen op basis van de anderen.

De magie: In dit artikel kijkt de Transformer niet alleen naar een lijst; hij kijkt naar de hele menigte als een enkele entiteit. Hij vraagt: "Gegeven de huidige vorm van deze menigte, hoe moet elke enkele persoon zich verplaatsen om deze vorm om te zetten in die nieuwe vorm?"

Het artikel introduceert twee hoofdmanieren om dit te doen:

1. De "Snap"-methode (Statische Transformers)

Stel je voor dat je een foto hebt van een menigte in een startpositie en een foto van hen in een eindpositie.

Hoe het werkt: De AI kijkt naar de startfoto en berekent direct een "magische kaart" die elke enkele persoon precies vertelt waar hij moet springen om in één grote sprong naar de bestemming te komen.
De analogie: Het is als een regisseur die schreeuwt: "Iedereen, spring NU naar je eindplek!" en de menigte teleporteert direct naar de nieuwe formatie.
Voor- en nadelen: Het is snel, maar het berekenen van die perfecte "sprong" voor iedereen tegelijk is wiskundig erg moeilijk en kan rommelig zijn.

2. De "Stroom"-methode (Dynamische Transformers / M2M-TFM)

Dit is de ster van het artikel. In plaats van een grote sprong, stel je voor dat de menigte beweegt als een vloeistof of een rivier.

Hoe het werkt: De AI vertelt mensen niet waar ze moeten springen. In plaats daarvan werkt het als een wind of een stroming. Het berekent een "snelheidsveld"—een zachte bries die de menigte duwt.
- Op tijdstip 0 is de bries zwak.
- Op tijdstip 0,5 duwt de bries harder in een specifieke richting.
- Op tijdstip 1 is de menigte vloeiend in de nieuwe vorm gestroomd.
De analogie: Denk aan het gieten van water uit een kan in een glas. Je vertelt geen enkel watermolecuul waar het naartoe moet; je controleert gewoon de stroom van de straal, en het water vindt vanzelf zijn weg om het glas te vullen.
Waarom het beter is: Het artikel toont aan dat deze "stroom"-methode veel flexibeler en accurater is. Het leert de regels van beweging in plaats van alleen de start- en eindpunten te onthouden.

Waar hebben ze dit getest?

De auteurs hebben niet alleen over theorie gesproken; ze hebben hun "Menigtemanager" getest op drie specifieke uitdagingen:

Vormveranderende letters: Ze namen wolken van stippen die letters vormden (zoals "A" of "B") en beschadigden ze (de stippen verspreiden). De AI moest leren hoe de verspreide stippen terug naar de juiste lettervorm geduwd moesten worden. Hun "Stroom"-methode was hierin het beste.
Gesimuleerde fysica: Ze simuleerden complexe systemen waarbij deeltjes interageren (zoals het "Kuramoto-model", wat lijkt op een groep slingers die samen zwaaien). De AI moest voorspellen hoe de groep zich in de loop van de tijd zou ontwikkelen. Ook hier won de Stroom-methode.
Real-world biologie (Kleurdarmkanker): Dit is de grote. Ze gebruikten data van van patiënten afgeleide organoïden (kleine, 3D-clusters van cellen die zijn gekweekt uit een tumor van een patiënt).
- De opzet: Ze hadden data die liet zien hoe de cellen van een patiënt er voor de behandeling uitzagen en na de behandeling.
- Het doel: Ze trainden de AI op 9 patiënten en vroegen het om de behandelingsrespons te voorspellen voor een 10e patiënt die het nog nooit had gezien.
- Het resultaat: De AI leerde succesvol de "regels" van hoe deze specifieke kankercellen reageren op medicijnen en kon de uitkomst voor de nieuwe patiënt beter voorspellen dan eerdere methoden.

De conclusie

Het artikel betoogt dat wanneer je te maken hebt met groepen die samen bewegen (zoals cellen, deeltjes of menigten), je ze niet als individuen moet behandelen. Je moet ze behandelen als een enkele, verschuivende wolk.

Door Transformers te gebruiken om te fungeren als een "Snap"-kaart of een "Stroom"-stroom, creëerden ze een tool die kan leren hoe deze wolken herschikt moeten worden. Hun "Stroom"-benadering (M2M-TFM) is bijzonder krachtig omdat het het complexe probleem van het verplaatsen van een hele menigte opbreekt in een vloeiende, stap-voor-stap reis, waardoor het makkelijker te leren is en accurater te voorspellen, zelfs voor volledig nieuwe situaties.

Technische Samenvatting: Regressie van Maat tot Maat met Transformers

Probleemdefinitie

Het artikel behandelt het regressieprobleem van maat tot maat (M2M), dat gericht is op het leren van een afbeelding tussen waarschijnlijkheidsmaten in plaats van tussen individuele datapunten. In veel wetenschappelijke domeinen, zoals cellulaire en moleculaire biologie, evolueren populaties als collectieven in plaats van als onafhankelijke entiteiten. Bijgevolg worden data van nature weergegeven als puntenwolken of verdelingen (maten) $\mu$ en $\nu$ . Het doel is om een operator $T^*: \mathcal{P}(\mathbb{R}^d) \to \mathcal{P}(\mathbb{R}^d)$ te leren zodat $\nu = T^*(\mu)$ , gegeven een eindige verzameling waargenomen invoer-uitvoerparen $\{(\mu_i, \nu_i)\}_{i=1}^n$ .

In tegenstelling tot klassieke regressie, waarbij steekproeven onafhankelijk worden getransformeerd, behandelt M2M-regressie hele verdelingen als de fundamentele datapunten. Een kritieke uitdaging is dat de geleerde operator moet generaliseren naar ongeziene maten, inclusief die met verschillende ondersteuningsgroottes of gladde limieten, in plaats van slechts te interpoleren tussen de empirische ondersteuningen die tijdens het trainen zijn gezien. Bestaande benaderingen vertrouwen vaak op beperkte functieklassen (bijvoorbeeld lineaire transportkaarten of kernmethodes) die onvoldoende expressiviteit of schaalbaarheid bieden voor complexe, niet-lineaire dynamica.

Methodologie

De auteurs stellen voor om Transformers in te zetten als operatoren op waarschijnlijkheidsmaten, gebruikmakend van hun inherente maat-afhankelijke en mean-field structuur. Het self-attention-mechanisme stelt een transformer in staat om een set tokens (deeltjes) als een collectief te verwerken, waardoor de output effectief wordt geconditioneerd op de empirische verdeling van de invoer.

Het artikel formaliseert niet-lineaire M2M-operatoren als pushforward-kaarten van de vorm $T(\mu) = (f_\mu)^\sharp \mu$ , waarbij de transportkaart $f_\mu$ expliciet afhankelijk is van de bronmaat $\mu$ . Er worden twee verschillende transformer-gebaseerde paradigma's geïntroduceerd:

1. Statische M2M-regressie (Een-staps pushforward)

Deze benadering modelleert de transformatie als een directe, een-staps kaart $F_\mu: \mathbb{R}^d \to \mathbb{R}^d$ geparametriseerd door een transformer.

Mechanisme: De transformer neemt een set deeltjes die de invoermaat $\mu$ definiëren en geeft een getransformeerde set deeltjes terug die de doelmaat $\nu$ vertegenwoordigen.
Training: Het model wordt getraind door een distributieverlies $D(F_\mu(x), y)$ te minimaliseren over koppelingen $\gamma_i$ tussen invoer- en uitvoermaten. De auteurs maken gebruik van verschillende verliezen, waaronder Maximum Mean Discrepancy (MMD), Energy Distance (ED) en Wasserstein-afstanden ( $W_1, W_2$ ), berekend via het Sinkhorn-algoritme.
Beperking: Het optimaliseren van distributie-afstanden in hoge dimensies is statistisch en computationeel uitdagend.

2. Dynamische M2M-regressie (Transformer Flow Matching - M2M-TFM)

Om de moeilijkheden van directe distributie-optimalisatie te overwinnen, introduceren de auteurs een dynamische benadering die de transformatie modelleert als een continue-tijdstroom.

Mechanisme: In plaats van een enkele kaart wordt de transformatie gedefinieerd door een tijdsafhankelijk snelheidsveld $\chi_t[\mu(t)]$ dat afhankelijk is van de huidige staat van de maat. De evolutie van de maat wordt beheerst door een continuïteitsvergelijking: $\partial_t \mu(t) + \nabla \cdot (\mu(t) \chi_t[\mu(t)]) = 0$ . De uiteindelijke output wordt verkregen door deze Gewone Differentiaalvergelijking (ODE) te integreren van $t=0$ tot $t=1$ .
Architectuur: Een tijdsafhankelijke transformer parametriseert het snelheidsveld $\chi_t$ . De transformer verwerkt de huidige set deeltjes en de tijdstap $t$ om het snelheidsvector voor elk deeltje te voorspellen.
Training (M2M-TFM): De methode maakt gebruik van Conditional Flow Matching (CFM). Het traint het snelheidsveld om de doel-snelheid van een lineaire interpolatiepad $\phi_t(x, y) = (1-t)x + ty$ tussen bron- en doeldeeltjes te matchen. De verliesfunctie minimaliseert de kwadratische fout tussen de voorspelde snelheid en de doel-snelheid $(y-x)$ , gemarginaliseerd over de dataset van maatparen. Dit zet het moeilijke distributie-optimalisatieprobleem om in een hanteerbare puntsgewijze regressietak.
Inferentie: Gegeven een nieuwe invoermaat, simuleert het model de ODE-trajectorie stap voor stap om de voorspelde uitvoermaat te genereren.

Belangrijkste Bijdragen

Formalisatie: Het artikel biedt een rigoureuze formalisatie van niet-lineaire M2M-regressie als het leren van operatoren op de ruimte van waarschijnlijkheidsmaten $\mathcal{P}(\mathbb{R}^d)$ , met onderscheid tussen directe afbeeldingen en continue-tijd dynamica.
Nieuwe Kaders: Het introduceert twee schaalbare, expressieve benaderingen:
- Statische Transformers: Het gebruik van standaard transformers om de M2M-kaart direct te benaderen.
- M2M-TFM: Een dynamisch kader dat flow matching integreert met de maat-afhankelijke aard van transformers, waardoor de noodzaak voor expliciete distributie-verliesoptimalisatie tijdens het trainen wordt geëlimineerd.
Empirische Validatie: De auteurs demonstreren de effectiviteit van deze methoden in drie verschillende scenario's:
- Synthetische Multi-Maat Objecten: Het voorspellen van de omkering van diffusie- en kerninteractieprocessen op lettervormen en multi-object composities.
- McKean-Vlasov Systemen: Het voorspellen van de evolutie van populatiedynamica in 2D, 50D en 100D systemen (Kuramoto, FitzHugh-Nagumo, Mean-Field Atlas).
- Real-world Toepassing: Het voorspellen van behandelingsrespons bij darmkanker met behulp van een grootschalige dataset van patiënt-afgeleide organoiden (PDO), waarbij het model moet generaliseren naar onbekende patiënten.

Resultaten

De voorgestelde methoden, met name de dynamische M2M-TFM, presteren consistent beter dan bestaande baselines in alle experimentele instellingen:

Synthetische Objecten: M2M-TFM behaalde de laagste Wasserstein ( $W_1$ ) en Energy Distance (ED) fouten, en presteerde aanzienlijk beter dan Conditional Flow Matching (CFM), Meta-Flow Matching (Meta-FM) en Wasserstein Flow Matching (WFM).
McKean-Vlasov Systemen: In hoge-dimensionale (100D) instellingen toonde M2M-TFM superieure generalisatie en expressiviteit in vergelijking met Neural McKean-Vlasov (NMKV) en Mean-Field Transformers (MF-Transformer), waarbij de fout vaak met een aanzienlijke marge werd verlaagd.
Biologische Toepassing: Op de darmkanker-dataset leverde M2M-TFM een gebalanceerde prestatie over alle metrieken ( $W_1$ , ED en $r^2$ ), terwijl statische methoden de neiging hadden om alleen uit te blinken in de metriek die correspondeerde met hun specifieke verliesfunctie. M2M-TFM behaalde de hoogste $r^2$ (0,9029) en concurrerende $W_1$ -scores, wat wijst op robuuste generalisatie naar onbekende patiënten.

Betekenis en Claims

Het artikel stelt dat Transformers een natuurlijke en krachtige architectuur zijn voor M2M-regressie vanwege hun intrinsieke vermogen om maat-afhankelijke dynamica te modelleren. Door het probleem te formaliseren door de lens van operatoren op $\mathcal{P}(\mathbb{R}^d)$ , overbruggen de auteurs de kloof tussen theoretische mean-field limieten van transformers en praktische toepassingen.

De primaire betekenis ligt in het M2M-TFM-kader, dat een schaalbare en expressieve oplossing biedt voor het M2M-regressieprobleem. Door het leren van complexe distributie-operatoren te reduceren tot een puntsgewijze regressie op snelheidsvelden, vermijdt de methode de "vloek van de dimensionaliteit" die geassocieerd is met het direct optimaliseren van distributie-afstanden. De auteurs positioneren dit werk als een veelzijdige basis voor het modelleren van collectieve dynamica in wetenschappelijke toepassingen, met name met de nadruk op het succes bij het voorspellen van culevolutie en behandelingsresponsen waar data van nature verdeeld is.

Het artikel blijft bescheiden wat theoretische garanties betreft, met de opmerking dat hoewel diepe transformers bekende universele benaderaars zijn voor M2M-kaarten, formele garanties voor het leren van niet-lineaire operatoren via vectorveldmodellen onder het flow matching-kader een open richting blijft voor toekomstig werk. Evenzo neemt de huidige implementatie lineaire interpolatiepaden en deterministische dynamica aan, waardoor uitbreidingen naar niet-lineaire, stochastische en onbalans scenario's worden overgelaten voor toekomstig onderzoek.