🤖 machine learning

Calibrating Generative Models to Feature Distributions with MMD Finetuning

Dieses Paper stellt kCGM vor, eine Methode, die generative Modelle durch die Minimierung der Maximum Mean Discrepancy (MMD) und KL-Regularisierung kalibriert, um Zielmerkmalsverteilungen anzugleichen, wodurch die Merkmalsausrichtung effektiv verbessert wird, während die Stichprobenvalidität über verschiedene Aufgaben wie die Generierung von Antibiotika, Proteinen und DNA hinweg bewahrt bleibt.

Ursprüngliche Autoren: Nathaniel L. Diamant, Brian L. Trippe

Veröffentlicht 2026-06-19

📖 6 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Nathaniel L. Diamant, Brian L. Trippe

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie hätten einen Chefkoch, der unglaublich talentiert darin ist, eine große Vielfalt an Gerichten zu kochen. Dieser Koch hat aus einer riesigen Rezeptbibliothek (dem vortrainierten Modell) gelernt und kann fast jedes Mal ein köstliches, plausibel aussehendes Mahl zubereiten. Wenn Sie den Koch jedoch bitten, eine ganz bestimmte Art von Gericht zuzubereiten, wie zum Beispiel „authentische italienische Pasta“, könnte er Schwierigkeiten haben. Er könnte zwar ein Pasta-Gericht zubereiten, das gut aussieht und ganz okay schmeckt, aber ihm fehlt die spezifische Textur, die Saucenkonsistenz oder das Gewürzprofil, das echte italienische Pasta ausmacht.

In der Welt der KI ist dies ein häufiges Problem. Generative Modelle (wie der Koch) können einzelne Artikel erstellen, die echt aussehen, aber wenn man die gesamte Charge betrachtet, die sie produzieren, weicht die Verteilung der Merkmale (der allgemeine Stil, die Größe oder die chemische Zusammensetzung) oft von dem ab, was man eigentlich möchte.

Dieses Paper stellt eine neue Methode namens kCGM (kernel Calibrating Generative Models) vor, um diese Abweichung zu beheben, ohne das natürliche Talent des Kochs zu ruinieren.

Das Problem: Warum „Einfaches Kopieren“ nicht funktioniert

Wenn Sie möchten, dass Ihr KI-Koch bessere Antibiotika (eine Art von Medikamenten) herstellt, wäre eine einfache Lösung, ihm einfach eine Liste von 174 echten Antibiotika zu zeigen und zu sagen: „Erstelle mehr davon.“

Das Paper argumentiert, dass dies so ist, als würde man einem Schüler sagen, er solle eine einzelne Textbuchseite Seite für Seite auswendig lernen.

Overfitting (Überanpassung): Die KI könnte diese 174 spezifischen Moleküle einfach nur auswendig lernen und aufhören, kreativ zu sein. Sie wird zu einer Fotokopierstation statt zu einem Generator.
Falscher Fokus: Sie könnte die falschen Dinge kopieren. Sie könnte lernen, die Form der Moleküle zu kopieren, aber die chemischen Eigenschaften verlieren, die sie zu Medikamenten machen.
Das Modell beschädigen: In den Experimenten stellten die Forscher fest, dass, wenn sie dieses „direkte Kopieren“ (Direct Finetuning) auf Antibiotika anwandten, die KI begann, „ungültige“ Moleküle zu generieren – chemische Strukturen, die in der realen Welt gar nicht existieren könnten. Sie opferte die Qualität zugunsten der Übereinstimmung mit der Liste.

Die Lösung: kCGM (Der „Geschmackstest“-Kalibrierung)

Anstatt die KI zu zwingen, die Ziel-Liste auswendig zu lernen, fungiert kCGM wie ein intelligenter Geschmackstester, der das Gesamtgeschmacksprofil der Kreationen der KI mit dem Ziel vergleicht.

So funktioniert es, unter Verwendung einiger Analogien:

1. Die Feature-Map (Die „Speisekarte der Merkmale“)
Sie müssen der KI nicht die tatsächlichen Moleküle zeigen. Sie sagen ihr nur, welche Merkmale wichtig sind.

Für Medikamente ist Ihnen vielleicht die „Lipophilie“ (wie ölig es ist) oder das „Molekulargewicht“ wichtig.
Für Proteine ist Ihnen vielleicht das Verhältnis von „Helix“- zu „Strand“-Formen wichtig.
Für DNA ist Ihnen vielleicht wichtig, wie aktiv eine Sequenz in einem bestimmten Zelltyp ist.
Diese Merkmale sind wie eine Speisekarte der Eigenschaften. Die KI muss die tatsächlichen Zielmoleküle nicht sehen; sie muss nur die „Speisekarte“ dessen sehen, wie die Zielgruppe im Durchschnitt aussieht.

2. Das MMD (Das „Distanzmaß“)
Das Paper verwendet ein mathematisches Werkzeug namens Maximum Mean Discrepancy (MMD). Denken Sie an dies als ein Lineal, das den Abstand zwischen zwei Punktwolken misst.

Stellen Sie sich vor, der aktuelle Output der KI ist eine Wolke aus blauen Punkten.
Die Ziel-Antibiotika sind eine Wolke aus roten Punkten.
Das MMD misst, wie weit diese beiden Wolken in Bezug auf ihre Form und Streuung voneinander entfernt sind, nicht nur in Bezug auf ihr Zentrum.
Die Innovation: Vorherige Methoden (wie CGM) versuchten nur, das Zentrum (den Durchschnitt) der Wolken abzugleichen. kCGM versucht, die gesamte Form der Wolke abzugleichen. Es stellt sicher, dass die KI nicht nur „durchschnittliche“ Antibiotika herstellt, sondern eine diverse Mischung, die exakt so aussieht wie die reale Verteilung.

3. Die Score-Funktion (Der „Anstoß“)
Da die KI die Mathematik hinter diesen Merkmalen nicht immer „sehen“ kann (einige Merkmale sind Black Boxes, wie ein komplexer chemischer Fingerabdruck), verwendet kCGs eine Score-Funktions-Schätzung.

Stellen Sie sich vor, die KI ist ein blind gebundener Künstler, der versucht, ein Zielbild zu zeichnen.
Anstatt das Ziel zu sehen, erhält er einen „Score“, der ihm sagt, wie nah seine Zeichnung dem Stil des Ziels kommt.
kCGM berechnet einen „Anstoß“ basierend auf diesem Score, um die KI sanft näher an die Zielverteilung zu drücken, ohne sie zu zwingen, spezifische Beispiele auswendig zu lernen.

4. Die KL-Regularisierung (Das „Sicherheitsnetz actually“)
Dies ist entscheidend. Wenn Sie die KI anstoßen, wollen Sie nicht, dass sie das Kochen völlig vergisst.

kCGM enthält ein „Sicherheitsnetz“ (KL-Regularisierung), das besagt: „Bewege dich in Richtung des Ziels, aber entferne dich nicht zu weit von deinem ursprünglichen, hochwertigen Stil.“
Dies verhindert, dass die KI Unsinn generiert (ungültige Moleküle), nur um die Zielzahlen zu erreichen.

Was geschah in den Experimenten?

Die Forscher testeten diese „Geschmackstester“-Methode in drei verschiedenen Küchen:

Antibiotika (Kleine Moleküle):
- Ergebnis: Als sie versuchten, die KI zur Generierung von Antibiotika zu bringen, brachte die Methode des „direkten Kopierens“ die KI aus dem Gleichgewicht und erzeugte viele ungültige chemische Strukturen.
- kCGM: Die KI generierte valide, chemisch fundierte Moleküle, die die statistische Verteilung echter Antibiotika perfekt erfüllten. Es verbesserte die Übereinstimmung und hielt gleichzeitig die Qualität hoch.
Proteine (Faltungsformen):
- Ergebnis: Die KI erstellte Proteine, die fast ausschließlich aus einer Form (Alpha-Helices) bestanden und die Diversität der Natur vermissen ließen.
- kCGM: Es gelang der KI, eine diverse Mischung von Proteinformen zu produzieren, die der natürlichen Welt viel besser entsprach als vorherige Methoden.
DNA (Regulatorische Sequenzen):
- Ergebnis: Die KI hatte Schwierigkeiten, DNA-Sequenzen zu generieren, die die richtigen Gene in den richtigen Zellen aktivieren.
- kCGM: Es kalibrierte die KI so, dass sie DNA-Sequenzen produzierte, die die korrekten „Aktivitätsprofile“ für spezifische Zelltypen aufwiesen, obwohl die Merkmale, die dies messen, komplex und „Black-Box“-basiert waren (vorhergesagt durch eine andere KI).

Das Fazreit (The Bottom Line)

Das Paper behauptet, dass kCGM eine überlegene Methode zur Feinabstimmung generativer Modelle ist. Anstatt die KI zu zwingen, eine kleine Liste von Beispielen auswendig zu lernen (was sie beschädigt), führt kCGM die KI sanft dazu, den statistischen Fingerabdruck einer Zielgruppe zu treffen.

Es funktioniert wie ein Kalibrierregler: Man kann ihn drehen, um den Output der KI näher an das Ziel heranzuführen, aber das „Sicherheitsnetz“ stellt sicher, dass die KI niemals die Fähigkeit verliert, valide, hochwertige Stichproben zu erstellen. Es funktioniert selbst dann, wenn die Merkmale, auf die man Wert legt, komplex, nicht differenzierbar oder aus „Black-Box“-Werkzeugen stammend sind.

Technische Zusammenfassung: Kalibrierung generativer Modelle auf Merkmalsverteilungen mittels MMD-Finetuning (kCGM)

Problemstellung
Generative Modelle erzeugen oft Stichproben, die einzeln plausibel sind, jedoch eine distributionelle Fehlausrichtung hinsichtlich zentraler Merkmale aufweisen. Beispielsweise kann ein Modell, das auf einem breiten chemischen Raum vortrainiert wurde, Moleküle generieren, deren Merkmalsverteilung signifikant von einer spezifischen therapeutischen Klasse, wie etwa Antibiotika, abweicht. Die Korrektur durch direktes Finetuning auf dem Zielsatz ist problematisch: Es birgt das Risiko des Overfittings auf kleine Datensätze, erfordert vollständige Zielstichproben (die knapp sein können) und versäumt es, explizit festzulegen, welche spezifischen Merkmale abgeglichen werden sollen. Darüber hinaus haben bestehende Methoden oft Schwierigkeiten mit diskretwertigen oder Black-Box-Merkmalen (z. B. Morgan-Fingerprints), die nicht differenzierbar sind. Das Paper identiert eine Lücke in Algorithmen, die in der Lage sind, generative Modelle zur Anpassung an eine Zielmerkmalsverteilung zu kalibrieren, wobei lediglich eine Merkmalsbasierte Überwachung (Feature-level Supervision) erforderlich ist, ohne dass die Differenzierbarkeit der Merkmalsabbildung oder des Sampling-Verfahrens vorausgesetzt wird.

Methodik: kCGM
Die Autoren führen kernel Calibrating Generative Models (kCGM) ein, eine Finetuning-Methode, die die Maximum Mean Discrepancy (MMD) zwischen der generierten Merkmalsverteilung und einer Zielmerkmalsverteilung minimiert, reguliert durch die Kullback-Leibler-Divergenz zum vortrainierten Modell.

Zielfunktion: Die Methode optimiert eine Zielfunktion $L_\theta$ , die aus zwei Termen besteht:
1. MMD-Loss: Ein unverzerrter Finite-Sample-Schätzer der quadrierten MMD zwischen der modellinduzierten Merkmalsverteilung $P$ (wobei $y = h(x)$ und $x \sim p_\theta$ ) und der empirischen Zielverteilung $Q$ (aus Zielmerkmalen $y^{targ}_{1:N}$ ).
2. KL-Regularisierung: Ein Term $\lambda D_{KL}(p_\theta || p_{\theta_{pre}})$ , um sicherzustellen, dass das feinjustierte Modell nah an der vortrainierten Verteilung bleibt, was katastrophales Vergessen oder Mode Collapse verhindert.
Kernel-Auswahl: Im Gegensatz zu früheren Ansätzen, die sich auf Skalarprodukt-Kernel verlassen könnten (welche nur Mittelwerte angleichen), nutzt kCGM Kernel, die eine Metrik auf Wahrscheinlichkeitsverteilungen definieren (Null nur bei identischen Verteilungen).
- Für kontinuierliche euklidische Merkmale wird ein Energy-Distance-Kernel verwendet.
- Für diskrete Bit-Vektor-Merkmale (z. B. Morgan-Fingerprints) wird ein Tanimoto/Jaccard-Kernel eingesetzt.
- Diese Entscheidungen vermeiden die Einführung zusätzlicher Bandbreiten-Hyperparameter.
Gradientenschätzung: Da die Merkmalsabbildung $h$ und der Sampling-Prozess möglicherweise nicht differenzierbar sind, verwendet kCGM Score-Function-Gradienten (REINFORCE-Stil).
- Leave-One-Out (LOO) Baseline: Ein entscheidender technischer Beitrag ist die Ableitung einer neuartigen LOO-Baseline für den MMD-Loss. Standardmäßige LOO-Baselines mitteln Koeffizienten anderer Stichproben innerhalb eines Batches, aber MMD-Koeffizienten sind über die Stichproben hinweg gekoppelt. Die Autoren leiten einen spezifischen „MMD-LOO“-Schätzer ab, der den durchschnittlichen Koeffizienten approximiert, den eine spezifische Stichprobe gehabt hätte, wenn sie nicht in dem Mini-Batch erschienen wäre, was die Varianz reduziert, ohne eine Verzerrung (Bias) einzuführen.
- Algorithmus: Der Prozess umfasst das Sampling aus dem aktuellen Modell (ohne Gradientenverfolgung), die Berechnung der Merkmalsvektoren, die Berechnung der MMD- und KL-Koeffizienten mit LOO-Baselines sowie die Aktualisierung der Modellgewichte via Score-Function-Gradienten.

Wesentliche Beiträge

Formulierung: Das Paper formuliert das Abgleichen der Merkmalsverteilung als KL-regulierte MMD-Finetuning-Methode unter Verwendung ausschließlich von Zielmerkmals-Stichproben, wodurch die Notwendigkeit für vollständige Zielstichproben im ursprünglichen Stichprobenraum entfällt.
Unverzerrter Schätzer: Die Autoren leiten einen unverzerrten Score-Function-Gradientenschätzer für die MMD-Zielfunktion ab, was die Verwendung nicht-differenzierbarer Merkmalsabbildungen und nicht-reparametrisierbarer Sampler (z. B. autoregressive Modelle, diskrete Diffusion) ermöglicht.
Generalisierung: Die Methode generalisiert Calibrating Generative Models (CGM). Während CGM die Zielmerkmals-Mittelwerte angleicht, gleicht kCGM die vollständige Verteilung via MMD an. Das Paper stellt fest, dass die Verwendung eines Skalarprodukt-Kernels in kCGM die CGM-Relax-Zielfunktion wiederherstellt.

Experimentelle Ergebnisse
Die Autoren evaluieren kCGM in drei Domänen: der Generierung kleiner Moleküle, der Generierung von Proteinstrukturen und der Generierung regulatorischer DNA.

Kleinmolekül-Antibiotika:
- Aufgabe: Kalibrierung eines G2PT-autoregressiven Graphmodells, um die Merkmalsverteilung von 174 bekannten Antibiotika anzupassen.
- Merkmale: Morgan-Fingerprints (lokale Substrukturen), Murcko-Gerüste (Topologie) und physikochemische Deskriptoren.
- Ergebnisse: kCGM erreicht einen überlegenen Tradeoff zwischen der Anpassung an die Zielmerkmalsverteilung (gemessen an MMD) und der Distanz zum vortrainierten Modell im Vergleich zu CGM und direktem Finetuning. Entscheidend ist, dass während direktes Finetuning auf dem kleinen Antibiotika-Set zu einem hohen Anteil chemisch ungültiger Moleküle führte, kCGM die Merkmalsanpassung verbesserte und gleichzeitig die chemische Validität erhöhte. kCGM demonstrierte zudem Cross-Feature-Transfer, indem es die Anpassung von Gerüsten und Deskriptoren verbesserte, obwohl es nur auf Fingerprints trainiert wurde.
Proteinstruktur-Diversität:
- Aufgabe: Finetuning von Genie 2 (einem Protein-Diffusionsmodell), um die Sekundärstrukturverteilung (Alpha-Helices vs. Beta-Stränge) des CATH-Datensatzes anzupassen.
- Ergebnisse: Das vortrainierte Modell produzierte überwiegend Alpha-Helices. kCGM reduzierte die Diskrepanz mit der Zielverteilung im Vergleich zu CGM um etwa das Zweifache. kCGM zeigte eine glatte Tradeoff-Kurve mit dem KL-Gewicht $\lambda$ , wohingegen die Leistung von CGM weniger sensitiv auf $\lambda$ reagierte, was die Optimierung erschwerte.
Regulatorische DNA-Generierung:
- Aufgabe: Finetuning eines diskreten Diffusionsmodells, um DNA-Sequenzen mit realistischen zelltypspezifischen Aktivitätsprofilen (prädiziert durch AlphaGenome) zu generieren.
- Ergebnisse: kCGM konnte erfolgreich die vollständige Verteilung der Aktivitätsprofile für 47 verschiedene cis-regulatorische Themen matchen und übertraf dabei CGM (das nur Mittelwerte anpasste). Das feinjustierte Modell generierte Sequenzen mit Aktivitätsprofilen, die denen echter Enhancer ähneln, während das vortrainierte Modell unteraktive Sequenzen generierte.

Bedeutung und Behauptungen
Das Paper behauptet, dass kCGM eine robuste Alternative zum direkten Finetuning darstellt, insbesondere wenn Zieldatensätze klein sind oder nur spezifische Aspekte einer Verteilung erhalten werden sollen. Die primäre Bedeutung liegt in der Fähigkeit:

Generative Modelle unter Verwendung von nur merkmalsbasierter Überwachung an benutzerdefinierte Merkmalsverteilungen anzupassen.
Black-Box- und nicht-differenzierbare Merkmale (z. B. Fingerprints, Prädiktor-Outputs) zu handhaben, die in wissenschaftlichen Domänen häufig vorkommen, aber mit Standard-Gradienten-basiertem Finetuning inkompatibel sind.
Die Stichprobenqualität (Validität) beizubehalten oder zu verbessern, während die distributionelle Fehlkalibrierung korrigiert wird – ein häufiger Ausfallmodus beim direkten Finetuning.
Über verschiedene Architekturen hinweg anwendbar zu sein, einschließlich autoregressiver Modelle, kontinuierlicher Diffusionsmodelle und diskreter Diffusionsmodelle.

Die Autoren weisen auf Limitationen hin, wie etwa die potenzielle Unwirksamkeit bei sehr hochdimensionalen Merkmalen aufgrund des Fluchs der Dimensionalität in der MMD-Hypothesentestung sowie die Anforderung an handhabbare Sampling-Trajektorien-Log-Wahrscheinlichkeiten (unter Ausschluss von Flow-Matching-Modellen). Sie schlagen vor, dass zukünftige Arbeiten diesen Rahmen auf Settings ausweiten könnten, in denen lediglich distributionelle Constraints existieren, ohne dass vollständige Stichproben im ursprünglichen generativen Raum vorliegen.

Das Problem: Warum „Einfaches Kopieren“ nicht funktioniert

Die Lösung: kCGM (Der „Geschmackstest“-Kalibrierung)

Was geschah in den Experimenten?

Das Fazreit (The Bottom Line)

Technische Zusammenfassung: Kalibrierung generativer Modelle auf Merkmalsverteilungen mittels MMD-Finetuning (kCGM)

Mehr davon