🤖 AI

Diffusion Large Language Models for Black-Box Optimization

Dieses Paper stellt dLLM vor, einen neuartigen Ansatz für die Offline-Black-Box-Optimierung, der Diffusions-Large-Language-Models mit einem In-Context-Denoising-Modul und einer Masked-Diffusion-Tree-Suche nutzt, um Designs iterativ zu verfeinern und eine State-of-the-Art-Leistung in Few-Shot-Szenarien zu erzielen.

Ursprüngliche Autoren: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

Veröffentlicht 2026-01-22

📖 5 Min. Lesezeit🧠 Tiefgang

CC BY 4.0

Ursprüngliche Autoren: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie sind ein Meisterkoch, der versucht, ein neues, perfektes Rezept zu erfinden. Sie haben jedoch ein großes Problem: Sie besitzen nur ein winziges Notizbuch mit 10 alten Rezepten und deren Bewertungen. Sie haben keine Küche, um neue Ideen in Echtzeit zu testen, da das Testen zu teuer oder zu gefährlich ist. Sie müssen herausfinden, wie das beste neue Rezept aussieht, indem Sie einfach nur in dieses kleine Notizbuch schauen.

Dies ist die Herausforderung der Offline Black-Box-Optimierung. Die „Black Box“ ist die unbekannte Regel, die entscheidet, ob ein Design (wie eine DNA-Sequenz oder eine Roboterform) gut oder schlecht ist. Der „Offline“-Teil bedeutet, dass Sie keine neuen Ideen live testen können; Sie verfügen nur über vergangene Daten.

So löst die neue Methode des Papers, dLLM, dieses Problem, erklärt durch einfache Analogien.

Das Problem mit alten Methoden

Frühere Versuche, dies zu lösen, nutzten Autoregressive Modelle. Stellen Sie sich diese wie einen Schriftsteller vor, der eine Geschichte Wort für Wort, von links nach rechts, schreibt.

Der Fehler: Wenn man einen Satz schreibt, verändert das Ende des Satzes oft, wie man den Anfang hätte schreiben sollen. Aber ein von links nach rechts schreibender Autor kann das Ende nicht sehen, während er den Anfang schreibt. Er übersieht die „großen Zusammenhänge“. In komplexen Designs (wie DNA) hängt jeder Teil von jedem anderen Teil ab, daher führt ein rein links-nach-rechts gerichtetes Schreiben oft zu unordentlichen, unterdurchschnittlichen Ergebnissen.

Die neue Lösung: Der „Diffusions“-Koch

Die Autoren führen Diffusion Large Language Models (dLLMs) ein. Anstatt ein Wort nach dem anderen zu schreiben, stellen Sie sich einen Koch vor, der mit einer Schüssel voller maskierter, leerer Zutaten (dargestellt als [M]) beginnt und das Rezept Schritt für Schritt enthüllt, während er es verfeinert.

Dieser Ansatz hat zwei Superkräfte:

Bidirektionale Vision: Der Koch kann die ganze Schüssel auf einmal betrachten. Er kann sehen, wie das „Ende“ des Rezepts das „Anfang“ beeinflusst, was es ihm ermöglicht, Fehler global statt nur lokal zu korrigieren.
Iterative Verfeinerung: Er rät nicht sofort das fertige Gericht. Er beginnt mit einer groben Skizze, füllt dann die Lücken aus und wird mit jedem Schritt besser.

Wie es funktioniert: Der Zwei-Schritte-Tanz

Das Paper kombiniert zwei clevere Tricks, um diesen Koch noch besser zu machen:

1. In-Context Denoising (Das „intelligente Prompt“)

Bevor der Koch mit dem Kochen beginnt, geben Sie ihm eine spezielle Instruktionskarte. Diese Karte enthält:

Das Ziel: „Erstelle eine DNA-Sequenz, die am besten an dieses spezifische Protein bindet.“
Das Notizbuch: Die 10 Beispiele aus Ihrem Offline-Datensatz.
Der Befehl: „Schlage bitte eine neue, bessere Sequenz vor.“

Das Modell liest diese Karte und nutzt sein massives vortrainiertes Wissen (wie ein Koch, der Millionen von Kochbüchern gelesen hat), um mit dem „Denoising“ der maskierten Zutaten zu beginnen. Es verwandelt die leeren [M]s in tatsächliche Buchstaben (A, C, G, T) und enthüllt so Schritt für Schritt ein Kandidaten-Design.

2. Masked Diffusion Tree Search (Die „verzweigende Exploration“)

Nur ein Rezept zu erraten, reicht nicht aus. Was, wenn der Koch auf einem schlechten Pfad stecken bleibt? Die Autoren haben einen Tree Search-Mechanismus hinzugefügt. Stellen Sie sich vor, der Koch kocht nicht nur ein Gericht; er erstellt einen verzweigenden Pfad von Möglichkeiten:

Selektion: Der Koch betrachtet alle aktuellen Teil-Rezepte und wählt das vielversprechendste aus, an dem er als Nächsten arbeiten soll (unter Verwendung eines Scores, der zwischen dem Ausprobieren von Neuem und dem Festhalten an dem, was funktioniert, abwägt).
Expansion: Er nimmt dieses vielversprechende Teil-Rezept und generiert verschiedene Möglichkeiten, die nächsten paar Lücken zu füllen. Nun haben Sie statt eines Pfades einen Baum aus vielen Möglichkeiten.
Evaluation: Für jeden neuen Zweig verwendet er einen „Prädiktor“ (einen Gaussian Process, der wie ein intelligenter Taschenrechner ist, der auf Ihren 10 Beispielen trainiert wurde), um zu erraten, wie gut das fertige Gericht wäre, wenn er es zu Ende führt.
Backpropagation: Wenn ein Zweig köstlich aussieht, merkt sich der Koch diesen Pfad und erkundet ihn weiter. Wenn ein Zweig schlecht schmeckt, beschneidet er ihn und verschwendet keine Zeit mehr.

Dieser Prozess ist wie eine Monte Carlo Tree Search (eine Strategie, die verwendet wird, um Spiele wie Go zu spielen), aber anstatt Schach zu spielen, spielt die KI „Lückentext ausfüllen“, um das perfekte Design zu finden.

Die Ergebnisse

Das Paper testete diese Methode bei vier verschiedenen Herausforderungen:

Ant Morphology: Das Design einer Roboter-Ameise, die schnell krabbelt.
D'Kitty Morphology: Das Design einer Roboter-Katze, die schnell krabbelt.
TF Bind 8 & 10: Das Design kurzer DNA-Sequenzen, die an spezifische Proteine binden.

In all diesen Tests übertraf die dLLM-Methode jede andere existierende Methode, einschließlich jener, die Gradienten, generative Modelle oder Standard-Sprachmodelle verwenden. Sie war besonders gut darin, die absolut besten Designs (die „Top 1 %“) zu finden, selbst wenn sie nur 10 Beispiele zum Lernen hatte.

Zusammenfassung

Betrachten Sie die alten Methoden als einen Schriftsteller, der nur von links nach rechts schreiben kann und leicht stecken bleibt. Die neue dLLM-Methode ist wie ein Meisterkoch, der:

Ihr begrenztes Notizbuch und Ihre Anweisungen liest.
Mit einer leeren Leinwand beginnt.
Das Design langsam enthüllt, während er das gesamte Bild im Blick behält.
Gleichzeitig viele verschiedene „Was-wäre-wenn“-Szenarien mittels einer Tree-Search-Strategie exploriert, um sicherzustellen, dass er die perfekte Lösung nicht übersieht.

Dies ermöglicht es ihm, die bestmöglichen Designs zu finden, selbst wenn die Daten knapp sind und die Regeln des Spiels verborgen bleiben.

Technisches Resümee: Diffusion Large Language Models für Black-Box-Optimierung

Problemstellung

Die Offline Black-Box-Optimierung (BBO) zielt darauf ab, optimale Designs ( $x^*$ ) zu identifizieren, die eine unbekannte Zielfunktion $f(\cdot)$ maximieren, wobei lediglich ein begrenzter Offline-Datensatz aus Design-Label-Paaren zur Verfügung steht. Dieses Szenario ist in Bereichen wie dem DNA-Sequenzdesign oder der Robotik weit verbreitet, in denen die Abfrage von Eigenschaften kostspielig und gelabelte Daten rar sind (Few-Shot-Regime).

Traditionelle Ansätze lassen sich typischerweise in zwei Kategorien unterteilen:

Proxy-basierte Methoden: Training eines Ersatzmodells (z. B. Gauß-Prozesse oder tiefe neuronale Netze), um $f(\cdot)$ zu approximieren, und Nutzung dessen Gradienten zur Steuerung der Optimierung.
Generative Methoden: Training konditionierter generativer Modelle, um direkt hochbewertete Designs zu erzeugen.

Diese Methoden leiden jedoch häufig unter Problemen der Generalisierung außerhalb der Verteilung (Out-of-Distribution) in datenarmen Szenarien. Darüber hinaus stehen jüngste Adaptionen von autoregressiven Large Language Models (LLMs) für BBO, die Aufgaben als natürliche Sprach-Prompts formulieren, vor einer kritischen Einschränkung: Sie generieren Sequenzen von links nach rechts. Dieser unidirektionale Ansatz hat Schwierigkeiten, die bidirektionalen Abhängigkeiten zu erfassen, die in vielen Designaufgaben inhärent sind (z. B. hängt die Funktion einer DNA-Einheit sowohl von ihrem Präfix als auch von ihrem Suffix ab).

Methodik: dLLM

Die Autoren schlagen dLLM vor, ein Framework, das Diffusion Large Language Models für die Offline-BBO nutzt. Die Methode kombelt zwei Kernmodule: In-Context Denoising und Masked Diffusion Tree Search.

1. In-Context Denoising

Anstatt ein Fine-Tuning durchzuführen, nutzt die Methode die In-Context-Learning-Fähigkeiten vortrainierter Diffusion-LLMs.

Prompt-Konstruktion: Der Input für das Diffusion-LLM besteht aus einem strukturierten natürlichen Sprach-Prompt, der Folgendes enthält:
- Aufgabenbeschreibung: Definiert das Design-Format (z. B. DNA-Alphabet), das Ziel und die Constraints.
- Offline-Datensatz: Ein Few-Shot-Satz von Design-Label-Paaren (z. B. DNA-Sequenzen und Bindungsaffinitäten).
- Instruktion: Eine Anweisung zur Generierung verbesserter Kandidaten.
Denoising-Prozess: Das Modell beginnt mit einem vollständig maskierten Design ( $x_{t=1}$ ). Es maskiert iterativ Tokens, um ein vollständiges Kandidatendesign ( $\hat{x}_0$ ) zu erzeugen. Die am wenigsten vertrauenswürdigen Tokens werden erneut maskiert, um einen neuen teilweise maskierten Zustand ( $x_s$ ) für den nächsten Schritt zu bilden, wodurch das Design durch iteratives Denoising effektiv verfeinert wird.

2. Masked Diffusion Tree Search (MDTS)

Um die Generierung in Richtung leistungsstarker Regionen zu lenken und die Exploration mit der Exploitation abzuwägen, wird der Denoising-Prozess als schrittweiser Monte Carlo Tree Search (MCTS) formuliert.

Baumstruktur: Jeder Knoten repräsentiert ein teilweise maskiertes Design ( $x_t$ ).
Selektion: Der Algorithmus durchläuft den Baum vom Wurzelknoten (vollständig maskiert) unter Verwendung des Upper Confidence Bound (UCT) Scores. Dies balanciert die Exploitation von High-Value-Knoten und die Exploration weniger besuchter Zweige aus. Der UCT-Score bezieht den Wertschätzung des Knotens und die Likelihood des Unmasking-Schritts des Modells ein.
Expansion: Ausgewählte Knoten werden expandiert, indem das Diffusion-LLM angewendet wird, um diverse Vervollständigungen zu generieren, die dann erneut maskiert werden, um Kindknoten zu erzeugen.
Evaluierung: Kindknoten werden zu vollständig denoisierten Designs unrolled. Ihre Belohnungen werden mittels Expected Improvement (EI) geschätzt, das aus einem Gauß-Prozess (GP) abgeleitet wird, der auf dem Offline-Datensatz trainiert wurde. Der GP liefert fundierte Unsicherheitsschätzungen, die in Few-Shot-Settings entscheidend sind.
Backpropagation: Das Belohnungssignal wird den Baum aufwärts propagiert, um die Wertschätzungen und Besuchszahlen der Vorfahrenknoten zu aktualisieren, was zukünftige Selektionsentscheidungen beeinflusst.

Kernbeiträge

Erste Anwendung von Diffusion-LLMs auf BBO: Die Arbeit führt das erste Framework ein, das Diffusion-LLMs für die Offline-Black-Box-Optimierung nutzt, wobei es deren bidirektionale Modellierungs- und iterative Verfeinerungsfähigkeiten nutzt, um komplexe Design-Abhängigkeiten zu handhaben.
In-Context Denoising Modul: Ein neuartiger Konditionierungsmechanismus, der es Diffusion-LLMs ermöglicht, maskierte Designs basierend auf natürlichen Sprach-Aufgabenbeschreibungen und Few-Shot-Offline-Datensätzen ohne Parameter-Updates zu verfeinern.
Masked Diffusion Tree Search: Ein Suchalgorithmus, der das Diffusion-Denoising als sequenziellen Entscheidungsprozess behandelt und durch MCTS und GP-basierte Expected Improvement dynamisch zwischen Exploration und Exploitation abwägt.

Experimentelle Ergebnisse

Die Autoren evaluierten dLLM auf dem Design-Bench Benchmark, der sowohl kontinuierliche (Ant Morphology, D'Kitty Morphology) als auch diskrete (TF Bind 8, TF Bind 10) Aufgaben in einem Few-Shot-Setting (10 gelabelte Beispiele) umfasst.

Leistung: dLLM erreichte State-of-the-Art-Ergebnisse über alle vier Aufgaben hinweg und belegte den ersten Platz sowohl im Mittelwert als auch im Median der Ränge unter 15 Baselines. Es zeigte konsistente Gewinne in sowohl kontinuierlichen als auch diskreten Designräumen.
Vergleich:
- Übertraf reine gradientenbasierte Proxy-Methoden (z. B. Grad-mean, Grad-EI), was zeigt, dass generative Modelle in Kombination mit Suche überlegen sind.
- Übertraf andere generative Baselines, einschließlich autoregressiver LLMs (OPRO) und anderer Diffusionsmodelle (DDOM, GTG). Die Autoren führen dies auf die bidirektionale Modellierung der Diffusion-LLMs und das genutzte breite vortrainierte Wissen zurück.
- Übertraf die starke autoregressive Baseline UniSO-T, was darauf hindeutet, dass bidirektionaler Kontext für Aufgaben mit komplexen Abhängigkeiten entscheidend ist.
Ablationsstudien:
- Das Entfernen der Baumsuche (w/o MDTS) führte zu einem erheblichen Leistungsabfall, was die Notwendigkeit einer geführten Exploration unterstreicht.
- Das Ersetzen des Diffusion-LLM durch ein einfaches Diffusion-Modell, das nur auf den Few-Shot-Daten trainiert wurde, führte zu einer signifikanten Verschlechterung, was die Bedeutung des vortrainierten Wissens bestätigt.
- Das Entfernen der expliziten Aufgabenbeschreibung im Prompt reduzierte die Leistung, was die Rolle des semantischen Framings validiert.

Bedeutung und Ansprüche

Das Paper behauptet, dass dLLM das Potenzial von Diffusion-LLMs als universelle Optimierer für die dateneffiziente Design-Generierung demonstriert. Durch die Adressierung der Einschränkungen autoregressiver Modelle bei der Erfassung bidirektionaler Abhängigkeiten und deren Integration in eine robuste Suchstrategie bietet die Methode eine vielseitige Alternative für wissenschaftliche und technische Bereiche, in denen gelabelte Daten knapp sind. Die Autoren positionieren diese Arbeit als Eröffnung neuer Wege zur Nutzung vortrainierter Foundation-Modelle in der Offline-Black-Box-Optimierung.