🤖 AI

Diffusion Large Language Models for Black-Box Optimization

Dit artikel introduceert dLLM, een nieuwe benadering voor offline black-box optimalisatie die diffusie-large language models gebruikt met een in-context denoising-module en masked diffusion tree search om ontwerpen iteratief te verfijnen en state-of-the-art prestaties te behalen in few-shot scenario's.

Oorspronkelijke auteurs: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

Gepubliceerd 2026-01-22

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ye Yuan, Can, Chen, Zipeng Sun, Dinghuai Zhang, Christopher Pal, Xue Liu

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een meesterkok bent die een nieuw, perfect recept probeert uit te vinden. Echter, je hebt een groot probleem: je hebt alleen een klein notitieboekje met 10 oude recepten en hun beoordelingen. Je hebt geen keuken om nieuwe ideeën in realtime te testen, omdat testen te duur of te gevaarlijk is. Je moet de beste nieuwe recept bedenken door alleen naar dat kleine notitieboekje te kijken.

Dit is de uitdaging van Offline Black-Box Optimization. De "black box" is de onbekende regel die bepaalt of een ontwerp (zoals een DNA-sequentie of een robotvorm) goed of slecht is. Het "offline" gedeelte is dat je geen nieuwe ideeën live kunt testen; je hebt alleen gegevens uit het verleden.

Hier is hoe de nieuwe methode van het artikel, dLLM, dit probleem oplost, uitgelegd via eenvoudige analogieën.

Het probleem met oude methoden

Eerdere pogingen om dit op te lossen gebruikten Autoregressieve Modellen. Denk aan deze als een schrijver die een verhaal schrijft, woord voor woord, van links naar rechts.

De gebrekkigheid: Als je een zin schrijft, beïnvloedt het einde van de zin vaak hoe je het begin had moeten schrijven. Maar een schrijver die van links naar rechts schrijft, kan het einde niet zien terwijl hij het begin schrijft. Ze missen de verbindingen van het "grote plaatje". In complexe ontwerpen (zoals DNA) hangt elk deel af van elk ander deel, dus een strikt van links naar rechts schrijven leidt vaak tot slordige, minderwaardige resultaten.

De nieuwe oplossing: De "Diffusie" Chef

De auteurs introduceren Diffusion Large Language Models (dLLMs). In plaats van één woord per keer te schrijven, stel je een chef voor die begint met een kom lege, gemaskeerde ingrediënten (gerepresenteerd als [M]) en het recept stap voor stap onthult, terwijl hij het steeds verder verfijnt.

Deze aanpak heeft twee superkrachten:

Bidirectionele Visie: De chef kan in één keer naar de hele kom kijken. Hij kan zien hoe het "einde" van het recept het "begin" beïnvloedt, waardoor hij fouten globaal kan herstellen in plaats van alleen lokaal.
Iteratieve Verfijning: Hij raadt niet direct het uiteindelijke gerecht. Hij begint met een ruwe schets en vult vervolgens langzaam de gaten in, waarbij hij bij elke stap steeds beter wordt.

Hoe het werkt: De Tweestapsdans

Het artikel combineert twee slimme trucs om deze chef nog beter te maken:

1. In-Context Denoising (De "Slimme Prompt")

Voordat de chef begint met koken, geef je hem een speciale instructiekaart. Deze kaart bevat:

Het Doel: "Maak een DNA-sequentie die het beste plakt aan dit specifieke eiwit."
Het Notitieboekje: De 10 voorbeelden uit je offline dataset.
Het Commando: "Stel een nieuw, beter sequentie voor."

Het model leest deze kaart en gebruikt zijn enorme vooraf getrainde kennis (zoals een chef die miljoenen kookboeken heeft gelezen) om te beginnen met het "denoisen" van de gemaskeerde ingrediënten. Het verandert de lege [M]'s in werkelijke letters (A, C, G, T), waardoor de kandidaatات ontwerp langzaam wordt onthuld.

2. Masked Diffusion Tree Search (De "Vertakkende Verkenner")

Slechts één recept raden is niet genoeg. Wat als de chef vastloopt op een slecht pad? De auteurs hebben een Tree Search mechanisme toegevoegd. Stel je voor dat de chef niet alleen één gerecht bereidt; hij zet een vertakkend pad van mogelijkheden op:

Selectie: De chef kijkt naar alle huidige gedeeltelijke recepten en kiest de meest veelbelovende om als volgende aan te werken (met een score die een balans vindt tussen het proberen van nieuwe dingen versus vasthouden aan wat werkt).
Expansie: Hij neemt dat veelbelovende gedeeltelijke recept en genereert verschillende manieren om de volgende paar gaten in te vullen. Nu heb je, in plaats van één pad, een boom van vele mogelijkheden.
Evaluatie: Voor elke nieuwe tak gebruikt hij een "voorspeller" (een Gaussian Process, wat een soort slimme rekenmachine is die getraind is op jouw 10 voorbeelden) om te raden hoe goed het uiteindelijke gerecht zou zijn als hij het afmaakt.
Backpropagation: Als een tak er heerlijk uitziet, onthoudt de chef dat pad en verkent hij het verder. Als een tak vies smaakt, snoeit hij het weg en stopt hij met tijd verspillen.

Dit proces is als een Monte Carlo Tree Search (een strategie gebruikt door AI om spellen zoals Go te spelen), maar in plaats van schaken te spelen, speelt de AI "invul de gaten" om het perfecte ontwerp te vinden.

De Resultaten

Het artikel testte deze methode op vier verschillende uitdagingen:

Ant Morphology: Een robotmier ontwerpen die snel kruipt.
D'Kitty Morphology: Een robotkat ontwerpen die snel kruipt.
TF Bind 8 & 10: Korte DNA-sequenties ontwerpen om aan specifieke eiwitten te plakken.

In al deze tests presteerde de dLLM-methode beter dan elke andere bestaande methode, inclus[ief] methoden die gradiënten, generatieve modellen of standaard taalmodellen gebruiken. Het was bijzonder goed in het vinden van de absolute beste ontwerpen (de "top 1%") zelfs wanneer het slechts 10 voorbeelden had om van te leren.

Samenvatting

Beschouw de oude methoden als een schrijver die alleen van links naar rechts kan schrijven en gemakkelijk vastloopt. De nieuwe dLLM-methode is als een meesterchef die:

Jouw beperkte notitieboekje en instructies leest.
Begint met een leeg canvas.
Het ontwerp langzaam onthult terwijl hij naar het hele plaatje kijkt.
Tegelijkertijd veel verschillende "wat als"-scenario's verkent met behulp van een tree-search strategie om er zeker van te zijn dat hij de perfecte oplossing niet mist.

Dit stelt hen in staat om de beste mogelijke ontwerpen te vinden, zelfs wanneer data schaars is en de regels van het spel verborgen zijn.

Technische Samenvatting: Diffusion Large Language Models voor Black-Box Optimalisatie

Probleemstelling

Offline Black-Box Optimalisatie (BBO) streeft naar het identificeren van optimale ontwerpen ( $x^*$ ) die een onbekende objectfunctie $f(\cdot)$ maximaliseren met behulp van uitsluitend een beperkte offline dataset van ontwerp-label paren. Dit scenario komt veel voor in domeinen zoals DNA-sequentieontwerp en robotica, waar het opvragen van eigenschappen duur is en gelabelde data schaars is (few-shot regime).

Traditionele benaderingen vallen doorgaans uiteen in twee categorieën:

Proxy-gebaseerde methoden: Het trainen van een surrogaatmodel (bijv. Gaussische Processen of Diepe Neurale Netwerken) om $f(\cdot)$ te benaderen en het gebruik van de gradiënten ervan om optimalisatie te sturen.
Generatieve methoden: Het trainen van conditionele generatieve modellen om direct hoog scorende ontwerpen te produceren.

Echter, deze methoden lijden vaak aan problemen met generalisatie buiten de distributie (out-of-distribution) in situaties met beperkte data. Bovendien kampen recente aanpassingen van autoregressieve Large Language Models (LLMs) aan BBO, die taken framen als natuurlijke taalprompts, met een kritieke beperking: ze genereren sequenties van links naar rechts. Deze unidirectionele aanpak heeft moeite met het vastleggen van bidirectionele afhankelijkheden die inherent zijn aan veel ontwerpstaken (bijv. de functie van een DNA-unit hangt af van zowel de prefix als de suffix).

Methodologie: dLLM

De auteurs stellen dLLM voor, een framework dat Diffusion Large Language Models inzet voor offline BBO. De methode combineert twee kernmodules: In-Context Denoising en Masked Diffusion Tree Search.

1. In-Context Denoising

In plaats van fine-tuning maakt de methode gebruik van de in-context leervermogens van pre-trained diffusion LLM's.

Prompt Constructie: De input voor de diffusion LLM bestaat uit een gestructureerde natuurlijke taalprompt die de volgende elementen bevat:
- Taakbeschrijving: Definieert het ontwerpformaat (bijv. DNA-alfabet), het doel en de restricties.
- Offline Dataset: Een few-shot set van ontwerp-label paren (bijv. DNA-sequenties en bindingsaffiniteiten).
- Instructie: Een directief om verbeterde kandidaten te genereren.
Denoising Proces: Het model begint met een volledig gemaskeerd ontwerp ( $x_{t=1}$ ). Het voorspelt iteratief gemaskeerde tokens om een compleet kandidaat ( $\hat{x}_0$ ) te produceren. De minst betrouwbare tokens worden opnieuw gemaskeerd om een nieuwe gedeeltelijk gemaskeerde staat ( $x_s$ ) te vormen voor de volgende stap, wat effectief het ontwerp verfijnt door middel van iteratieve denoising.

2. Masked Diffusion Tree Search (MDTS)

Om de generatie naar hoogpresterende regio's te leiden en een balans te vinden tussen exploratie en exploitatie, wordt het denoising-proces gegestalteerd als een stapsgewijze Monte Carlo Tree Search (MCTS).

Boomstructuur: Elke node representeert een gedeeltelijk gemaskeerd ontwerp ( $x_t$ ).
Selectie: Het algoritme doorloopt de boom vanaf de root (volledig gemaskeerd) met behulp van de Upper Confidence Bound (UCT) score. Dit balanceert het exploiteren van hoogwaardige nodes en het exploreren van minder bezochte takken. De UCT-score incorporeert de waarde-inschatting van de node en de waarschijnlijkheid van de unmasking-stap door het model.
Expansie: Geselecteerde nodes worden geëxpandeerd door de diffusion LLM toe te passen om diverse completions te genereren, die vervolgens opnieuw worden gemaskeerd om kind-nodes te creëren.
Evaluatie: Kind-nodes worden uitgerold tot volledig gedenoised ontwerpen. Hun beloningen worden geschat met behulp van Expected Improvement (EI) afgeleid van een Gaussisch Proces (GP) dat getraind is op de offline dataset. De GP biedt principiële onzekerheidsschattingen die cruciaal zijn in few-shot settings.
Backpropagation: Het beloningssignaal wordt omhoog door de boom gepropageerd om de waarde-inschattingen en visit-counts van voorouder-nodes bij te werken, wat toekomstige selectiebeslissingen informeert.

Belangrijkste Bijdragen

Eerste toepassing van Diffusion LLM's op BBO: Het paper introduceert het eerste framework dat gebruikmaakt van diffusion LLM's voor offline black-box optimalisatie, waarbij gebruik wordt gemaakt van hun bidirectionele modellering en iteratieve verfijningsmogelijkheden om complexe ontwerpafhankelijkheden aan te pakken.
In-Context Denoising Module: Een nieuw conditioneringsmechanisme dat diffusion LLM's in staat stelt gemaskeerde ontwerpen te verfijnen op basis van natuurlijke taal-taakbeschrijvingen en few-shot offline datasets zonder parameterupdates.
Masked Diffusion Tree Search: Een zoekalgoritme dat diffusion denoising behandelt als een sequentieel besluitvormingsproces, waarbij exploratie en exploitatie dynamisch worden gebalanceerd via MCTS en GP-gebaseerde Expected Improvement.

Experimentele Resultaten

De auteurs evalueerden dLLM op de Design-Bench benchmark, die zowel continue (Ant Morphology, D'Kitty Morphology) als discrete (TF Bind 8, TF Bind 10) taken dekt in een few-shot setting (10 gelabelde voorbeelden).

Prestaties: dLLM behaalde state-of-the-art resultaten over alle vier de taken, waarbij het de eerste plaats belegde in zowel de gemiddelde als de mediane rangschikking onder 15 baselines. Het demonstreerde consistente winst in zowel continue als discrete ontwerpplekken.
Vergelijking:
- Presteerde beter dan pure gradiënt-gebaseerde proxy-methoden (bijv. Grad-mean, Grad-EI), wat aangeeft dat generatieve modellen gekoppeld aan zoekalgoritmen superieur zijn voor exploratie.
- Overtrof andere generatieve baselines, inclusief autoregressieve LLM's (OPRO) en andere diffusion modellen (DDOM, GTG). De auteurs schrijven dit toe aan de bidirectionele modellering van diffusion LLM's en de brede pre-trained kennis die zij benutten.
- Presteerde beter dan de sterke autoregressieve baseline UniSO-T, wat suggereert dat bidirectionele context cruciaal is voor taken met complexe afhankelijkheden.
Ablatie-studies:
- Het verwijderen van de tree search (w/o MDTS) veroorzaakte een substantiële prestatiedaling, wat de noodzaak van geleide exploratie benadrukt.
- Het vervangen van de diffusion LLM door een vanilla diffusion model dat alleen getraind is op de few-shot data leidde tot significante degradatie, wat het belang van pre-trained kennis bevestigt.
- Het verwijderen van de expliciete taakbeschrijving in de prompt verminderde de prestaties, wat de rol van semantische inkadering valideert.

Betekenis en Claims

Het paper claimt dat dLLM het potentieel van diffusion LLM's als general-purpose optimizers voor data-efficiënte ontwerpgeneratie aantoont. Door de beperkingen van autoregressieve modellen bij het vastleggen van bidirectionele afhankelijkheden aan te pakken en deze te integreren met een robuuste zoekstrategie, biedt de methode een veelzijdig alternatief voor wetenschappelijke en technische domeinen waar gelabelde data schaars is. De auteurs positioneren dit werk als een opening naar nieuwe richtingen voor het benutten van pre-trained foundation models in offline black-box optimalisatie.