Technische Samenvatting: Gepersonaliseerde Beeldgeneratie via Human-in-the-loop Bayesian Optimalisatie

1. Probleemstelling

Ondanks de snelle vooruitgang in diffusiemodellen (bijv. FLUX, Stable Diffusion 3), blijft er een fundamentele kloof bestaan tussen het mentale beeld van een gebruiker ($x^*$) en het beste beeld ($x_p^*$) dat uitsluitend via tekstuele prompts bereikbaar is. Deze kloof ontstaat doordat de beeldruimte hoger-dimensionaal is dan taal, de woordenschat van gebruikers beperkt is en gezamenlijke taal-beeldmodellen (zoals CLIP) inherente imperfecties bezitten.

Hoewel gebruikers vaak wel kunnen identificeren wanneer een gegenereerd beeld "dichterbij" hun mentale doel ligt dan een vorig beeld, hebben zij moeite om de specifieke linguïstische veranderingen te articuleren die nodig zijn om deze kloof te overbruggen. Bestaande methoden die vertrouwen op taalprompts, of die uitgebreide offline training met grote datasets vereisen (bijv. RLHF, DiffusionDPO), zijn ofwel ontoereikend voor hyper-personalisatie, ofwel computationeel te duur. Dit artikel formuleert dit als een human-in-the-loop black-box optimalisatieprobleem: hoe optimaliseer je iteratief een beeld met behulp van uitsluitend preferentiële feedback van een gebruiker, zonder toegang te hebben tot de interne bevredigingsfunctie van de gebruiker of de grondwaarheid (ground truth) doelstelling $x^*$.

2. Methodologie: MultiBO

De auteurs stellen MultiBO (Multi-Choice Preferential Bayesian Optimization) voor, een training-vrij, interactief framework dat beeldgeneratie optimaliseert door de interne representaties van een diffusiemodel aan te passen op basis van gebruikersvoorkeuren.

Kerncomponenten

De methodologie adresseert twee primaire uitdagingen: de hoge dimensionaliteit van de beeldruimte en de moeilijkheid van het verkrijgen van precieze numerieke beoordelingen van gebruikers.

A. Multi-Choice Preferential Bayesian Optimization (Multi-choicePBO)

In plaats van standaard paarwijze vergelijkingen (A versus B), presenteert MultiBO een set van $K$ beelden aan de gebruiker en vraagt om de $N$ beste opties te selecteren ($N$-uit-$K$).

• MultiwiseGPR: Om de latente bevredigingsfunctie $f$ van de gebruiker te modelleren op basis van deze complexe feedback, introduceren de auteurs een MultiwiseGaussian Process Regression (MultiwiseGPR) likelihood-model. Dit breidt de standaard Binomial-Probit/Logit-modellen die worden gebruikt bij paarwijze voorkeursoptimalisatie uit naar een Multinomial-Logit framework. Het brengt de waarschijnlijkheid dat een gebruiker een specifieke subset van beelden selecteert in kaart met de waarden van de latente functie, waardoor het systeem $f$ efficiënter kan afleiden met minder queries.
• Dynamic Balanced Subspace (DBS) Acquisition Function: Standaard Expected Improvement (EI) is computationeel onhandelbaar wanneer men over $K$ keuzes gezamenlijk optimaliseert. De auteurs stellen DBS voor, een lichtgewicht acquisition function die:
  1. Eén enkele Expected Improvement sample ($x_{EI}$) berekent.
  2. $K$ "ankerpunten" (bridge vectors) construeert tussen de huidige beste schatting ($\hat{x}^*$) en $x_{EI}$.
  3. Perturbaties sampleert uit een dynamische subspace $\Omega \subseteq Y$. Deze subspace wordt bepaald door de spectrale kloof van de gradiënt-covariantie-matrix van de GPR-posterior, wat ervoor zorgt dat de $K$ keuzes die aan de gebruiker worden gepresenteerd, de meest visueel significante dimensies van de latente ruimte beslaan terwijl de diversiteit behouden blijft.

B. Self-Attention Warping

Directe optimalisatie in de hoog-dimensionale latente ruimte ($D \approx 16k$) is onhaalbaar. MultiBO optimaliseert in plaats daarvan binnen de self-attention mechanisme van het diffusiemodel (specifiek de Query, Key, en Value matrices, $Q, K, V$).

• Transformatieruimte: De optimalisatie is beperkt tot een ruimte van geldige warping transformaties (een compositie van Affine en Thin-Plate Spline transformaties) toegepast op de attention features.
• Rationale: Self-attention controleert ruimtelijke attributen, textuur en vorm. Door deze features te "warpen", kan MultiBO globale en lokale semantische veranderingen induceren zonder de dimensionaliteitskosten van pixel-ruimte optimalisatie. Dit vermijdt de noodzaak voor cross-attention (die gekoppeld is aan de tekstprompt) en richt zich op het verfijnen van de visuele output.

Workflow

1. Initialisatie: Genereer een initieel beeld $x_p^*$ vanuit een prompt.
2. Iteratie (tot $B$ rondes):
   • De DBS-module stelt $K$ sets warping-parameters voor.
   • Deze parameters worden toegepast op de self-attention features van het diffusiemodel om $K$ kandidaat-beelden te genereren.
   • De gebruiker selecteert de $N$ beste beelden.
   • Het MultiwiseGPR-model werkt zijn posterior belief van de bevredigingsfunctie $f$ bij.
   • Het proces herhaalt zich totdat het budget $B$ is uitgeput, waarbij het uiteindelijke geoptimaliseerde beeld $\hat{x}^*$ wordt opgeleverd.

3. Belangrijkste Bijdragen

1. Multi-Choice Preference Framework: Het artikel toont aan dat $N$-uit-$K$ preferentiële feedback aanzienlijk rijkere informatie biedt dan paarwijze vergelijkingen, wat de query-last voor de gebruiker vermindert. Dit wordt wiskundig geformaliseerd via de MultiwiseGPR likelihood en een bijbehorende acquisition function.
2. Attention-Space Optimization: In tegen tegenstelling tot methoden die ruisvectoren of pixelruimte optimaliseren, optimaliseert MultiBO self-attention features ($Q, K, V$) met behulp van een beperkte warping-transformatieruimte. Dit balanceert de behoefte aan expressieve bewerking met computationele haalbaarheid.
3. Training-Vrije Personalisatie: De aanpak vereist geen offline training op grote datasets of het finetunen van het diffusiemodel. Het opereert volledig tijdens de inference-fase, waardoor het model-agnostisch en aanpasbaar is aan individuele gebruikersvoorkeuren.
4. Dynamic Subspace Selection: De DBS acquisition function identificeert adaptief de meest invloedrijke dimensies voor optimalisatie, wat voorkomt dat de zoektocht inklapt in redundante variaties.

4. Experimentele Resultaten

De auteurs evalueerden MultiBO tegen vijf categorieën baselines: training-gebaseerde preferentie-alignment (DiffusionDPO, IterComp), training-vrije inference methoden (DEMON, DNO, DAS), en metriek-gestuurde varianten van MultiBO.

• Target Alignment: MultiBO presteerde aanzienlijk beter dan alle baselines in CLIP-I2I en LPIPS metrieken (die de gelijkenis met de target $x^*$ meten), en behaalde resultaten die vergelijkbaar zijn met een "Oracle" L2-gestuurde upper bound. Opvallend genoeg presteerde het beter dan varianten waarbij de mens werd vervangen door geautomatiseerde reward-modellen (bijv. MultiBOCLIP-I2I), wat valideert dat menselijke feedback nuances vastlegt die door proxy-metrieken worden gemist.
• Preference Metrics: MultiBO behaalde competitieve of superieure scores op standaard reward-metrieken (ImageReward, Aesthetic, HPSv2) vergeleken met training-gebaseerde methoden, ondanks het feit dat er geen trainingsdata werd gebruikt.
• Robuustheid: In tegen tegenstelling tot sommige baselines (bijv. DNO, DAS) die leden onder "reward hacking" (het genereren van slechte beelden die hoog scoren op specifieke metrieken), behield MultiBO de visuele integriteit.
• Menselijke Evaluatie: In een studie met 30 vrijwilligers behaalde MultiBO een win rate van 70,82% bij het selecteren van het beeld dat het dichtst bij de target lag, waarmee het alle baselines significant versloeg (de eerstvolgende was 15,60%).
• Ablatie-studies:
  • Multiwise vs. Pairwise: Multi-choice feedback ($K=4$) convergeerde sneller en met hogere kwaliteit dan pairwise ($K=2$).
  • Keuzeset Grootte: $K=4$ bood de optimale balans tussen informatiewinst en cognitieve belasting voor de gebruiker; $K=10$ leidde tot afnemende meeropbrengsten.
  • Layer Selectie: Het bewerken van midden-tot-latere self-attention lagen (decoder lagen) leverde de beste ruimtelijke controle op zonder de semantische structuur te vernietigen.
  • Timesteps: Het bewerken tijdens de vroege-tot-middelvallige denoising stappen bood de meeste sturingsvrijheid.

5. Betekenis en Claims

Het artikel claimt dat MultiBO effectief de "last-mile" kloof verkleint tussen de verbeelding van een gebruiker en de output van generatieve modellen. De betekenis ligt in:

• Efficiëntie: Het bereiken van high-fidelity personalisatie met slechts ~50 gebruikersqueries, waardoor de computationele kosten van het trainen van grote reward-modellen worden vermeden.
• Human-Centric Design: Door gebruik te maken van het menselijk vermogen om relatieve kwaliteit (voorkeur) te beoordelen in plaats van absolute kwaliteit (beoordeling), omzeilt het systeem de beperkingen van taalprompts en imperfecte reward-modellen.
• Praktische Bruikbaarheid: De methode is training-vrij en model-agnostisch, wat een levensvatbaar pad biedt voor hyper-gepersonaliseerde beeldgeneratie zonder dat hiervoor massale datasets of gespecialiseerde hardware voor training nodig zijn.

De auteurs erkennen beperkingen, waarbij zij opmerken dat optimalisatie kan stagneren in scenario's waar gebruikersvoorkeuren ambigu zijn (even slechte/goede keuzes) en dat de beperkte warping-ruimte de reikwijdte van mogheden kan beperken vergeleken met volledige latent-ruimte optimalisatie. Toekomstig werk stelt voor om geïnformeerde priors van pre-trained reward-modellen te integreren en hoog-dimensionale optimalisatiestrategieën te verkennen die beter passen bij de geometrie van latente diffusie.