Technische Samenvatting: PreferThinker

Probleemstelling

Gepersonaliseerde beoordeling van beeldvoorkeuren heeft als doel de individuele beeldvoorkeuren van een gebruiker te evalueren met behulp van slechts een kleine set referentiebeelden als voorkennis. Terwijl bestaande methoden effectief omgaan met algemene voorkeuren (bijv. tekst-afbeelding uitlijning, esthetiek) met behulp van grootschalige datasets, hebben ze moeite met gepersonaliseerde voorkeuren. Deze uitdaging komt voort uit twee primaire factoren:

1. Schaarsheid en Heterogeniteit van Data: In tegenstelling tot algemene voorkeuren, waarbij gebruikers gemeenschappelijke criteria delen, zijn gepersonaliseerde gegevens voor elke gebruiker beperkt, onderscheidend en moeilijk op te schalen voor training.
2. Complexiteit van Smaak: Individuele voorkeuren zijn vaak divers en multidimensionaal (dekend zaken als kunststijl, kleur, medium, etc.), wat ze moeilijker te vangen maakt dan duidelijke algemene menselijke voorkeuren.

Huidige benaderingen, inclusief CLIP-gebaseerde methoden en Multimodale Grote Taalmodellen (MLLM's), falen doorgaans in dit domein omdat ze ofwel een gebrek aan interpreteerbaarheid hebben (alleen numerieke scores outputten) of niet voldoende gepersonaliseerde data kunnen benutten voor grootschalige training. Bestaande gepersonaliseerde methoden zoals ViPer gebruiken impliciet weliswaar referentiebeelden, maar maken geen volledig gebruik van de in hen aanwezige voorkennis of bieden geen interpreteerbare redeneerstappen.

Methodologie

De auteurs stellen PreferThinker voor, een op redenering gebaseerd systeem voor gepersonaliseerde beeldvoorkeursbeoordeling dat een predict-then-assess paradigma volgt. De kerninzicht is het overbruggen van verschillende gebruikers door een Common Preference Profile te introduceren, die bestaat uit gedeelde visuele elementen (bijv. kunststijl, kleur, kunstmedium, verzadiging, detail). Hoewel individuele smaken uniek zijn, zijn deze onderliggende visuele elementen gemeenschappelijk en kunnen ze over gebruikers heen worden geleerd.

1. Visueel Voorkeursprofiel

Het systeem formaliseert gebruikersvoorkeuren in een profiel bestaande uit vijf belangrijke visuele elementen die zijn geïdentificeerd via gebruikersstudies en analyse van tekstprompts: Kunststijl, Kleur, Kunstmedium, Verzadiging en Detail. Dit profiel op elementniveau maakt de karakterisering van complexe individuele smaken mogelijk en dient als een brug voor training op grootschalige gebruikersmonsters.

2. Dataset Constructie (PreferImg-CoT)

Om gestructureerd redeneren mogelijk te maken, hebben de auteurs PreferImg-CoT geconstrueerd, de eerste grootschalige Chain-of-Thought (CoT) stijl gepersonaliseerde beoordelingsdataset.

• Generatie: Ze creëerden eerst PreferImg, een dataset met 80.000 gesimuleerde gebruikers, waarbij elke gebruiker unieke voorkeursprofielen kreeg toegewezen. Referentiebeelden (voorkeurs- en niet-voorkeursbeelden) en kandidaatbeelden werden gegenereerd met behulp van tekst-naar-beeld modellen op basis van deze profielen.
• Annotatie: Met behulp van Claude 3.7 genereerden ze hoogwaardige CoT-stijl responsen voor 60.000 gebruikersmonsters. Deze annotaties bevatten expliciete voorspellingen van de voorkeurs- of niet-voorkeursprofielen van de gebruiker en multidimensionale, interpreteerbare scoring van kandidaatbeelden.

3. Trainingsstrategie

PreferThinker hanteert een tweefasige trainingsstrategie om gestructureerd redeneren te beheersen:

• Fase 1: Cold-Start Supervised Fine-Tuning (SFT): Het model (geïnitialiseerd vanaf Qwen2.5-VL-7B) wordt gefinetuned op de PreferImg-CoT dataset. Deze fase leert het model eerst de visuele voorkeursprofielen van de gebruiker te voorspellen vanuit de referentiebeelden en vervolgens deze profielen te gebruiken om interpreteerbare, multidimensionale scores voor kandidaatbeelden te genereren.
• Fase 2: Reinforcement Fine-Tuning (RFT) met GRPO: Om generalisatie te verbeteren en meer redelijke beoordelingspaden te verkennen, passen de auteurs Group Relative Policy Optimization (GRPO) toe. Deze fase stimuleert het model om diverse redeneerpaden te verkennen zonder dat daar een critic-model voor nodig is.

4. Gelijkenis-bewuste Voorspellingsbeloning

Een belangrijke innovatie is de Similarity-Aware Prediction Reward. De auteurs observeerden dat een nauwkeurige profielvoorspelling een meer redelijke beoordeling faciliteert. Om dit te verbeteren, ontwierpen ze een beloningsfunctie die de nauwkeurigheid van het voorspelde voorkeursprofiel evalueert door de volgende zaken te meten:

• Tekstgelijkenis: Semantische gelijkenis tussen het voorspelde profiel en de grondwaarheid (met behulp van SBERT).
• Beeldgelijkenis: Visuele gelijkenis tussen afbeeldingen gegenereerd uit het voorspelde profiel versus afbeeldingen gegenereerd uit het grondwaarheidsprofiel (met behulp van DreamSim).
  Deze beloning wordt gecombineerd met beloningen voor formaatcorrectheid en beoordelingsnauwkeurigheid om de RL-training te sturen.

Belangrijkste Bijdragen

1. PreferThinker Systeem: Een op redenering gebaseerd framework dat een nauwkeurige gepersonaliseerde beoordeling en interpreteerbare, multidimensionale scoring bereikt door eerst de voorkeursprofielen van de gebruiker te voorspellen.
2. PreferImg-CoT Dataset: De eerste grootschalige CoT-stijl dataset voor gepersonaliseerde beoordeling, geannoteerd met diverse voorkeursprofielen en hoogwaardige redenering, wat expliciete supervisie van gestructureerd redeneren mogelijk maakt.
3. Trainingsstrategie: Een nieuwe tweefasige aanpak die cold-start SFT combineert met GRPO-gebaseerde RL, aangevuld met een similarity-aware prediction reward om de profielvoorspelling en de kwaliteit van de beoordeling te verbeteren.
4. Empirische Superioriteit: Uitgebreide experimenten die aantonen dat PreferThinker de state-of-the-art (SOTA) methoden overtreft op zowel synthetische als real-user benchmarks.

Experimentele Resultaten

De auteurs evalueerden PreferThinker op de voorgestelde PreferImg benchmark (1.500 gebruikers, verdeeld in seen/unseen en single/multi-preference groepen) en de real-user PickaPic dataset.

• Nauwkeurigheid: PreferThinker behaalde de hoogste nauwkeurigheid in alle settings. Op de seen single-preference (SP) subset van PreferImg bereikte het 96,6%, waarmee het de vorige SOTA (ViPer) met 2,4% en het basismodel met 21,2% versloeg.
• Generalisatie: De methode behield een sterke prestatie op ongeziene gebruikers (96,4% op unseen SP), wat een robuuste generalisatie aantoont.
• Prestaties in de echte wereld: Op de PickaPic dataset (waar labels algemene voorkeuren reflecteren maar gegroepeerd zijn per gebruiker), rangschikte PreferThinker als tweede onder de unseen methoden, wat de generaliseerbaarheid bevestigt ondanks de domeinverschuiving.
• Ablatie-studies: Het verwijderen van ofwel de SFT cold-start of de RL post-training leidde tot een significante verslechtering van de prestaties. De inclusie van de similarity-aware prediction reward verbeterde zowel de nauwkeurigheid van de profielvoori-voorspelling als de uiteindelijke beoordelingsnauwkeurigheid.
• Efficiëntie: Zelfs zonder expliciete CoT-generatie (inference mode), presteerde PreferThinker beter dan SOTA-methoden terwijl het de snelste inferentiesnelheid (0,80s) behaalde vergeleken met andere MLLM's.

Betekenis en Claims

Het artikel claimt dat PreferThinker de eerste redeneringsgebaseerde gepersonaliseerde beeldvoorkeursbeoordelingssystem is die er succesvol in slaagt de kloof tussen beperkte gepersonaliseerde data en complexe individuele smaken te overbruggen. Door de introductie van het Common Preference Profile maakt de methode gebruik van grootschalige gebruikersdata om profielvoorspelling te trainen, wat de schaarste aan data effectief mitigeert. Het systeem biedt niet alleen nauwkeurige beoordelingen, maar biedt ook interpreteerbare, multidimensionale scores die gebaseerd zijn op de referentiebeelden van de gebruiker, waarmee het de "black box"-beperking van eerdere reward-modellen aanpakt. Bovendien is aangetoond dat de voorspelde profielen gunstig zijn voor gepersonaliseerde beeldgeneratie, wat suggereert dat de bruikbaarheid van het framework verder reikt dan beoordeling naar contentcreatie. Het werk vestigt een nieuw paradigma voor gepersonaliseerde afstemming in generatieve AI, waarbij de stap wordt gezet van eenvoudige score-regressie naar gestructureerde, verklaarbare redenering.