💻 computer science

DyCoRM: Dynamic Criterion-Aware Reward Modeling for Text-to-Image Generation

Dit artikel introduceert DyCoRM, een dynamisch criteriumgevoelig beloningsmodelleringkader dat de behoefte aan fijnmazige, taakspecifieke afbeeldingsevaluatie bij tekst-naar-afbeeldinggeneratie aanpakt door gebruik te maken van een nieuw samengestelde dataset en benchmark om een nauwkeurigere afstemming op gebruikersvereisten mogelijk te maken.

Oorspronkelijke auteurs: Jiaying Qian, Ziheng Jia, Qian Zhang, Zicheng Zhang, Jiayi Guo, Junqi Zhang, Guangtao Zhai, Xiongkuo Min

Gepubliceerd 2026-05-26

📖 4 min leestijd☕ Koffiepauze-leesvoer

CC BY 4.0

Oorspronkelijke auteurs: Jiaying Qian, Ziheng Jia, Qian Zhang, Zicheng Zhang, Jiayi Guo, Junqi Zhang, Guangtao Zhai, Xiongkuo Min

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een kunstcriticus bent, maar in plaats van alleen te zeggen "Ik vind dit schilderij leuker dan dat ene", moet je exact uitleggen waarom op basis van een specifieke regel die de kunstenaar je heeft gegeven.

Dit artikel introduceert een nieuw systeem genaamd DyCoRM (Dynamic Criterion-Aware Reward Model), ontworpen om computers te helpen bij het beoordelen van door AI gegenereerde afbeeldingen. Hier is de uitleg met behulp van eenvoudige analogieën:

Het Probleem: De "Een-Formule-voor-Alles"-Beoordelaar

Momenteel werken de meeste AI-afbeeldingsbeoordelaars als een algemene manager die alleen naar het eindproduct kijkt en één enkele score geeft (bijvoorbeeld: "8 van de 10").

Het Probleem: Soms wil een gebruiker een afbeelding die "angstwekkend" is, en soms willen ze er eentje die "kleurrijk" is. Een algemene manager kan een kleurrijke afbeelding een hoge score geven, zelfs als de gebruiker specifiek om iets engs heeft gevraagd. De oude beoordelaars weten niet hoe ze hun focus moeten verschuiven op basis van het specifieke verzoek. Ze blijven vastzitten in een vaste set regels voor elke enkele taak.

De Oplossing: De "Gespecialiseerde Inspecteur" (DyCoRM)

De auteurs hebben een nieuw systeem gebouwd dat fungeert als een flexibele, gespecialiseerde inspecteur. In plaats van alleen een score te geven, doet deze inspecteur twee dingen in volgorde:

Stap 1: Lees de Blauwdruk (Criterion Grounding):
Voordat de inspecteur naar de afbeeldingen kijkt, leest hij de prompt van de gebruiker en vraagt hij: "Wat zijn de specifieke regels voor deze taak?"
- Analogie: Als de prompt "een cyberpunkstad" is, schrijft de inspecteur op: "Controleer op neonlichten, vliegende auto's en donkere straten."
- Als de prompt "een gezellige keuken" is, schrijft de inspecteur op: "Controleer op warm licht, stoom op het raam en realistische voedseltexturen."
- Het systeem leert om deze specifieke regels automatisch te achterhalen voor elk nieuw verzoek.
Stap 2: Beoordeel Op Basis van de Regels (Criterion-Conditioned Comparison):
Zodra de regels zijn vastgesteld, bekijkt de inspecteur twee afbeeldingen en vergelijkt hij ze alleen op basis van die specifieke regels.
- Analogie: Hij zegt niet zomaar "Afbeelding A is mooier." Hij zegt: "Afbeelding A wint omdat de neonlichten helderder zijn (Regel #1), maar Afbeelding B wint omdat het voedsel er smakelijker uitziet (Regel #2)."

De Trainingsdata: Het "Oefenexamen" (DyCoDataset-20K)

Om deze inspecteur te leren zijn werk te doen, hebben de onderzoekers een enorme nieuwe trainingsset gecreëerd genaamd DyCoDataset-20K.

Hoe ze het maakten: Ze namen duizenden prompts, genereerden afbeeldingen met 14 verschillende AI-modellen, en huurden vervolgens mensen in om te fungeren als "tutors".
Het Tutoring-Proces: De mensen kozen niet zomaar een winnaar. Ze moesten:
1. De specifieke criteria voor die specifieke prompt opschrijven (bijvoorbeeld: "De handen moeten er realistisch uitzien").
2. De afbeeldingen vergelijken op basis alleen van die criteria.
Het Resultaat: Een dataset van meer dan 20.000 voorbeelden waarbij de "regels" veranderen voor elke enkele taak, waardoor de AI leert flexibel te zijn.

De Benchmark: Het "Eindexamen" (DyCoBench-1K)

Ze hebben ook een kleinere, moeilijkere testset gecreëerd genaamd DyCoBench-1K. Dit is als een eindexamen waarbij de vragen lastig zijn en vereisen dat de AI snel van focus verandert. De resultaten toonden aan dat DyCoRM dit examen veel beter haalde dan eerdere beoordelaars in de stijl van de "algemene manager".

De Toepassing: De "Persoonlijke Shopper" (DyCoPick)

Tot slot lieten de auteurs zien hoe dit systeem in het echt kan worden gebruikt met een tool genaamd DyCoPick.

Hoe het werkt: Stel je voor dat je een AI vraagt om 10 afbeeldingen te genereren van een "kat in de ruimte".
De Oude Manier: De AI kiest misschien gewoon de eerste die er in het algemeen "goed" uitziet.
De DyCoPick-Manier: Het systeem genereert 10 opties en gebruikt vervolgens de "Gespecialiseerde Inspecteur" om ze te bekijken op basis van je specifieke behoeften (bijvoorbeeld: "Ik wil dat de kat er pluizig uitziet" of "Ik wil dat de achtergrond donker is"). Het kiest vervolgens de ene afbeelding die het beste past bij je specifieke criteria, en fungeert als een persoonlijke shopper die precies weet wat je wilt, niet alleen wat populair is.

Samenvatting

Kortom, dit artikel zegt: "Stop met het gebruik van één generieke regelboek voor alle AI-afbeeldingsbeoordelingen. Bouw in plaats daarvan een systeem dat eerst uitzoekt wat de specifieke regels zijn voor de huidige taak, en beoordeel vervolgens de afbeeldingen op basis van die specifieke regels." Ze bouwden de leraar (de dataset), de student (het model) en het examen (de benchmark) om te bewijzen dat dit beter werkt dan de oude manier.

Technische Samenvatting: DyCoRM: Dynamische, criteriumbewuste beloningsmodellering voor tekst-naar-beeldgeneratie

1. Probleemstelling

Hoewel tekst-naar-beeld (T2I) generatiemodellen aanzienlijke vooruitgang hebben geboekt in het produceren van hoogwaardige afbeeldingen, verschuiven de vraag van gebruikers naar outputs die voldoen aan specifieke, taakrelevante vereisten. Bestaande beloningsmodellen en evaluatiekaders vertrouwen grotendeels op statische, vooraf gedefinieerde dimensies of geaggregeerde voorkeurssignalen. Deze benaderingen falen in het aanpassen aan de dynamische aard van gebruikersoordelen, waarbij evaluatiecriteria sterk variëren afhankelijk van de prompt, het beeldpaar en het beoogde gebruiksscenario (bijvoorbeeld het prioriteren van tekstleesbaarheid voor ontwerptaken versus emotionele toon voor verhalenvertelling).

De kernuitdaging die is geïdentificeerd, is dat huidige modellen evaluatie niet kunnen ontleden in twee distincte stappen: (1) het afleiden van taakrelevante criteria uit de prompt-beeldcontext, en (2) het modelleren van beeldvoorkeuren die zijn voorwaardelijk aan die specifieke criteria. Bijgevolg worstelen bestaande modellen om de juiste aspecten van een afbeelding te prioriteren wanneer verschillende taken verschillende evaluatiestandaarden vereisen.

2. Methodologie

2.1 Dataconstructie: DyCoDataset-20K en DyCoBench-1K

Om dynamische, criteriumbewuste modellering mogelijk te maken, hebben de auteurs een nieuwe dataset en benchmark geconstrueerd:

DyCoDataset-20K: Een dataset bestaande uit 4.876 prompts, 23.378 beeldparen en 94.572 fijnmazige criteria. Het constructieproces omvat:
- Promptgeneratie: Het gebruik van GPT-4o om diverse prompts te genereren die worden gecontroleerd door zes componenten (onderwerp, uiterlijk, scène, beweging, formaat, rendering) om complexiteit te variëren.
- Beeldacquisitie: Het genereren van 5–6 afbeeldingen per prompt uit een pool van 14 modellen (inclusief propriëtaire en open-source modellen) om diverse vergelijkingen te waarborgen.
- Menselijke annotatie: Een twee-fasenprotocol waarbij annotatoren eerst fijnmazige criteria formuleren die relevant zijn voor het specifieke prompt-beeldpaar, en vervolgens paarwijze vergelijkingen uitvoeren onder elk gefinaliseerd criterium. Labels worden alleen behouden als meer dan 70% van de annotatoren het eens is.
DyCoBench-1K: Een gecureerde benchmark afgeleid van de dataset, bestaande uit 192 prompts en 822 beeldparen. Deze is ontworpen om dynamische evaluatiecapaciteiten te testen, inclusief gevallen van voorkeursomkering waarbij de winnaar verandert op basis van het geselecteerde criterium.

2.2 Modelarchitectuur: DyCoRM

DyCoRM is een twee-fasen beloningsmodelleringkader:

Fase 1: Criteriumgronding: Het model neemt een prompt en een beeldpaar als input en genereert een set taakrelevante fijnmazige criteria ( $C = \{c_1, c_2, ..., c_M\}$ ). Dit wordt getraind als een autoregressieve sequentiegeneratietaken met behulp van cross-entropy-verlies tegen menselijk geannoteerde criteria.
Fase 2: Criterium-voorwaardelijke beloningsleer: Gegeven de prompt, het beeldpaar en een specifiek criterium (of set criteria), voorspelt het model de voorkeur tussen de afbeeldingen. De auteurs onderzochten zowel punt- als paarwijze verliesfuncties en stelden vast dat paarwijze verlies consequent betere prestaties oplevert. Het model leert een waarschijnlijkheid uit te brengen die aangeeft welke afbeelding de voorkeur heeft onder de gespecificeerde voorwaarde.

2.3 Toepassing: DyCoPick

DyCoPick breidt het beloningsmodelleringkader uit naar de selectiefase van generatie. Het werkt in drie fasen:

Kandidaatgeneratie: Meerdere T2I-modellen genereren kandidaten voor een gegeven prompt.
Criteriumresolutie: Als de gebruiker criteria aanlevert, worden deze gebruikt; anders leidt het systeem automatisch taakrelevante criteria af uit de prompt en kandidaten.
Criteriumgewijze selectie: DyCoRM voert paarwijze vergelijkingen uit tussen kandidaten onder elk criterium om de beste output te selecteren voor gepersonaliseerde voorkeursuitlijning.

3. Belangrijkste Bijdragen

DyCoRM-kader: Het eerste beloningsmodelleringkader dat evaluatie expliciet ontdeelt in criteriumgronding en criterium-voorwaardelijke voorkeursleer, waardoor modellen oordelen kunnen aanpassen aan diverse taakeisen.
DyCoDataset-20K & DyCoBench-1K: De constructie van een grootschalige dataset met dynamische, fijnmazige criteria en een benchmark die specifiek is ontworpen om beloningsmodellen te evalueren onder dynamische, criteriumspecifieke oordelen, verdergaand dan statische algemene voorkeurlabels.
DyCoPick: Een praktische toepassing die aantoont hoe dynamische, criteriumbewuste beloningsmodellering kan worden geïntegreerd in T2I-generatiepijplijnen voor gepersonaliseerde outputselectie.

4. Experimentele Resultaten

De auteurs hebben DyCoRM geëvalueerd op DyCoBench-1K en vier cross-domein benchmarks (ImageReward, Pick-a-Pic, HPDv2, HPDv3).

Prestaties op DyCoBench-1K: DyCoRM presteerde significant beter dan zowel gespecialiseerde T2I-beloningsmodellen (bijvoorbeeld HPSv3, ImageReward) als algemene Grote Multimodale Modellen (LMM's) in instellingen voor enkel-criterium, meer-criteria en algemene voorkeur. Bijvoorbeeld, in de instelling voor algemene voorkeur behaalde DyCoRM een nauwkeurigheid van 0,791 (Cohen's Kappa 0,772), vergeleken met 0,732 voor de volgende beste baseline (HPSv3).
Generalisatie: Op cross-domein benchmarks behield DyCoRM concurrerende prestaties, wat aantoont dat de training op dynamische criteria generaliseert naar standaard evaluatietaken voor algemene voorkeur.
Dynamische Capaciteit: Analyse toonde aan dat de prestaties van DyCoRM robuust blijven bij variërende taakmoeilijkheden en aantallen criteria, wat aangeeft dat het zich aanpast aan veranderende evaluatievoorwaarden in plaats van te vertrouwen op vaste heuristieken.
Menselijke Studie (DyCoPick): In een menselijke studie waarbij DyCoPick werd vergeleken met andere beloningsmodellen als selectoren, werd DyCoPick in alle instellingen (algemeen, enkel-criterium en meer-criteria) de voorkeur gegeven, met bijzonder sterke voordelen in criteriumspecifieke evaluaties.

5. Betekenis en Beweringen

Het artikel beweert het eerste beloningsmodelleringkader te vestigen voor dynamische en fijnmazige evaluatie in T2I-generatie. Door het paradigma te verschuiven van statische voorkeursvoorspelling naar dynamische, criteriumbewuste evaluatie, adresseert het werk de beperking van huidige modellen die zich niet kunnen aanpassen aan specifieke gebruikersvereisten. De auteurs stellen dat deze benadering een nauwkeurigere uitlijning mogelijk maakt tussen gegenereerde outputs en gebruikersintentie, waardoor de kloof wordt overbrugd tussen offline evaluatie en praktische selectie tijdens generatie. De studie benadrukt dat hoewel dynamische criteriumverzameling duurder is dan statische voorkeurlabeling, de resulterende dataset en het kader een noodzakelijke basis bieden voor de volgende generatie gepersonaliseerde T2I-systemen.