CARINOX: Inference-time Scaling with Category-Aware Reward-based Initial Noise Optimization and Exploration

Het paper introduceert CARINOX, een unificerend raamwerk dat initial noise-optimatie en -exploratie combineert met een op menselijke beoordelingen gebaseerde selectie van beloningsscores om de compositie-uitlijning van tekst-naar-beeld diffusiemodellen aanzienlijk te verbeteren zonder model-finetuning.

De kern

Stel je voor dat je een magische schilder hebt die perfect kan tekenen op basis van wat je zegt. Als je zegt "een rode auto", tekent hij een prachtige rode auto. Maar als je zegt "een rode auto en een blauwe fiets, waarbij de auto links van de fiets staat", kan de schilder soms in de war raken. Misschien tekent hij twee auto's, of staat de fiets wel rechts, of is de auto paars in plaats van rood. Dit is het probleem waar moderne kunstmatige intelligentie (zoals Stable Diffusion) vaak tegenaan loopt: ze zijn goed in het maken van mooie plaatjes, maar slecht in het precies volgen van complexe regels.

Het nieuwe onderzoek CARINOX is als een slimme assistent die deze magische schilder helpt om die regels toch perfect te volgen, zonder dat je de schilder zelf hoeft te herscholen.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Gok" en de "Glijbaan"

Tot nu toe hadden artiesten twee manieren om dit probleem op te lossen, maar beide hadden een groot nadeel:

• De "Gok" (Exploratie): Je vraagt de AI om 100 keer hetzelfde plaatje te maken met willekeurige starts. Je hoopt dat er één keer een perfecte versie tussen zit die je dan kiest.
  • Het nadeel: Dit is als 100 keer een munt opgooien om te hopen dat je een munt met een koning erop krijgt. Het kan lukken, maar het kost enorm veel tijd en energie, en vaak krijg je toch maar rommel.
• De "Glijbaan" (Optimalisatie): Je begint met één plaatje en probeert het beetje bij beetje te verbeteren door de AI te zeggen: "Nee, de auto moet links staan," en "De fiets moet blauw zijn." De AI schuift de pixels dan langzaam naar de juiste plek.
  • Het nadeel: Als je begint met een heel slecht plaatje (bijvoorbeeld een auto die op een boom lijkt), kan de AI vastlopen in een slechte hoek. Het is alsof je probeert een glijbaan omhoog te lopen; als je op de verkeerde plek begint, kom je nooit bovenaan.

2. De Oplossing: CARINOX (De Slimme Combinatie)

CARINOX combineert het beste van beide werelden. Het is alsof je niet alleen 100 gokkers hebt, maar dat je die 100 gokkers ook een slimme coach geeft die ze helpt om hun gokken te verbeteren.

Het proces ziet er zo uit:

1. De Start (De Gok): De AI maakt eerst een paar verschillende "ruwe" versies van je plaatje (bijvoorbeeld 5 versies).
2. De Coaching (De Glijbaan): Voor elke versie gaat de coach aan het werk. Die kijkt naar de regels in je zin en zegt: "Deze auto moet nog een beetje naar links," of "Die fiets moet nog wat blauwer." De AI past het plaatje dan stap voor stap aan.
3. De Keuze: Aan het eind heb je 5 verbeterde versies. De coach kijkt welke van de 5 het dichtst bij jouw oorspronkelijke wens ligt, en kiest die als winnaar.

3. De Slimme Coach: Waarom werkt het zo goed?

Het echte geheim van CARINOX zit niet alleen in het combineren van gokken en verbeteren, maar in wie de coach is.

Stel je voor dat je een schilderij laat beoordelen. Als je maar één jurylid hebt die alleen kijkt naar de kleuren, dan wordt de compositie misschien goed, maar de vormen slecht. Als je alleen iemand hebt die kijkt naar de vormen, zijn de kleuren misschien raar.

CARINOX gebruikt een jury van vier experts die samenwerken:

• Expert 1 kijkt naar of de objecten er zijn.
• Expert 2 kijkt of de kleuren kloppen.
• Expert 3 kijkt of de verhoudingen (groot/klein) kloppen.
• Expert 4 kijkt of de ruimtelijke relatie (links/rechts) klopt.

Deze experts zijn niet zomaar gekozen; ze zijn getest op duizenden voorbeelden om te zien welke menselijke oordelen het beste nabootsen. Door deze vier experts samen te laten werken, zorgt CARINOX dat de AI niet "op een ding fixeren" (bijvoorbeeld alleen de kleur) en vergeten de rest.

4. Het Resultaat: Meer dan alleen een plaatje

Met CARINOX krijg je plaatjes die niet alleen mooi zijn, maar ook logisch.

• Wil je "een klein olifantje en een groot paard"? Dan krijg je een klein olifantje en een groot paard, niet andersom.
• Wil je "vier lampen en vier honden"? Dan telt de AI precies vier, geen drie en geen vijf.
• Wil je "een bord achter een stoel"? Dan staat het bord echt achter de stoel, niet erdoorheen.

Samenvattend

CARINOX is als een super-georganiseerd team dat een kunstwerk maakt. In plaats van blindelings te gokken of te proberen om één ding perfect te maken, maken ze eerst een paar ruwe schetsen, laten ze een team van experts die schetsen stap voor stap perfectioneren, en kiezen ze dan de allerbeste versie. Het resultaat is dat computers nu veel beter begrijpen wat we bedoelen met complexe zinnen, zonder dat we de computer zelf hoeven te "leren" of te herschrijven. Het is een slimme manier om de magie van AI te sturen met een stevige hand.

Technische samenvatting

Titel: CARINOX: Inference-time Scaling met Categorie-bewuste Beloningsgebaseerde Initiële Ruis-Optimalisatie en Exploratie

Publicatie: Transactions on Machine Learning Research (02/2026)
Auteurs: Seyed Amir Kasaei et al. (Sharif University of Technology)

---

1. Het Probleem

Tekst-naar-beeld (T2I) diffusiemodellen, zoals Stable Diffusion, zijn uitstekend in het genereren van hoogwaardige en diverse afbeeldingen. Ze kampen echter met een fundamenteel tekortkoming: compositional alignment (compositie-uitlijning). Wanneer prompts complexe objectrelaties, attributen of ruimtelijke arrangementen beschrijven, falen deze modellen vaak. Veelvoorkomende fouten zijn:

• Weglaten van entiteiten.
• Onjuiste binding van attributen (bijv. de verkeerde kleur aan het verkeerde object).
• Fouten in ruimtelijke relaties (bijv. "links van" vs. "rechts van").
• Fouten in tellen (numerieke fouten).

Bestaande oplossingen vallen in twee categorieën:

1. Fine-tuning: Duur, tijdrovend en vereist extra compute.
2. Inference-time methoden (zonder training):
   • Optimalisatie: Verfijnt de initiële ruis iteratief. Dit is gevoelig voor slechte initialisatie en kan vastlopen in lokale optima.
   • Exploratie: Genereert veel samples en kiest de beste. Dit is inefficiënt en vereist vaak een onpraktisch groot aantal samples om een goed resultaat te vinden.

Daarnaast is de keuze van de beloningsfunctie (reward function) cruciaal. Bestaande methoden gebruiken vaak willekeurige of niet-geoptimaliseerde combinaties van metrics, wat leidt tot zwakke of inconsistente sturing van de generatie.

2. Methodologie: CARINOX Framework

CARINOX is een unificerend framework dat de sterktes van optimalisatie en exploratie combineert, geleid door een zorgvuldig geselecteerde set beloningsfuncties. Het werkt volledig tijdens de inferentie (zonder model-fine-tuning).

A. Unificatie van Optimalisatie en Exploratie

Het framework gebruikt een Single-Step Diffusion Model (zoals SD-Turbo) als basis, omdat dit gradiënten van de beloningsfunctie direct en stabiel kan doorgeven naar de initiële ruis, in tegenstelling tot multi-step modellen waar gradiënten verdwijnen.

Het proces verloopt als volgt:

1. Exploratie (Initiële Diversiteit): Er worden $N$ initiële ruisvectoren (seeds) getrokken uit een Gaussische verdeling.
2. Optimalisatie (Gradiënt-gebaseerde Verfijning): Elke seed wordt onafhankelijk geoptimaliseerd via gradiëntascentie om de beloningsfunctie te maximaliseren.
   • Gradient Clipping: Om te voorkomen dat één beloningsmetriek de update domineert, wordt de gradiënt van elke metriek apart geknipt (clipped) voordat ze worden samengevoegd.
   • Regularisatie: Een regularisatieterm wordt toegevoegd om te voorkomen dat de ruis afwijkt van de oorspronkelijke verdeling (prior), wat de beeldkwaliteit behoudt.
3. Best-of-N Selectie: Na optimalisatie worden de gegenereerde afbeeldingen beoordeeld, en de afbeelding met de hoogste totale beloning wordt geselecteerd.

B. Categorie-bewuste Beloningsselectie (Correlation-Guided)

In plaats van willekeurig metrics te kiezen, voerden de auteurs een uitgebreide correlatiestudie uit op het T2I-CompBench++ dataset. Ze vergeleken diverse metrics (Embedding-based, VQA-based, Image-only) met menselijke beoordelingen.

• Resultaat: Geen enkele metric was perfect voor alle categorieën.
• Oplossing: Een vaste, gebalanceerde combinatie van vier metrics werd geselecteerd op basis van hun frequentie in de top-3 prestaties: HPS, ImageReward, DA Score, en VQA Score. Deze combinatie zorgt voor een robuuste sturing die zowel semantische uitlijning als fijne compositional details (ruimte, telling, attributen) dekt.

3. Belangrijkste Bijdragen

1. Unificerend Framework: CARINOX combineert de precisie van gradiënt-gebaseerde optimalisatie met de diversiteit van seed-exploratie, waardoor de beperkingen van beide methoden (in isolatie) worden opgeheven.
2. Data-gedreven Beloningsselectie: Het introduceert een systematische procedure om de optimale combinatie van beloningsfuncties te selecteren op basis van correlatie met menselijke oordelen, in plaats van op ad-hoc keuzes.
3. Stabiliteitsmechanismen: De implementatie van Multi-Backward Gradient Clipping en Latent Space Regularization zorgt voor stabiele optimalisatie zonder dat de beeldkwaliteit of realisme lijdt.
4. Scalability: Het framework is ontworpen voor inference-time scaling, wat betekent dat het prestaties kan verbeteren door meer compute (meer seeds/iteraties) te investeren zonder het model opnieuw te trainen.

4. Resultaten

CARINOX werd geëvalueerd op twee benchmarks: T2I-CompBench++ (compositional alignment) en HRS (creativiteit, stijl, visuele tekst).

• T2I-CompBench++:
  • CARINOX verhoogde de gemiddelde uitlijningsscore met +16% op SD-Turbo en +11% op SDXL-Turbo.
  • Het overtrof state-of-the-art methoden zoals ReNO, InitNO, ImageSelect en zelfs commerciële systemen zoals DALL-E 3.
  • De grootste verbeteringen werden gezien in categorieën zoals textuur, tellen (numeriek) en ruimtelijke redenering.
• HRS Benchmark:
  • CARINOX verbeterde niet alleen de compositie, maar ook hogere niveaus van generatie zoals creativiteit, stijl en visuele tekstweergave.
  • Het behaalde de hoogste scores in creativiteit en visuele tekstweergave.
• Kwaliteit en Diversiteit:
  • Ondanks de intensieve optimalisatie, bleef de beeldkwaliteit (FID) en diversiteit (Coverage/Density) behouden of verbeterde deze licht, wat aantoont dat het framework geen "reward hacking" (kunstmatige optimalisatie ten koste van realisme) veroorzaakt.
• Ablatie Studies:
  • Het tonen aan dat het gebruik van meerdere seeds (exploratie) gecombineerd met optimalisatie superieur is aan het gebruik van slechts één van beide.
  • Het tonen aan dat de specifieke combinatie van beloningsfuncties essentieel is; het gebruik van slechts één metric leidt tot suboptimale resultaten.

5. Betekenis en Impact

CARINOX markeert een belangrijke stap in de ontwikkeling van robuuste tekst-naar-beeld systemen. Het bewijst dat:

• Inference-time scaling een krachtige en kostenefficiënte route is om de complexiteit van compositional generation aan te pakken, zonder de noodzaak van dure fine-tuning.
• De keuze van de beloningsfunctie even belangrijk is als de optimalisatiealgoritme zelf; een data-gedreven selectie is noodzakelijk voor consistente prestaties.
• Het combineren van diversiteit (exploratie) en precisie (optimalisatie) de sleutel is tot het overwinnen van de inherente beperkingen van huidige diffusiemodellen bij complexe prompts.

De methode biedt een schaalbare oplossing die direct toepasbaar is op bestaande single-step en multi-step diffusiemodellen, waardoor de bruikbaarheid van AI voor complexe creatieve taken aanzienlijk wordt vergroot.