CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation

Each language version is independently generated for its own context, not a direct translation.

CogBlender: De "Emotie-Regelaar" voor Kunstmatige Beelden

Stel je voor dat je een kunstenaar bent die een schilderij maakt. Tot nu toe konden computers (AI) alleen luisteren naar wat je zei over wat er op het schilderij moet staan. "Teken een bergmeer," zei je, en de computer tekende een bergmeer. Maar de computer wist niet hoe het schilderij zich aanvoelde. Was het een rustig, vredig meer? Of een enge, stormachtige meer dat je hartslag doet versnellen?

Dat is precies waar CogBlender voor zorgt. Het is een nieuwe technologie die AI-beelden niet alleen laat zien wat ze zijn, maar ook hoe ze je laten voelen en onthouden.

Hier is hoe het werkt, vertaald in alledaagse taal:

1. Het Probleem: De "Grijze" AI

Vroeger was het alsof je een AI vroeg om een "verdrietig" schilderij te maken. De AI zou misschien een grijs landschap tekenen, maar het was een gok. Soms werd het te donker, soms te saai, en soms vergeten ze dat het eigenlijk nog steeds een bergmeer moest zijn. De AI kon de gevoelens (zoals blijdschap, angst of spanning) en het onthoudvermogen (hoe goed je het beeld later nog ziet) niet precies instellen.

2. De Oplossing: Een Muziekmixer voor Gevoelens

CogBlender werkt als een professionele muziekmixer voor visuele kunst.

De Knoppen: In plaats van alleen een tekst te typen, kun je nu schuifbalken gebruiken voor verschillende gevoelens.
- Vreugde (Valence): Hoe positief of negatief voelt het beeld? (Van somber tot vrolijk).
- Opwinding (Arousal): Hoe rustig of energiek is het? (Van slapend tot een explosie van actie).
- Dominantie: Voel je je klein en overweldigd, of machtig en in controle?
- Onthoudbaarheid: Hoe makkelijk is dit beeld om later nog te herinneren?

3. Hoe werkt het? (De Magie van de "Ankers")

De onderzoekers hebben een slimme truc bedacht om dit te regelen. Ze noemen het CogBlender.

Stel je voor dat je een grote, lege kamer hebt (de "ruimte van alle mogelijke beelden").

De Hoekpunten (Ankers): De AI kijkt eerst naar de uiterste hoeken van deze kamer. Wat ziet eruit als maximaal verdrietig en maximaal kalm? Wat ziet eruit als maximaal blij en maximaal opwindend? De AI maakt voor elk van deze extreme gevoelens een "anker" of een voorbeeldbeeld.
De Mix: Als jij nu wilt dat een beeld "een beetje blij" en "heel opwindend" is, pakt de AI die extreme voorbeelden en mixt ze netjes door elkaar.
De Stroom: In plaats van gewoon te proberen een nieuw beeld te maken, stuurt CogBlender het proces alsof het een rivier is. Het berekent een "stroomrichting" (een snelheidsveld) die het beeld precies naar jouw gewenste gevoel leidt, zonder dat het beeld zijn vorm verliest.

4. Waarom is dit speciaal?

Geen "Gokken": Bij andere methoden moest je vaak gissen met je tekst. Met CogBlender kun je precies zeggen: "Ik wil een beeld dat 70% opwindend is en 30% verdrietig." En de AI doet precies dat.
Het blijft herkenbaar: Als je vraagt om een "huis", blijft het een huis. De AI verandert alleen de sfeer (bijv. van een koud, donker huis naar een warm, gezellig huis) zonder dat het huis plotseling in een boom verandert.
Onthoudbaar: Je kunt ook instellen hoe "klef" een beeld moet zijn. Wil je een reclame die mensen niet kunnen vergeten? Dan draai je de knop voor "onthoudbaarheid" naar boven.

5. Waarvoor is het goed?

Reclame: Bedrijven kunnen advertenties maken die precies de juiste emotie oproepen bij de kijker, zodat mensen het product onthouden.
Films en Verhalen: Regisseurs kunnen snel schetsen maken van scènes die precies de juiste spanning of rust uitstralen, zonder dat ze uren hoeven te zoeken.
Kunst: Kunstenaars kunnen hun werk sturen naar een specifiek emotioneel doel, zonder dat ze de techniek hoeven te beheersen.

Kortom:
CogBlender is als een emotionele vertaler voor AI. Het vertaalt abstracte gevoelens (zoals "ik wil dat dit beeld angstig aanvoelt") naar concrete pixels op je scherm, terwijl het de oorspronkelijke inhoud van het beeld veilig houdt. Het maakt het mogelijk om AI-kunst niet alleen te maken, maar ook te sturen met het menselijk hart en brein in gedachten.

Each language version is independently generated for its own context, not a direct translation.

Hier is een gedetailleerde technische samenvatting van het artikel "CogBlender: Towards Continuous Cognitive Intervention in Text-to-Image Generation" in het Nederlands.

Probleemstelling

Moderne tekst-naar-beeld (T2I) modellen, zoals FLUX.2, zijn uitzonderlijk goed in het genereren van semantisch coherente inhoud op basis van tekstprompts. Ze hebben echter moeite om de cognitieve eigenschappen van een afbeelding te beheersen. Cognitieve eigenschappen zijn hoogwaardige, psychologische attributen die specifieke cognitieve processen bij de kijker activeren, zoals emotionele reacties (waarde, opwinding, dominantie) of de kans dat een afbeelding in het geheugen blijft hangen (herkenbaarheid).

Bestaande methoden hebben drie belangrijke beperkingen:

Niet-lineaire relatie: De link tussen abstracte cognitieve eigenschappen en visuele kenmerken is complex en verweven, in tegenstelling tot simpele object-gerichte aanpassingen.
Geïsoleerde datasets: Cognitieve eigenschappen worden vaak in geïsoleerde datasets bestudeerd, wat het moeilijk maakt om één model te bouwen dat meerdere dimensies tegelijkertijd kan manipuleren.
Gebrek aan continuïteit en generalisatie: Bestaande technieken bieden vaak geen continue, fijne controle of falen bij het generaliseren naar open domeinen zonder specifieke training.

Het doel is om een framework te creëren dat continue en multidimensionale interventie mogelijk maakt in het cognitieve proces van beeldgeneratie, zonder de semantische consistentie van de input te verliezen.

Methodologie: CogBlender

CogBlender is een unificerend framework dat ingrijpt in het flow-matching proces (gebaseerd op het FLUX.2 model) om beelden te genereren die specifieke cognitieve scores hebben. De methode bestaat uit drie kerncomponenten:

1. Conceptuele Basis: Cognitieve Ruimte en Semantische Manifold

Cognitieve Ruimte ( $S$ ): Een continue, $n$ $n$ -dimensionale ruimte (een eenheids-hyperkubus $[0, 1]^n$ $[0, 1]^{n}$ ) die menselijke psychologische reacties representeert. De auteurs focussen op vier dimensies:
- Valence (V): Waargenomen aangenaamheid.
- Arousal (A): Intensiteit van de emotionele reactie.
- Dominance (D): Het gevoel van controle of macht.
- Memorability (M): De waarschijnlijkheid dat de afbeelding in het geheugen blijft.
Semantische Manifold ( $M_p$ ): Een subruimte van tekstuele beschrijvingen die de kernidentiteit van een basis-prompt $p$ behoudt, maar variaties toelaat in beschrijvende attributen.
Cognitieve Ankers: De hoekpunten van de hyperkubus (bijv. (0,0), (1,1) in een 2D ruimte) worden gedefinieerd als "Cognitieve Ankers". Deze vertegenwoordigen extreme cognitieve toestanden.

2. Semantische Manifold Delineatie (Aflijning)

Om de grenzen van de semantische ruimte te definiëren, gebruikt het framework een polarisatie-operator ( $f$ ), geïmplementeerd via een fijngefineerde Large Language Model (Qwen3-14B).

De input-prompt wordt systematisch herschreven (gepolariseerd) naar de extreme waarden van elke cognitieve dimensie.
Om bias te voorkomen (waarbij de laatste herschrijving de prompt domineert), wordt een gebalanceerde herschrijfmechanisme gebruikt. De volgorde van herschrijvingen per dimensie wordt gevarieerd volgens een Latijnse vierkante methode.
Dit resulteert in een set van "gepolariseerde prompts" ( $P_k$ ) die de semantische grenzen van de cognitieve ankers vormen.

3. Snelheidsveld Schatting en Interventie

In plaats van te interpoleren in de tekst-embedding ruimte (wat vaak onstabiel is), voert CogBlender de interpolatie uit in het snelheidsveld van het flow-matching proces.

Het doel is om een snelheidsveld $v(x_t, t, p, s)$ te schatten dat de generatietrajectorie stuurt van ruis naar een duidelijk beeld, geleid door de target cognitieve score $s$ .
Het snelheidsveld wordt berekend als een gewogen som van de snelheidsvelden van de gepolariseerde anker-prompts, plus het snelheidsveld van de originele basis-prompt (als structurele constraint).
Interpolatie: De gewichten ( $w_k$ ) worden berekend op basis van de afstand tussen de target score $s$ en de ankers $a_k$ .
Efficiëntie: Om rekentijd te besparen, wordt tijdens de inferentie gebruikgemaakt van een stochastische benadering: er wordt willekeurig één prompt uit de set van gepolariseerde prompts per anker geselecteerd in plaats van alle prompts te verwerken.

4. Beeldgeneratie

Het uiteindelijke beeld wordt gegenereerd door de geschatte snelheidsveld te integreren via een Gewone Differentiaalvergelijking (ODE) binnen het flow-matching framework, gevolgd door decoding via een VAE.

Belangrijkste Bijdragen

Definitie van een nieuwe taak: Het introduceren van "Multidimensionale Continue Cognitieve Interventie" in T2I-generatie, verschuivend van statische prompting naar dynamische controle.
Mapping tussen Ruimtes: Het vaststellen van een mapping tussen de multidimensionale cognitieve ruimte en de semantische manifold via cognitieve ankers en een polarisatiemechanisme.
Integratie in Flow-Matching: Het ontwikkelen van een interpolatiestrategie die cognitieve interventie direct in het snelheidsveld integreert, wat zorgt voor soepele interpolatie en behoud van semantische consistentie.

Resultaten

De auteurs hebben CogBlender getest op vier cognitieve dimensies (V, A, D, M) en vergeleken met state-of-the-art baselines zoals EmotiCrafter, GANalyze en de standaard FLUX.2.

Kwantitatieve Evaluatie (Emotie):
- CogBlender behaalde de beste algehele prestaties in Emotionele Fideliteit (lage foutmarges in Valence, Arousal en Dominance).
- Het behield een hoge Visuele Kwaliteit (CLIPIQA) en Semantische Alignement (CLIPScore), vergelijkbaar met FLUX.2 en beter dan EmotiCrafter (die vaak de hoofdonderwerpen verloor).
Kwantitatieve Evaluatie (Herkenbaarheid):
- In tegenstelling tot GANalyze (die vaak artefacten introduceerde) en FLUX.2 (die instabiel was), toonde CogBlender een sterke, lineaire correlatie tussen de target score en de voorspelde herkenbaarheid.
Gebruikersstudie:
- Menselijke beoordelaars bevestigden dat de gegenereerde afbeeldingen sterk overeenkwamen met de beoogde emotionele intensiteiten (hoge Pearson-correlatie, lage MAE).
Ablatiestudies:
- De studie bevestigde dat de polarisatie-operator, de cognitieve ankers en de basis-prompt snelheidsconstraint essentieel zijn voor stabiliteit en controle. Zonder ankers ontstonden er overbelichte beelden; zonder de basis-prompt snelheid ontstond er semantische vervorming.
Generalisatie:
- Het framework werkt effectief over diverse stijlen (van fotorealisme tot traditionele Chinese schilderkunst) en kan ook worden toegepast voor beeldbewerking en video-synthese.

Betekenis en Toekomstperspectief

CogBlender biedt een nieuw paradigma voor cognitie-gedreven creatief ontwerp. Het stelt ontwerpers in staat om niet alleen wat er op een afbeelding staat te controleren, maar ook hoe de kijker erop reageert (emotioneel en cognitief). Dit is cruciaal voor toepassingen in reclame (emotie + herkenbaarheid), storytelling (soepele overgangen in stemming) en beeldbewerking.

Hoewel het framework zeer succesvol is, zijn er beperkingen: de inferentie is computatie-intensief (hoewel de stochastische sampling dit verzacht) en het is lastig om cognitieve signalen te manipuleren als de input-prompt al extreem sterke cognitieve ladingen bevat (bijv. een afbeelding van een ongeval). Toekomstig werk richt zich op het distilleren van het model voor efficiëntie en het uitbreiden van de controle over fijnere visuele details.