Technische Samenvatting: IDEAFix: Een evaluatiekader voor creatieve defixatie-prompting in LLM's

Probleemstelling

Large Language Models (LLM's) worden steeds vaker ingezet voor creatieve taken zoals het schrijven van verhalen, productontwerp en wetenschappelijke ontdekkingen. Er bestaat echter geen consensus over hun creatieve vermogens. Terwijl sommige studies suggereren dat LLM's menselijke prestaties evenaren of overtreffen in het genereren van nieuwe en nuttige ideeën, wijzen anderen op structurele beperkingen, specifiek fixatie (het beperken van ideatie tot bekende patronen) en output-homogenisering (convergerende responsen over verschillende modellen en contexten heen).

Bestaande evaluatiebenaderingen lijden onder twee belangrijke beperkingen:

1. Beperkte, gedecontextualiseerde taken: Standaard psychologische tests zoals de Alternative Uses Task (AUT) of de Torrance Tests (TTCT) missen vaak doelgerichte generatiecontexten, waardoor ze weliswaar diversiteit vastleggen, maar falen in het diepgaand beoordelen van contextuele bruikbaarheid of originaliteit.
2. Verwarrende bredere settings: Bredere evaluatiesettings mengen vaak taakformulering, promptingstrategieën en evaluatieontwerp, wat het moeilijk maakt om de specifieke effecten van gestructureerde begeleiding op de generatie van ideeën te isoleren.

Bovendien blijft de rol van gestructureerde promptingstrategieën — geïnspireerd door gevestigde menselijke creativiteit en defixatiemethoden (bijv. TRIZ, Design Thinking, C-K theorie) — in het vormgeven van de idee-generatie van LLM's onderbelicht. Het is onduidelijk of deze methoden de fixatie in LLM's effectief kunnen verminderen, of dat LLM's louter vertrouwen op semantische manipulatie en datapatronen in plaats van op werkelijke creatieve redenering.

Methodologie: Het IDEAFix-framework

De auteurs introduceren IDEAFix, een gecontroleerd, uitbreidbaar evaluatiekader ontworpen om divergent denken te analyseren in open eind-idee-generatietaken. Het framework volgt een vierstaps-pipeline:

1. Constructie van de Brief

Een corpus van 81 design briefs werd geconstrueerd, verdeeld over vier categorieën: Producten (26), Diensten (15), Strategieën (27) en Procedures (14). Deze bevatten standaard designtaken, complexe scenario's (bijv. ethische dilemma's) en fundamentele creativiteitstaken uit de sociale wetenschappen.

2. Attribuutexpansie

Om het effect van semantische variatie te onderzoeken, werd elke brief uitgebreid naar 567 experimentele condities. Dit werd bereikt door de typiciteit van de bij de brief behorende adjective attributen te manipuleren naar drie niveaus:

• Traditioneel: Veelvoorkomend geassocieerd met het domein.
• Atypisch: Zelden geassocieerd met het domein.
• Verrassend: Onverwachte associaties.
  Attributen werden gegenereerd met zowel positieve als negatieve valentie, geleid door deskundige oordeelsvorming om syntactische consistentie en contextuele relevantie te waarborgen.

3. Gestructureerd Prompt Design

Het framework maakt gebruik van 25 gestructureerde prompts verdeeld in:

• Controle-prompts (2): Eenvoudige semantische variaties die dienen als baselines.
• Methode-specifieke prompts (21): Gebaseerd op zes gevestigde creativiteits-/designmethoden: Brainstorming (3 varianten), C-K Theorie (4), TRIZ (4), Design Thinking (4), Prospective Scenarios (3) en SCAMPER (1).
• AI-specifieke strategieën (4): Nieuwe prompts specifiek ontworpen voor LLM's, gericht op categorienegatie en het dwingen van modellen om hun eenvoudigste exploratieve paden te vermijden (bijv. "denk buiten de box", "wild", "onconventioneel").

Alle prompts delen een gestandaardiseerd structureel sjabloon om vergelijkbaarheid te garanderen, inclusief methodebeschrijvingen, instructies voor stapsgewijze redenering, de uitgebreide brief en gedeelde outputformattering.

4. Metrieken voor Divergent Denken

Gegenereerde ideeën werden geëvalueerd met zes geautomatiseerde metrieken gebaseerd op semantische afstanden in de embedding-ruimte (cosine similarity):

• Fluency (Vloeiendheid): Aantal gegenereerde ideeën.
• Diversity (Diversiteit): Gemiddelde paarsgewijze afstand tussen ideeën binnen een enkele output.
• Novelty (Nieuwigheid): Afstand van een idee tot een set van "veelvoorkomende" ideeën (gegenereerd door controle-prompts).
• Rarity (Zeldzaamheid): Afstand van een idee tot het ensemble van alle door een model over alle strategieën gegenereerde ideeën.
• Overlap: Mate van trefwoordoverlap tussen de brief en de output.
• Perplexity (Perplexiteit): Maatstaf voor sequentie-voorspelbaarheid (coherentie).

Experimentele Opzet

De studie evalueerde vijf LLM's: Meta-Llama-3.1-70B, Qwen3-30B, Gemini-2.5-Flash, GPT-4o, en Grok-4.1-fast-reasoning. Modellen werden uitgevoerd met temperaturen geoptimaliseerd voor creatieve outputs (0.7–1.0) en genereerden drie onafhankelijke iteraties per prompt om rekening te houden met stochastische variabiliteit. De dataset bestaat uit 14.350 input prompts.

Belangrijkste Resultaten

Variabiliteit in Modelprestaties

Prestaties varieerden significant tussen modellen. Grok en Llama produceerden over het algemeen outputs met een hogere niewigheid, zeldzaamheid en diversiteit vergeleken met GPT-4o en Gemini. Echter, alle modellen vertoonden een neiging tot output-homogenisering.

Impact van Brief Types en Attributen

• Type Brief: Product-briefs lokten de hoogste niewigheid en zeldzaamheid uit, maar een lagere fluency. Procedure-briefs genereerden bredere, meer variërende outputs, terwijl service-briefs consequent de meest conventionele responsen produceerden.
• Attributen: Verrassende en negatieve trefwoorden verhoogden consistent de niewigheid en zeldzaamheid, vaak ten koste van de diversiteit. Dit suggereert dat modellen gestuurd kunnen worden naar minder typische associaties door specifieke semantische inkadering.

Effectiviteit van Promptingstrategieën

• Algemene Verbetering: Alle methode-geïnspireerde prompts presteerden beter dan controle-prompts op het gebied van niewigheid en zeldzaamheid, met statistisch significante verschillen.
• Eenvoud vs. Complexiteit: Tegenintuïtief presteerden eenvoudigere prompts (met name de AI-specifieke strategieën en bepaalde Brainstorming-varianten) die expliciete divergentie-aanwijzingen benadrukten (bijv. "wild", "onconventioneel") beter dan complexe, methode-zware prompts (zoals volledige C-K of SCAMPER implementaties) in het genereren van top-tier originele ideeën.
• Beperkingen van Methoden: Complexe methoden zoals TRIZ en C-K maximaliseerden de niewigheid niet noodzakelijkerwijs vergeleken met eenvoudigere divergentie-instructies, wat suggereert dat LLM's sterker reageren op expliciete divergentie-aanwijzingen dan op de structurele complexiteit van menselijke creativiteitskaders.

Homogenisering en Fixatie

Ondanks de verbeteringen in individuele idee-niewigheid, observeerde de studie een hardnekkige output-homogenisering over de modellen heen. Oplossingen bleven gebonden aan een gedeelde semantische ruimte die sterk georiënteerd is op digitale en technologische innovatie. Dit bevestigt het "LLM-hivemind"-effect, waarbij modellen convergeren naar vergelijkbare outputs, zelfs wanneer ze worden gestuurd door defixatie-strategieën.

Betekenis en Bijdragen

Het artikel claimt de volgende bijdragen:

1. IDEAFix-framework: Een gecontroleerd, uitbreidbaar framework voor het bestuderen van divergent denken in LLM's dat de effecten van taakformulering, attribuutselectie en promptingstrategieën isoleert.
2. Gestructureerde Dataset: Een dataset van 14.350 prompts die diverse briefs, attribuutexpansies en gestructureerde promptingprotocollen combineert die geïnspireerd zijn door menselijke creativiteitsmethoden.
3. Systematische Analyse: Bewijs dat hoewel specifieke promptingstrategieën (met name eenvoudige, expliciete divergentie-instructies) de originaliteit van oplossingen kunnen verhogen, ze de inherente fixatie en homogenisatiegrenzen van LLM's niet volledig kunnen elimineren.

De auteurs concluderen dat IDEAFix een noodzakelijk instrument biedt voor het begrijpen van de mechanismen die ten grondslag liggen aan LLM-creativiteit, waarbij zij benadrukken dat hoewel LLM's kunnen worden gestuurd om meer nieuwe variaties van bestaande kennis te produceren, ze moeite hebben met het genereren van werkelijk transformerende ideeën die breken met geleerde beperkingen. Het framework maakt gecontroleerde experimenten mogelijk om deze grenzen te bestuderen zonder de vatbaarheid voor datacontaminatie die bij statische benchmarks aanwezig is.