💰 quantitative finance

Using Large Language Models for Idea Generation in Innovation

Deze studie toont aan dat hoewel door AI gegenereerde productideeën een lagere nieuwheid en diversiteit vertonen in vergelijking met door mensen gegenereerde ideeën, ze de menselijke ideeën aanzienlijk overtreffen in gemiddelde aankoopintentie en ze zeven keer vaker tot de top 10% van de hoogwaardige concepten behoren.

Oorspronkelijke auteurs: Lennart Meincke, Karan Girotra, Gideon Nave, Christian Terwiesch, Karl T. Ulrich

Gepubliceerd 2026-07-31

📖 5 min leestijd🧠 Diepgaand

CC0 1.0

Oorspronkelijke auteurs: Lennart Meincke, Karan Girotra, Gideon Nave, Christian Terwiesch, Karl T. Ulrich

Oorspronkelijk artikel vrijgegeven aan het publieke domein onder CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je in een uitgestrekt, mistig veld staat genaamd "Het Ideeënlandschap". Je doel is om de meest waardevolle schat te vinden die ergens in dit veld verborgen ligt. In de wereld van zaken en innovatie is deze schat een briljant nieuw productidee waar mensen graag voor willen betalen. Lange tijd was de enige manier om deze schatten te vinden het uitsturen van menselijke ontdekkingsreizigers. Deze mensen dwaalden rond en groeven ideeën één voor één op. De regel van het spel was altijd dat je niet elk idee perfect hoefde te hebben; je had er alleen een paar absolute pareltjes van nodig. Als je 100 ideeën opgraaft en 99 zijn stenen maar één is een diamant, dan heb je gewonnen. Maar wat als je een magische, supersnelle robot kon inhuren die 1.000 ideeën kan opgraven in de tijd dat een mens er tien opgraaft? Dat is de vraag die wetenschappers stellen over Kunstmatige Intelligentie (AI). Specifiek testen ze "Large Language Models" (LLM's)—superintelligente computerprogramma's die getraind zijn op bijna alles wat ooit op het internet is geschreven. Deze programma's zijn geweldig in het schrijven van verhalen en het beantwoorden van vragen, maar kunnen ze net zo creatief zijn als mensen als het gaat om het uitvinden van nieuwe dingen? Dit artikel is bedoeld om te zien of deze digitale dromers daadwerkelijk beter kunnen verzinnen dan echte mensen.

De onderzoekers van topuniversiteiten besloten dit aan een test te onderwerpen met een specifieke uitdaging: bedenk een nieuw fysiek product voor studenten dat minder dan $50 kost. Ze verzamelden drie verschillende groepen "ideeën-generatoren". De eerste groep was een team van universiteitsstudenten die eerder een cursus productontwerp hadden gevolgd voordat AI-tools zoals ChatGPT breed beschikbaar kwamen. De tweede groep was een computerprogramma (GPT-4 van OpenAI) dat de opdracht kreeg om ideeën te genereren met een eenvoudige instructie, zoals een leeg canvas (dit wordt "zero-shot" prompting genoemd). De derde groep was hetzelfde computerprogramma, maar dit keer kreeg het eerst een paar voorbeelden van goede ideeën te zien om het in de juiste stemming te brengen (dit wordt "few-shot" prompting genoemd).

Om te zien wie het beste presteerde, vroegen de onderzoekers niet alleen aan experts, maar ook aan gewone mensen. Ze lieten honderden van deze productideeën aan een grote groep mensen van studentleeftijd zien en vroegen: "Hoe waarschijnlijk is het dat u dit zou kopen?" Ze vertaalden deze antwoorden naar een "aankoopscore" om de kwaliteit te meten. Ze gebruikten ook computertools om te controleren hoe vergelijkbaar de ideeën met elkaar waren en vroegen mensen om te beoordelen hoe "nieuw" of "origineel" de ideeën aanvoelden.

Dit is wat ze vonden, en het is een beetje verrassend. Ten eerste was de AI eigenlijk beter in de hoofdtaak: het maken van ideeën waar mensen voor willen kopen. Gemiddeld werden de door de computer gegenereerde ideeën hoger beoordeeld dan de ideeën gemaakt door de studenten. De computer die een paar voorbeelden kreeg om mee te beginnen (few-shot), deed het het beste van allemaal. Het is alsof de robot een beter "gevoel" had voor wat klanten wilden.

Er zat echter een addertje onder het gras. Hoewel de AI beter was in het maken van goede ideeën, was het niet zo goed in het maken van verschillende ideeën. De ideeën van de computer neigden er erg veel op elkaar en klonken erg vergelijkbaar. Als je je de menselijke studenten voorstelt die het hele mistige veld verkennen, leek de AI in één of twee specifieke plekken te blijven hangen, waarbij het veel variaties van dezelfde paar schatten opgroef. De ideeën van de computer werden door de mensen die ze lazen ook als iets minder "origineel" of uniek beoordeeld. Het is alsof de robot heel goed was in het polijsten van bestaande concepten, maar moeite had om buiten de gebaande paden te denken zoals mensen dat soms doen.

Maar hier is het meest opwindende deel. In innovatie doet het gemiddelde idee er minder toe dan het beste idee. De onderzoekers keken naar de bovenste 10% van alle verzamelde ideeën—de absolute topstukken. Ze ontdekten dat de AI zeven keer waarschijnlijker een idee produceerde dat in deze top 10% terechtkwam, vergeleken met de mensen. Voor elk één geweldig idee dat de studenten bedachten, kwam de computer er zeven met.

De auteurs suggereren dat dit een conservatieve schatting is. Ze hebben zelfs niet meegeteld hoe veel sneller de computer was. Een mens kan 15 minuten nodig hebben om vijf ideeën te bedenken, terwijl de computer in diezelfde tijd 200 ideeën kan genereren. De computer is dus niet alleen beter in kwaliteit; het is een productiviteitsmonster.

Het artikel concludeert dat hoewel AI misschien niet zo wild of divers is als een menselijke brainstormsessie, het een krachtpatser is voor het vinden van hoogwaardige, verkoopbare ideeën. Het suggereert dat bedrijven in de toekomst misschien niet meer zo veel tijd hoeven te besteden aan het bedenken van ideeën vanaf nul. In plaats daarvan zouden ze de AI honderden hoogwaardige opties snel kunnen laten genereren, om vervolgens mensen te laten focussen op het kiezen van de beste ideeën en het nog beter maken ervan. De robot vervangt de menselijke dromer niet, maar geeft hem een superkrachtige schep om veel sneller diamanten op te graven.

Technische Samenvatting: Het gebruik van Large Language Models voor ideeëngeneratie in innovatie

Probleemstelling
Het artikel behandelt een fundamentele vraag binnen innovatiemanagement: kunnen Large Language Models (LLM's), specifiek OpenAI's GPT-4, effectief nieuwe productideeën genereren die concurreren met of superieur zijn aan door mensen gegenereerde ideeën? Hoewel LLM's erom bekend staan coherente tekst te produceren, worden ze vaak bekritiseerd vanwege "hallucinaties" en inconsistenties. De auteurs stellen dat in het domein van creativiteit, waar de waarde van een proces wordt bepaald door de kwaliteit van het beste idee in plaats van de gemiddelde consistentie van alle outputs, de stochastische aard van LLM's een kracht kan zijn in plaats van een zwakte. De studie beoogt empirisch te testen wat de hypothese is dat LLM's superieure ideeëngeneratoren kunnen zijn vergeleken met mensen, specifiek binnen de context van het genereren van fysieke productideeën voor studenten met een budget van $50 of minder.

Methodologie
Het onderzoek maakt gebruik van een vergelijkend experimenteel ontwerp met drie verschillende pools van productideeën:

Door mensen gegenereerde pool: 200 ideeën verzameld van universiteitsstudenten in een cursus productontwerp (uitgevoerd in 2021, voorafgaand aan de brede beschikbaarheid van LLM's).
Zero-Shot AI Pool: 100 ideeën gegenereerd door GPT-4 (model gpt-4-0314) met behulp van een standaard prompt zonder voorbeelden.
Few-Shot AI Pool: 100 ideeën gegenereerd door GPT-4 met dezelfde prompt, maar aangevuld met zes voorbeelden van hoog gewaardeerde studentenideeën om in-context leren te faciliteren.

Bij de experimentele opstelling werd een "temperatuur"-parameter van 0,7 gebruikt om willekeur te behouden. Om de beperkingen van het contextvenster te omzeilen, implementeerden de auteurs een samenvattingsstrategie om eerder gegenereerde ideeën te comprimeren, waardoor het model een continue stroom van 100 ideeën kon genereren zonder zichzelf te herhalen vanwege geheugenbeperkingen.

De evaluatie van deze ideeën omvatte drie afzonderlijke studies:

Studie 1 (Kwaliteitsbeoordeling): 400 ideeën werden geëvalueerd door menselijke respondenten (studenten van college-leeftijd, geworven via Prolific) met behulp van een standaard vijf-box enquête naar koopintentie. De antwoorden werden gewogen om een "koopintentie-waarschijnlijkheid" te berekenen, wat diende als de primaire metriek voor ideekwaliteit.
Studie 2 (Diversiteit en Nieuwheid):
- Flexibiliteit/Overlap: Tekstmining werd gebruikt om de cosinus-gelijkenis van tekstembeddings (met behulp van Google's Universal Sentence Encoder) tussen alle paren ideeën te berekenen. Ideeën met een gelijkenissscore boven een drempelwaarde van $\theta = 0,8$ werden geclassificeerd als overlappend. Een capture-recapture model werd toegepast om het totale aantal unieke, ontdekbare ideeën in de oplossingsruimte voor elke pool te schatten.
- Originaliteit: Menselijke beoordelaars evalueerden de waargenomen nieuwheid van de ideeën op een schaal van 0–1.
Studie 3 (Top-Tier Prestaties): De auteurs analyseerden de distributie van de ideekwaliteit, waarbij zij zich specifiek richtten op de top 10% (het 90ste percentiel) van de ideeën om te bepalen welke bron de hoogste kwaliteit uitschieters produceerde. Kwantielregressie werd gebruikt om de relatie tussen de bron van het idee en de kwaliteit over verschillende percentielen te onderzoeken.

Belangrijkste Resultaten
De studie levert drie primaire bevindingen op:

Superieure Gemiddelde Kwaliteit: AI-gegenereerde ideeën vertoonden een significant hogere gemiddelde koopintentie dan door mensen gegenereerde ideeën. De gemiddelde koopintentie was 0,40 voor mensen, 0,46 voor zero-shot AI en 0,49 voor few-shot AI. Statistische analyse bevestigde dat beide AI-condities de mens overtroffen, waarbij few-shot prompting de hoogste gemiddelde kwaliteit opleverde.
Verminderde Nieuwheid en Diversiteit: Ondanks de hogere gemiddelde kwaliteit werden AI-gegenereerde ideeën als minder nieuw ervaren (Mens: 0,41; Zero-shot AI: 0,37; Few-shot AI: 0,36). Bovendien toonde tekstmining aan dat AI-gegenereerde ideeën een hogere paar-gelijkenis vertoonden. Het deel overlappende ideeën was 0% voor mensen, 5% voor zero-shot AI en 7% voor few-shot AI. Het capture-recapture model schatte dat het menselijke proces ongeveer 966 unieke ideeën (zero-shot) en 680 (few-shot) kon ontdekken, terwijl de menselijke pool alleen unieke ideeën binnen de steekproef bevatte, wat wijst op een bredere oplossingslandschap voor menselijke ideatie.
Dominantie in Top-Tier Ideeën: De meest significante bevinding heeft betrekking op de kwaliteit van de beste ideeën. Onder de top 10% van alle ideeën (de top 40 van 400) werden 35 (87,5%) gegenereerd door GPT-4. Specifiek waren AI-gegenereerde ideeën zeven keer waarschijnlijker om in het top-deciel te verschijnen dan door mensen gegenereerde ideeën. Kwantielregressie bevestigde dat het voordeel van GPT-4 het meest uitgesproken is in de staart van de kwaliteitsdistributie.

Belangrijkste Bijdragen
Het artikel draagt bij aan de innovatieliteratuur door:

Empirisch bewijs te leveren dat LLM's mensen kunnen overtreffen in het genereren van hoogwaardige productideeën, wat het idee uitdaagt dat AI slechts een hulpmiddel is voor consistentie in plaats van creativiteit.
Aan te tonen dat hoewel AI de diversiteit en nieuwheid van de ideeënpool kan verminderen (wat leidt tot een minder breed verkend oplossingslandschap), het de kans op het genereren van "uitzonderlijke" ideeën aanzienlijk vergroot.
Een 7:1 voordeelratio vast te stellen voor AI bij het genereren van top-tier ideeën, wat suggereert dat de waarde van AI in innovatie ligt in het vermogen om hoogwaardige uitschieters te produceren in plaats van een hoog volume aan gemiddelde ideeën.

Betekenis en Claims
De auteurs beweren dat hun bevindingen een "conservatieve schatting" zijn van het potentieel van AI, aangezien de studie geen rekening hield met het enorme productiviteitsvoordeel van LLM's (het genereren van honderden ideeën in minuten versus uren voor mensen). Het artikel betoogt dat het traditionele innovatiemodel, dat de waarde hecht aan het "beste" idee boven het "gemiddelde" idee, perfect aansluit bij de sterke punten van LLM's.

De betekenis van het werk ligt in het voorstel dat de rol van menselijke ideatoren kan verschuiven van generatie naar evaluatie en verfijning. Als LLM's betrouwbaar een hoog volume aan hoogwaardige ideeën kunnen produceren tegen een fractie van de kosten, moeten organisaties mogelijk hun middelen heralloceren naar het sorteren, rangschikken en prioriteren van deze ideeën, in plaats van zich uitsluitend te concentreren op de initiële fase van de ideeëngeneratie. De auteurs concluderen dat hoewel menselijke betrokkenheid cruciaal blijft voor het waarborgen van nieuwheid en het sturen van de richting van de ideatie, AI een substantiële en transformerende verbetering vormt voor nieuwe productontwikkeling.

Technische Samenvatting: Het gebruik van Large Language Models voor ideeëngeneratie in innovatie

Meer zoals dit