When ChatGPT is gone: Creativity reverts and homogeneity persists

Hoewel ChatGPT tijdelijk de creatieve prestaties van mensen verhoogt, leidt het gebruik ervan op de lange termijn tot een terugkeer naar het oorspronkelijke prestatieniveau en een blijvende toename van homogeniteit in creatieve inhoud, wat de noodzaak benadrukt voor een voorzichtige integratie van generatieve AI.

De kern

Wanneer ChatGPT verdwijnt: Creativiteit zakt weg, maar eentonigheid blijft

Stel je voor dat je een magische toverstaf hebt. Zodra je die vasthoudt, kun je de meest fantastische verhalen schrijven, de slimste ideeën bedenken en problemen oplossen alsof het niets is. Dat is wat ChatGPT voor veel mensen voelt: een krachtige hulpmethode die je creativiteit direct een enorme boost geeft.

Maar wat gebeurt er als je die toverstaf plotseling moet neerleggen? Blijf je dan net zo slim en creatief, of val je terug op je oude niveau? En is er een prijs te betalen voor het gebruik van die toverstaf?

Dit is precies wat onderzoekers van de Universiteit van Peking (in China) hebben onderzocht. Ze deden een experiment met 61 studenten om te kijken wat er gebeurt als je een week lang creatieve taken doet met en zonder ChatGPT. Hier is wat ze ontdekten, vertaald in een simpel verhaal.

Het Experiment: De "Magische Toverstaf" vs. Je Eigen Brein

De onderzoekers deelden de studenten in twee groepen:

1. De "Magische" Groep: Deze studenten mochten de hele week ChatGPT gebruiken om hun creatieve taken te doen.
2. De "Eigen Kracht" Groep: Deze studenten moesten alles zelf bedenken, zonder hulp.

Ze kregen elke dag twee soorten opdrachten:

• Een simpele opdracht: "Noem zo veel mogelijk gekke dingen die je met een baksteen kunt doen." (Dit heet divergent denken).
• Een moeilijke opdracht: "Bedenk een nieuw, slimme functie voor een VR-bril en schrijf een oplossing." (Dit heet convergent denken).

Wat gebeurde er?

1. De Boost is Echt (maar tijdelijk)
De eerste dagen was het verschil enorm. De groep met ChatGPT bedacht veel meer ideeën, en die ideeën waren vaak slimmer en nuttiger dan die van de groep zonder hulp. Het leek alsof ChatGPT hen superkrachten gaf.

2. De Val: De Magie Verdwijnt
Op dag 7 en weer een maand later (dag 30) kregen alle studenten dezelfde opdracht, maar nu zonder ChatGPT.
Het resultaat was verrassend en een beetje triest:

• De groep die de hele week met ChatGPT had gewerkt, zakte direct terug naar hun oude, gemiddelde niveau. Hun creativiteit was niet blijvend verbeterd; het was alsof ze de "spier" van creatief denken niet hadden getraind, maar alleen de machine hadden laten werken.
• Ze waren niet beter geworden dan de groep die de hele week zelf had gewerkt.

3. Het Gevaar: De "Grijze Smeer" (Homogeniteit)
Dit is het meest belangrijke en zorgwekkende punt. Hoewel ChatGPT de aantal ideeën verhoogde, maakte het de ideeën ook eentonig.

• De Analogie: Stel je voor dat iedereen in de "Magische" groep een identiek pakje koopt. Ze dragen allemaal exact hetzelfde, in dezelfde kleur. Ze zien er allemaal goed uit, maar ze lijken precies op elkaar.
• De "Eigen Kracht" groep had juist een kleurrijk assortiment: sommigen droegen een hoed, anderen een cape, weer anderen hadden een uniek patroon.
• Het probleem: Zelfs toen de "Magische" groep op dag 7 en dag 30 zonder ChatGPT werkte, bleven hun ideeën eentonig. Ze bleven denken in de "grijze smeer" die ChatGPT had opgelegd. Ze hadden hun eigen unieke stem verloren.

Wat betekent dit voor ons?

De onderzoekers trekken een duidelijke conclusie: ChatGPT is een tijdelijk krukje, geen permanente oplossing.

• Het is een snelle oplossing: Als je nu iets moet bedenken, helpt ChatGPT je enorm. Het is als een sportwagen die je snel van A naar B brengt.
• Het is geen training: Als je die sportwagen de hele week gebruikt, leer je niet hoe je zelf te fietsen. Zodra je de auto moet inleveren, val je terug op je fietsvaardigheden, die misschien zelfs wat stijver zijn geworden omdat je ze niet hebt gebruikt.
• Het gevaar voor de wereld: Als iedereen overal ChatGPT gebruikt, gaan we allemaal dezelfde ideeën hebben. Wetenschap, kunst en innovatie hebben juist nodig dat mensen anders denken. Als we allemaal dezelfde "AI-antwoorden" geven, verdwijnt de diversiteit. En zonder diversiteit geen echte doorbraken.

De Les voor de Toekomst

De boodschap is niet "gebruik AI nooit", maar wel: wees voorzichtig.
Gebruik ChatGPT als een hulpmiddel om je te inspireren, maar laat het niet je brein vervangen. Als je te afhankelijk wordt, verlies je je eigen creativiteit en eindig je met een wereld vol identieke, saaie ideeën.

Kortom: ChatGPT kan je tijdelijk hoger laten springen, maar als je de ladder wegtrekt, val je terug. En het ergste is: je landt dan op een plek waar iedereen precies hetzelfde landt.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het artikel "When ChatGPT is gone: Creativity reverts and homogeneity persists" in het Nederlands.

Probleemstelling

Hoewel generatieve AI-modellen zoals ChatGPT bewezen hebben de menselijke prestaties op het gebied van creativiteit op korte termijn te verhogen, is het onduidelijk of dit effect duurzaam is en wat de langetermijneffecten zijn van afhankelijkheid van deze tools. Er bestaat een zorg dat het gebruik van AI, ondanks het stimuleren van productiviteit, kan leiden tot een homogenisering van ideeën (verlies van diversiteit) en dat de menselijke creatieve capaciteit kan verslechteren wanneer de tool niet meer beschikbaar is. De auteurs stellen drie kernvragen:

1. Wat zijn de langetermijneffecten van ChatGPT-gebruik op creatief werk?
2. Wat gebeurt er met het creatieve gedrag wanneer de toegang tot ChatGPT plotseling wordt verwijderd na een periode van afhankelijkheid?
3. Leidt ChatGPT tot een homogenisering van ideeën en een verlies aan wetenschappelijke diversiteit?

Methodologie

De studie is opgezet als een vooraf geregistreerd, zeven dagen durend laboratoriumexperiment met een follow-up na 30 dagen.

• Deelnemers: 61 universitaire studenten (36 vrouwen, gemiddelde leeftijd 21,56 jaar) uit 31 verschillende vakgebieden.
• Opzet: Deelnemers werden willekeurig toegewezen aan een behandelgroep (n=31), die ChatGPT 4.0 mocht gebruiken, of een controlegroep (n=30), die de taken zelfstandig moest uitvoeren.
• Proces:
  • Dag 1 (Baseline): Alle deelnemers voerden twee creatieve taken uit zonder AI om de uitgangsniveaus te vergelijken.
  • Dag 2 t/m 6 (Manipulatie): De behandelgroep gebruikte ChatGPT voor de taken; de controlegroep deed dit zelfstandig.
  • Dag 7 (Post-test): Alle deelnemers voerden de taken opnieuw uit zonder AI om het effect van de "ontwenningsperiode" te meten.
  • Dag 30 (Follow-up): Een enquête met een nieuwe AUT-taak (spons) om de langetermijneffecten te meten.
• Taken:
  1. Lage complexiteit: Alternatieve Gebruikstest (AUT): Het genereren van ongewone gebruiksmogelijkheden voor alledaagse objecten (bijv. een pen) binnen 3 minuten.
  2. Hoge complexiteit: Probleemoplossing: Het bedenken van innovatieve functies en oplossingen voor een productontwikkelingsvraagstuk (bijv. VR-bril).
• Data-analyse en Beoordeling:
  • Creativiteit: Twee onafhankelijke beoordelaars (blind voor de conditie) beoordeelden de antwoorden volgens de Consensual Assessment Technique (CAT). Er werd gekeken naar originaliteit (novelty), nut (usefulness), flexibiliteit, en voor de complexe taak ook naar kwaliteit, populariteit en marktsucces.
  • Homogeniteit: Er werden geavanceerde NLP-technieken toegepast om de semantische gelijkenis tussen antwoorden te meten:
    • SBERT (Sentence-BERT): Berekening van cosinus-ähnelijkheid voor semantische vertegenwoordiging van zinnen.
    • String Matching: Berekening van de redundantie (herhaling van karakterreeksen langer dan twee tekens) om letterlijke gelijkenis te meten.
    • Visualisatie: PCA en UMAP-algoritmen werden gebruikt om de verdeling en dichtheid van de semantische ruimte te visualiseren.

Belangrijkste Resultaten

1. Korte termijn boost, langetermijn regressie:

   • Tijdens de 5 dagen met ChatGPT (Dag 2-6) presteerde de behandelgroep significant beter dan de controlegroep op alle maatstaven (meer originele en nuttige ideeën, hogere kwaliteit oplossingen).
   • Dag 7 (zonder AI): Zodra ChatGPT werd uitgeschakeld, daalde de creatieve prestatie van de behandelgroep drastisch naar het niveau van de controlegroep. Er was geen significant verschil meer in originaliteit, nut of kwaliteit.
   • Dag 30: Het resultaat bleef hetzelfde; de behandelgroep had geen blijvende creatieve meerwaarde behouden ten opzichte van de controlegroep.

2. Persistentie van Homogeniteit:

   • Hoewel de creatieve kwaliteit terugkeerde naar het gemiddelde, bleef de homogeniteit (gelijkvormigheid) van de ideeën in de behandelgroep significant hoger dan in de controlegroep.
   • Deelnemers die ChatGPT hadden gebruikt, produceerden antwoorden die semantisch dichter bij elkaar lagen (kleinere variantie, kleinere ellips-oppervlakten in de visualisatie).
   • Dit effect van homogenisering bleek zelfs aanwezig op Dag 7 en Dag 30, zelfs toen de deelnemers de AI niet meer gebruikten. De "AI-achtige" stijl van denken bleef hangen.

3. Geen verbetering in zelfherkenning:

   • ChatGPT hielp deelnemers niet beter te beoordelen welke van hun eigen ideeën het meest creatief was; er was geen significant verschil in de nauwkeurigheid van het selecteren van de beste ideeën tussen de groepen.

Kernbijdragen

• Ontmaskering van het "Boost"-effect: De studie toont aan dat de verhoging van creativiteit door generatieve AI tijdelijk is en afhankelijk van de aanwezigheid van de tool. Zonder AI keert de menselijke prestatie terug naar het basismoment.
• Het risico op cognitieve convergentie: Het belangrijkste nieuwe inzicht is dat langdurig gebruik van generatieve AI leidt tot een blijvende homogenisering van ideeën. De diversiteit van denken neemt af, zelfs nadat de tool is verwijderd.
• Methodologische innovatie: Het combineren van een langdurig laboratoriumexperiment met geavanceerde NLP-technieken (SBERT, String Matching, UMAP) om zowel de kwantiteit/kwaliteit als de semantische diversiteit van creatieve output kwantitatief te meten.

Betekenis en Implicaties

De bevindingen vormen een uitdaging voor het dominante narratief dat generatieve AI de menselijke creativiteit fundamenteel verbetert. In plaats daarvan suggereert het onderzoek dat:

• Generatieve AI fungeert als een "kruk" die tijdelijk prestaties verhoogt, maar op de lange termijn de menselijke creatieve vaardigheden kan laten atrofiëren (verzwakken).
• Er een groot risico bestaat op een verlies van innovatieve diversiteit in wetenschap en industrie als AI-systemen onbeperkt worden geïntegreerd. Dit kan leiden tot een wereld waar wetenschappers en creators steeds meer op elkaar lijkende oplossingen genereren.
• Er een gebalanceerde aanpak nodig is in onderwijs en onderzoek: AI mag worden gebruikt voor directe output, maar moet niet de ontwikkeling van inherente creatieve vaardigheden vervangen. Beleidmakers moeten strategieën ontwikkelen om de diversiteit van denken te beschermen tegen de homogeniserende kracht van algoritmen.

Kortom: ChatGPT kan de mens helpen om tijdelijk beter te presteren, maar "boxt" (beperkt) de menselijke creatieve capaciteit op de lange termijn en leidt tot een verlies aan innovatieve diversiteit.