💬 NLP

CASPER in the Machine: Insights into Character Variety in LLM-Generated Stories

Dit artikel onderzoekt de overeenkomsten en verschillen tussen door LLM's gegenereerde en door mensen geschreven verhalen door narratologische definities toe te passen om acht complexe dimensies van karakterportrettering te analyseren, met als doel vast te stellen of AI-modellen personages produceren met een vergelijkbare variëteit en diepgang als menselijke auteurs.

Oorspronkelijke auteurs: Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

Gepubliceerd 2026-06-23✓ Author reviewed ⓘ

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Anneliese Brei, Abhisheik Sharma, Nicholas Sanaie, Lu Wang, Snigdha Chaturvedi

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een literaire detective bent die een mysterie probeert op te lossen: Kan een robot-schrijver personages creëren die net zo echt en gevarieerd aanvoelen als de personages die een menselijke auteur schrijft?

Dit artikel, getiteld "CASPER in de Machine", is het rapport van dat onderzoek. De onderzoekers hebben een speciaal hulpmiddel gebouwd genaamd CASPER (Character's Portrayal Classifier) om als een vergrootglas heel nauwkeurig naar de "ziel" van personages in verhalen te kijken.

Hier is de uitsplitsing van hun bevindingen, gebruikmakend van eenvoudige analogieën:

1. Het Gereedschap: Een "Röntgenfoto" van een Personage

Vóór deze studie keken mensen vooral naar wat personages deden (hun beroep, hun geslacht, of of ze "aardig" waren). Maar de onderzoekers wilden weten hoe de personages werden opgebouwd.

Ze gebruikten een raamwerk gebaseerd op klassieke vertellengeschiedenis (zoals een receptenboek voor het bouwen van personages) dat kijkt naar 8 specifieke paren eigenschappen. Denk aan deze als een set schalen waarbij een personage aan de ene of de andere kant wordt gewogen:

Gestileerd vs. Natuurlijk: Is het personage als een cartoon-superheld (overdreven) of als een buurman die je bij de supermarkt zou kunnen tegenkomen (realistisch)?
Coherent vs. Incoherent: Handelt het personage als een consistent persoon, of wisselt hij/zij willekeurig van persoonlijkheid?
Heel vs. Gefragmenteerd: Kennen we de volledige achtergrond en gevoelens van het personage, of zijn ze slechts een silhouet met ontbrekende stukjes?
Letterlijk vs. Symbolisch: Is het personage gewoon een persoon, of vertegenwoordigt hij/zij stiekem een groot idee (zoals "Hoop" of "Greed")?
Complex vs. Simpel: Hebben ze conflicterende verlangens (zoals dapper willen zijn maar bang zijn) of zijn ze eendimensionaal?
Transparant vs. Opaak: Weten we precies wat ze denken, of zijn ze een mysteriebox?
Dynamisch vs. Statisch: Veranderen en groeien ze tijdens het verhaal, of zijn ze van begin tot eind dezelfde persoon?
Gesloten vs. Open: Sluit het verhaal hun leven netjes af, of blijft hun toekomst in het midden hangen?

2. Het Experiment: De "Proeverij"

De onderzoekers verzamelden een enorme buffet aan verhalen:

200 door mensen geschreven verhalen: Verzameld uit online schrijfgemeenschappen (vooraf zorgvuldig gecontroleerd om er zeker van te zijn dat ze niet door AI waren geschreven).
4.400 door AI gegenereerde verhalen: Gemaakt door 7 verschillende AI-modellen (variërend van klein tot zeer groot) met exact dezelfde prompts als de menselijke verhalen.

Ze voerden al deze verhalen in hun CASPER-tool om te zien hoe de personages tegenover elkaar stonden.

3. De Bevindingen: Wat de AI Goed Deed (en Fout Deed)

De "Veiligheid Eerst"-Strategie

De Bevinding: Menselijke schrijvers houden ervan om dingen open te laten. Ze creëren vaak personages wiens verhalen geen perfect einde hebben, of die een beetje mysterieus blijven.
Het Verschil met AI: AI-modellen zijn als overdreven beleefde butler. Ze haten het om een klus half af te maken. Ze knopen bijna altijd alle losse eindjes aan elkaar. Als een menselijk personage misschien de zonsondergang tegemoet wandelt met een onzekere toekomst, krijgt het AI-personage een nette, afgeronde conclusie. De AI "speelt het veilig" door ervoor te zorgen dat het verhaal van het personage compleet is.

De "Groeispurt"-Bias

De Bevinding: AI-personages hebben een grotere kans om dynamisch te zijn. Ze beginnen bijna altijd verdrietig en eindigen gelukkig, of beginnen zwak en eindigen sterk.
Het Verschil met AI: Mensen schrijven personages die koppig blijven, verward blijven, of precies hetzelfde blijven omdat dat is hoe het echte leven werkt. AI denkt echter dat elk verhaal een "morele les" nodig heeft waarbij het personage leert en groeit. Het is alsof de AI probeert voor elk verhaal een fabeltje te schrijven.

De "Stereotype"-Valstrik

De Bevinding: AI-personages zijn meer gestileerd (als archetypen) en minder letterlijk (gewoon gewone mensen).
Het Verschil met AI: Als je om een "held" vraagt, geeft de AI je een klassieke, overdreven held. Mensen zijn beter in het schrijven van de rommelige, saaie of vreemd specifieke mensen die niet in een mal passen. De AI neigt naar bekende clichés in plaats van unieke, eigenzinnige individuen te creëren.

De Grootte Maakt Niet Veel Uit (Bijna)

De Bevinding: Je zou denken dat een superintelligent, enorm groot AI (zoals een model met 70 miljard parameters) complexere personages zou schrijven dan een kleinere AI.
Het Verschil met AI: Verrassing! De grootte van de AI-hersenen veranderde er eigenlijk weinig aan welk type personages het schreef. Een kleine AI en een gigantische AI produceerden beide personages met zeer vergelijkbare patronen. Ze hadden beide dezelfde "veiligheid eerst"- en "groeispurt"-gewoonten.

De Stamboom

De Bevinding: Verschillende AI-families (zoals Llama, Phi, Mistral) hebben verschillende "persoonlijkheden".
Het Verschil met AI: De Phi-familie van modellen leek de meest diverse mix van personages te genereren (als een doos met gemengde chocolade). De Llama-familie was de meest repetitieve (als een doos met alleen maar dezelfde smaak).

4. Het Grote Plaatje

Het artikel concludeert dat hoewel AI steeds beter wordt in het schrijven van verhalen, het nog steeds anders denkt dan mensen.

Mensen zijn comfortabel met ambiguïteit, mysterie en personages die niet veranderen. We zijn oké met losse eindjes.
AI is geobsedeerd door helderheid, nette conclusies en personages die een les leren. Het behandelt elk verhaal als een gestructureerd lesplan in plaats van een inkijkje in het leven.

Kortom: Als je een verhaal wilt dat voelt als een perfect ingepakt cadeau met een duidelijke moraal, dan is de AI je vriend. Als je echter een verhaal wilt dat voelt als een rommelige, onvoorspelbare en open eindende menselijke ervaring, dan heb je nog steeds een menselijke schrijver nodig.

Technische Samenvatting: CASPER in de Machine

Probleemstelling

Nu Large Language Models (LLM's) steeds vaker worden ingezet voor creatief schrijven en het genereren van fictieve verhalen, rijst een cruciale vraag over de kwalitatieve verschillen tussen door machines gegenereerde narratieven en door mensen geschreven verhalen. Terwijl recent onderzoek naar door LLM's gegenereerde verhalen de focus heeft gelegd op plotontwikkeling en narratieve structuur, is er een aanzienlijke lacune in het begrip van hoe deze modellen personages portretteren. Bestaande geautomatiseerde analyses vertrouwen vaak op basiskenmerken zoals demografie of persoonlijkheidskenmerken, waardoor ze er niet in slagen de diepere, artistieke nuances van karakterportrettering te vatten die de toon, thema's en culturele resonantie van een verhaal bepalen. De auteurs stellen dat huidige methoden niet de granulariteit bezitten om te bepalen of LLM's personages genereren met dezelfde variëteit, diepgang en artistieke intentie als menselijke schrijvers.

Methodologie

Om dit aan te pakken, introduceren de auteurs CASPER (Character's Portrayal Classifier), een raamwerk gebaseerd op narratologische theorie, ontworpen om de portrettering van personages in korte verhalen automatisch te analyseren.

1. Theoretisch Raamwerk

In plaats van te vertrouwen op de vage en subjectieve dichotomie van "platte" versus "ronde" personages, maakt CASPER gebruik van een taxonomie voorgesteld door Hochman (1985). Dit raamwerk evalueert personages over acht categorieparen, waarbij elke primaire categorie wordt gecontrasteerd met zijn tegenpool:

Stilisering vs. Naturalisme: Bewuste idealisering/artificieel versus levensechte nauwkeurigheid.
Coherentie vs. Incoherentie: Consistente acties/spraak versus tegenstrijdigheden/fragmentatie.
Heelheid vs. Fragmentariteit: Geïntegreerd zijn met een volledige persoonlijkheid versus gedeeltelijke aspecten met hiaten.
Letterlijkheid vs. Symboliek: Een individu binnen de verhaalwereld versus de representatie van abstracte ideeën/thema's.
Complexiteit vs. Eenvoud: Meerdere conflicterende trekken versus gedefinieerd door één of enkele dominante trekken.
Transparantie vs. Opaciteit: Helder innerlijk leven (gedachten/motieven) versus een verborgen/ambigu innerlijk leven.
Dynamiek vs. Staticisme: Merkbare ontwikkeling/transformatie versus fundamentele onveranderlijkheid.
Closure vs. Openheid: Narratief verloop met duidelijke resolutie versus onopgeloste bestemming/betekenis.

2. Dataset Constructie

De auteurs hebben een hoogwaardige, vergelijkbare corpus geconstrueerd:

Door mensen geschreven verhalen: 200 korte verhalen verzameld van r/shortstories, gefilterd om te garanderen dat ze niet door een LLM zijn gegenereerd (met behulp van AI-detectoren) en toegewezen aan vier genres: Domestic, Romance, Science-Fiction/Fantasy, en Suspense/Thriller.
Door LLM's gegenereerde verhalen: 4.400 verhalen gegenereerd door 8 verschillende LLM's (over 4 families: GPT, Llama, Phi, Mistral) van variërende groottes (3B tot 70B parameters).
Vergelijkbaarheid: Om een eerlijke vergelijking te garanderen, gebruikten de auteurs Llama-70B om schrijfprompts te genereren op basis van de menselijke verhalen, die vervolgens werden gebruikt om verhalen van de doel-LLM's op te roepen, waardoor thematische en genre-overeenkomst werd gewaarborgd.

3. Classificatie Pipeline

Annotatie: Een testset van 100 verhalen (50 menselijk, 50 LLM) werd handmatig geannoteerd door literaire experts om de grondwaarheid vast te stellen. De inter-rater overeenstemming (Cohen's $\kappa$ ) was matig (0.56).
Geautomatiseerde Classificatie: De auteurs gebruikten een "LLM-as-a-judge" benadering met Llama-70B en GPT4o-mini. Ze testten systematisch verschillende prompting-strategieën (Zero-shot, In-Context Learning met verschillende lay-outs, Likert-schalen) om de optimale setup voor elke categorie te bepalen.
Best Practices: De studie vond dat binaire classificatie met aparte inference calls voor elke categorie de beste resultaten opleverde. Specifieke prompt-templates (bijv. ICL-herhaald voor Stilisering, Zero-shot voor Dynamiek) werden geselecteerd op basis van prestaties ten opzichte van menselijke annotaties.

Belangrijkste Resultaten

De analyse van 4.400 door LLM's gegenereerde verhalen tegenover door mensen geschreven tegenhangers onthulde duidelijke patronen:

Closure en Veiligheid: LLM's zijn significant waarschijnlijker om personages te genereren met Closed narratieve bogen (duidelijke conclusies) vergeleken met mensen, die vaker Open bogen achterlaten. Dit suggereert dat LLM's "veilig spelen" door losse eindjes aan elkaar te knopen, terwijl menselijke schrijvers eerder bereid zijn ambiguïteit te gebruiken.
Stilisering en Dynamiek: Door LLM's gegenereerde personages zijn statistisch gezien waarschijnlijker Gestileerd (stereotypisch/archetypisch) en Dynamisch (ondergaand een merkbare groei) dan menselijke personages. LLM's hebben de neiging om personages te creëren die archetypen passen en emotionele verschuivingen ervaren om morele lessen over te brengen.
Transparantie en Coherentie: Zowel mensen als LLM's geven overweldigend de voorkeur aan Coherente, Hele en Transparante personages. Dit wijst op een gebrek aan diversiteit in mysterie of verwarring, hoewel de auteurs opmerken dat dit mogelijk wordt beïnvloed door de focus op protagonisten.
Modelgrootte: In tegen tegenstelling tot de verwachting dat grotere modellen meer genuanceerde personages produceren, heeft modelgrootte geen significante invloed op de portrettering van personages. Kleinere en grotere modellen produceerden bijna identieke distributies over de categorieën, met slechts minimale verschillen in stilisering.
Diversiteit in Model Familie: De Phi-familie genereerde de meest diverse karakterdistributies, terwijl de Llama-familie de minst diverse genereerde. Mistral-modellen toonden een voorkeur voor meer gestileerde en minder coherente personages.
Genre Invloed: Genre heeft een significante impact op karaktertypen. Zo bevatten Domestic-verhalen realistische maar vaak symbolische personages, terwijl Sci-Fi/Fantasy-verhalen de hoogste mate van stilisering en symboliek vertonen.
Inference Variabiliteit: Wanneer dezelfde prompt meerdere keren wordt gebruikt, vertonen Literalness en Closure de hoogste variabiliteit tussen generaties, wat suggereert dat LLM's moeite hebben om consistent vast te houden aan contextuele aanwijzingen over hoe letterlijk of opgelost een personage zou moeten zijn.

Bijdragen en Betekenis

Het artikel levert drie primaire bijdragen:

Framework Adaptatie: Het slaagt erin om theorie-gegronde narratologische methoden (de taxonomie van Hochman) succesvol te adapteren naar een geautomatiseerd raamwerk (CASPER) voor het analyseren van door LLM's gegenereerde verhalen, wat een instrument biedt om de evolutie van karakterportrettering in toekomstige modellen te volgen.
Gecureerde Corpus: Het brengt een zorgvuldig gecureerde dataset vrij van 4.400 door LLM's gegenereerde en 200 door mensen geschreven korte verhalen, wat vergelijkbaarheid over genres en thema's heen garandeert voor toekomstig onderzoek.
Empirische Analyse: Het biedt een gedetailleerde, fijnmazige vergelijking van menselijke en door LLM's gegenereerde personages, waarbij verder wordt gekeken dan basiskenmerken om te analyseren hoe personages worden gepresenteerd binnen het artistieke kader van een verhaal.

Betekenis:
De auteurs beweren dat hun werk de aanname uitdaagt dat grotere modellen inherent meer menselijke of diverse personages produceren. In plaats daarvan demonstreren zij dat huidige LLM's specifieke biases vertonen naar "veilige" storytelling (closure), archetypische personages (stilisering) en morele groei (dynamiek). Door deze patronen te identificeren, biedt het papier een dieper begrip van de beperkingen en stilistische neigingen van huidige generatieve AI in creatieve domeinen, wat suggereert dat hoewel LLM's narratieve structuren kunnen imiteren, ze momenteel de artistieke vrijheid missen om ambiguïteit en het volledige spectrum van menselijke karaktercomplexiteit te omarmen.