Résumé technique : CASPER dans la machine

Problématique

Alors que les modèles de langage de grande taille (LLM) sont de plus en plus utilisés pour l'écriture créative et la génération de récits de fiction, une question cruciale se pose concernant les différences qualitatives entre les récits générés par machine et ceux écrits par l'humain. Bien que des recherches récentes aient examiné les histoires générées par les LLM sous l'angle du développement de l'intrigue et de la structure narrative, il existe une lacune importante dans la compréhension de la manière dont ces modèles dépeignent les personnages. Les analyses automatisées existantes reposent souvent sur des attributs basiques tels que la démographie ou les traits de personnalité, échouant à capturer les nuances artistiques plus profondes du portrait de personnage qui définissent le ton, les thèmes et la résonance culturelle d'un récit. Les auteurs postulent que les méthodes actuelles manquent de la granularité nécessaire pour déterminer si les LLM génèrent des personnages avec la même variété, profondeur et intention artistique que les écrivains humains.

Méthodologie

Pour répondre à cela, les auteurs introduisent CASPER (Character's Portrayal Classifier), un cadre fondé sur la théorie de la narratologie conçu pour analyser automatiquement le portrait des personnages dans les nouvelles.

1. Cadre théorique

Au lieu de s'appuyer sur la dichotomie vague et subjective entre personnages « plats » et « ronds », CASPER utilise une taxonomie proposée par Hochman (1985). Ce cadre évalue les personnages à travers huit paires de catégories, où chaque catégorie primaire est contrastée avec son opposée :

• Stylisation vs Naturalisme : Idéalisation/artifice délibéré vs précision réaliste.
• Cohérence vs Incohérence : Actions/paroles cohérentes vs contradictions/fragmentation.
• Plénitude vs Fragmentarité : Être intégré avec une personnalité complète vs aspects partiels avec des lacunes.
• Littéralité vs Symbolisme : Individu au sein du monde de l'histoire vs représentation d'idées abstraites/thèmes.
• Complexité vs Simplicité : Traits multiples et conflictuels vs défini par un ou peu de traits dominants.
• Transparence vs Opacité : Vie intérieure claire (pensées/motifs) vs vie intérieure cachée/ambiguë.
• Dynamisme vs Statisme : Développement/transformation notables vs immuabilité fondamentale.
• Clôture vs Ouverture : Arc narratif avec résolution claire vs destin/signification non résolus.

2. Construction du jeu de données

Les auteurs ont construit un corpus de haute qualité et comparable :

• Histoires écrites par des humains : 200 nouvelles collectées sur r/shortstories, filtrées pour garantir qu'elles n'étaient pas générées par un LLM (en utilisant des détecteurs d'IA) et réparties en quatre genres : Domestique, Romance, Science-Fiction/Fantasy, et Suspense/Thriller.
• Histoires générées par LLM : 4 400 histoires générées par 8 LLM différents (issus de 4 familles : GPT, Llama, Phi, Mistral) de tailles variables (de 3B à 70B de paramètres).
• Comparabilité : Pour assurer une comparaison équitable, les auteurs ont utilisé Llama-70B pour générer des invites (prompts) de rédaction à partir des histoires humaines, lesquelles ont ensuite été utilisées pour solliciter les histoires des LLM cibles, garantissant ainsi l'alignement thématique et de genre.

3. Pipeline de classification

• Annotation : Un ensemble de test de 100 histoires (50 humaines, 50 LLM) a été annoté manuellement par des experts en littérature pour établir la vérité de terrain (ground truth). L'accord inter-juges (Kappa de Cohen) était modéré (0,56).
• Classification automatisée : Les auteurs ont employé une approche de type « LLM-as-a-judge » utilisant Llama-70B et GPT4o-mini. Ils ont testé systématiquement diverses stratégies d'invite (Zero-shot, Apprentissage en contexte avec différents agencements, échelles de Likert) pour déterminer la configuration optimale pour chaque catégorie.
• Bonnes pratiques : L'étude a révélé que la classification binaire utilisant des appels d'inférence séparés pour chaque catégorie produisait les meilleurs résultats. Des modèles d'invites spécifiques (ex: ICL-répété pour la Stylisation, Zero-shot pour le Dynamisme) ont été sélectionnés en fonction de la performance par rapport aux annotations humaines.

Résultats clés

L'analyse des 4 400 histoires générées par LLM par rapport aux homologues écrites par des humains a révélé des schémas distincts :

• Clôture et Sécurité : Les LLM sont nettement plus susceptibles de générer des personnages avec des arcs narratifs Clos (conclusions définitives) par rapport aux humains, qui laissent fréquemment des arcs Ouverts. Cela suggère que les LLM « jouent la sécurité » en bouclant les fils de l'intrigue, là où les écrivains humains sont plus enclins à utiliser l'ambiguïté.
• Stylisation et Dynamisme : Les personnages générés par LLM sont statistiquement plus susceptibles d'être Stylisés (stéréotypés/archétypaux) et Dynamiques (subissant un développement notable) que les personnages humains. Les LLM ont tendance à créer des personnages qui correspondent à des archétypes et vivent des changements émotionnels pour transmettre des leçons morales.
• Transparence et Cohérence : Les humains comme les LLM préfèrent massivement les personnages Cohérents, Pléniers et Transparents. Cela indique un manque de diversité dans le mystère ou la confusion, bien que les auteurs notent que cela puisse être influencé par l'accent mis sur les protagonistes.
• Taille du modèle : Contrairement à l'attente, la taille du modèle n'affecte pas significativement le portrait des personnages. Les modèles petits et grands produisent des distributions presque identiques à travers les catégories, avec seulement des différences mineures concernant la stylisation.
• Diversité de la famille de modèles : La famille Phi a généré les distributions de personnages les plus diversifiées, tandis que la famille Llama a généré les moins diversifiées. Les modèles Mistral ont montré une préférence pour des personnages plus stylisés et moins cohérents.
• Influence du genre : Le genre impacte significativement les types de personnages. Par exemple, les histoires Domestiques présentent des personnages réalistes mais souvent symboliques, tandis que les histoires de Science-Fiction/Fantasy affichent les taux les plus élevés de stylisation et de symbolisme.
• Variabilité de l'inférence : Lorsque la même invite est utilisée plusieurs fois, la Littéralité et la Clôture présentent la plus grande variabilité entre les générations, suggérant que les LLM peinent à adhérer de manière cohérente aux indices contextuels concernant le degré de littéralité ou de résolution d'un personnage.

Contributions et Signification

Le papier apporte trois contributions principales :

1. Adaptation du cadre : Il adapte avec succès des méthodes de la narratologie fondées sur la théorie (la taxonomie de Hochman) en un cadre automatisé (CASPER) pour analyser le portrait des personnages dans les histoires générées par LLM, fournissant un outil pour suivre l'évolution du portrait des personnages dans les futurs modèles.
2. Corpus de référence : Il publie un ensemble de données soigneusement organisé de 4 400 histoires générées par LLM et 200 histoires écrites par des humains, assurant la comparabilité à travers les genres et les thèmes pour de futures recherches.
3. Analyse empirique : Il fournit une comparaison détaillée et fine entre les personnages humains et ceux des LLM, allant au-delà des traits de base pour analyser comment les personnages sont dépeints au sein du cadre artistique d'un récit.

Signification :
Les auteurs affirment que leur travail remet en question l'hypothèse selon laquelle les modèles plus grands produisent intrinsèquement des personnages plus humains ou plus diversifiés. Au lieu de cela, ils démontrent que les LLM actuels présentent des biais spécifiques vers une narration « sûre » (clôture), des personnages archétypaux (stylisation) et une croissance morale (dynamisme). En identifiant ces schémas, l'article offre une compréhension plus profonde des limites et des tendances stylistiques de l'IA générative actuelle dans les domaines créatifs, suggérant que si les LLM peuvent imiter les structures narratives, ils manquent actuellement de la liberté artistique pour embrasser l'ambiguïté et tout le spectre de la complexité humaine des personnages.