LLMs Exhibit Significantly Lower Uncertainty in Creative Writing Than Professional Writers

1. Problématique et Contexte

L'article identifie une limitation fondamentale des Grands Modèles de Langage (LLMs) dans le domaine de l'écriture créative : leur incapacité à produire des textes riches, nuancés et imprévisibles, souvent jugés comme étant « éculés », répétitifs et remplis de clichés.

• Le paradoxe de l'alignement : Les stratégies d'alignement actuelles (RLHF, SFT) sont conçues pour maximiser la facticité, réduire les hallucinations et suivre les instructions. Cela pousse les modèles à éviter l'ambiguïté et l'incertitude.
• La théorie littéraire : À l'inverse, la théorie littéraire (de Keats à Derrida) postule que l'incertitude, l'ambiguïté et les « trous » de sens sont des conditions nécessaires à la création littéraire. La richesse d'une œuvre réside dans sa capacité à maintenir des significations multiples et à inviter le lecteur à une co-création active.
• L'hypothèse centrale : Les LLMs alignés souffrent d'une « aversion systémique à l'incertitude ». En optimisant pour la sécurité et la cohérence, ils éliminent la « friction créative » nécessaire à la littérature, créant un fossé mesurable entre la distribution des textes humains et celle des modèles.

2. Méthodologie

Les auteurs proposent un cadre d'analyse théorique de l'information pour quantifier ce fossé d'incertitude (« uncertainty gap »).

A. Formulation du Problème

L'étude compare deux types de complétions de texte ($T_2$) données un même contexte ($T_1$) :

1. Complétion humaine (Vérité terrain) : Le texte original écrit par un auteur professionnel.
2. Complétion par le modèle : Une séquence générée par le LLM ($\hat{T}_2$).

Approche innovante : Le même LLM ($P_\theta$) est utilisé à la fois comme générateur (pour créer $\hat{T}_2$) et comme évaluateur (pour calculer la probabilité et l'incertitude du texte humain $T_2$). Cela élimine les biais de distribution entre différents modèles et isole le comportement génératif.

B. Métriques d'Incertitude

Les auteurs utilisent plusieurs métriques dérivées des log-probabilités du modèle :

• Entropie moyenne des tokens (Surprisal) : Mesure l'imprévisibilité moyenne des tokens ($H_{token}$).
• Perplexité (PPL) : L'exponentielle de l'entropie moyenne, mesurant l'incertitude globale de la séquence.
• Information Mutuelle Ponctuelle (PMI) : Mesure à quel point le contexte $T_1$ prédit la suite $T_2$. Une PMI élevée indique une forte dépendance au contexte (prévisibilité), tandis qu'une faible PMI suggère une divergence créative par rapport aux attentes du contexte.
• PMI Conditionnelle (CPMI) : Une variante pondérée qui se concentre sur les tokens à haute entropie (points de décision critiques).

C. Données et Configuration Expérimentale

• Corpus : Deux ensembles de données de haute qualité provenant d'auteurs professionnels :
  • The New Yorker (2010-2019) : Fictions littéraires prestigieuses.
  • Tell-Me-A-Story : Histoires issues d'ateliers d'écriture professionnels.
• Modèles : Une suite diversifiée de modèles open-weights (OLMo, Llama, Qwen, Mistral, Gemma, Phi), comparant les versions Base, Instruct (alignées) et Thinking (raisonnement).
• Contrôle : Longueur de génération identique, température fixée à 1.0 pour la stochasticité, et désactivation du nucleus sampling pour refléter la vraie distribution du modèle.

3. Résultats Clés

A. Existence d'un « Fossé d'Incertitude » (RQ1)

Les résultats montrent un fossé systématique et significatif :

• Les textes humains sont 2 à 4 fois plus « surprenants » (plus haute entropie/NLL) pour le modèle que ses propres générations.
• Les rapports de perplexité (PPL) amplifient ce fossé, atteignant jusqu'à 8,8 fois plus élevé pour les textes humains.
• Les valeurs de $\Delta$PMI sont uniformément négatives, indiquant que les modèles s'appuient excessivement sur le contexte pour prédire la suite, tandis que les auteurs humains s'écartent des trajectoires narratives attendues.

B. Impact de l'Alignement et du Raisonnement

• Effet de l'alignement : Les modèles Instruct et les modèles de raisonnement (« Thinking ») exacerbent ce fossé par rapport à leurs versions Base. L'alignement réduit davantage l'entropie, rendant les sorties plus prévisibles et moins créatives.
• Échelle des modèles : L'augmentation de la taille du modèle (scaling) n'aide que marginalement à réduire ce fossé ; l'alignement reste le facteur dominant.

C. Spécificité du Domaine Créatif (RQ2)

En comparant l'écriture créative avec des domaines fonctionnels (articles de presse, essais) via le jeu de données Ghostbuster :

• Le fossé d'incertitude existe dans tous les domaines, mais il est amplifié dans l'écriture créative.
• La métrique PMI montre un écart de 25 à 30 % plus large pour la fiction que pour les essais, suggérant que les modèles échouent spécifiquement à introduire la tension narrative et la surprise structurelle requises en littérature.

D. Corrélation avec la Qualité d'Écriture (RQ3)

L'étude analyse la relation entre l'incertitude et la qualité (via un modèle de récompense spécialisé) :

• Corrélation positive : Une incertitude plus élevée (NLL/PPL) est corrélée à une meilleure qualité d'écriture.
• La « Sweet Spot » (Point idéal) : Une régression quadratique révèle une relation en forme de courbe en U inversé (courbe de Wundt). La qualité atteint un pic à des niveaux d'incertitude élevés (mais pas extrêmes).
• Positionnement des modèles : Les modèles alignés opèrent majoritairement à gauche de ce pic optimal (faible entropie), produisant des textes sûrs mais de qualité inférieure. Les écrivains humains opèrent naturellement dans la zone de haute entropie optimale.

4. Contributions Principales

1. Formalisation Théorique : Première tentative systématique de lier la théorie littéraire (indétermination, ambiguïté) à l'analyse informationnelle des LLMs.
2. Preuve Empirique : Démonstration chiffrée que l'alignement actuel des LLMs détruit la « friction créative » nécessaire à la littérature, en produisant des distributions de probabilité trop concentrées (mode collapse).
3. Nouvelle Méthodologie : Utilisation d'un LLM unique pour évaluer l'incertitude des textes humains, permettant une comparaison directe et équitable des distributions.
4. Analyse de la Qualité : Établissement d'une corrélation non linéaire entre l'incertitude et la qualité littéraire, prouvant que l'imprévisibilité n'est pas du bruit, mais un vecteur de valeur esthétique.

5. Signification et Implications

• Critique de l'Alignement Actuel : L'article remet en cause les stratégies d'alignement standard (RLHF) qui privilégient la clarté et la certitude au détriment de la richesse littéraire. Ces stratégies sont adaptées aux tâches factuelles mais nuisibles à la créativité.
• Risques Systémiques : La production massive de contenu « lissé » par les LLMs risque d'homogénéiser la culture et de réduire la diversité des idées, menant à ce que les auteurs appellent un « textpocalypse » (une accumulation de contenu lisse mais sans âme).
• Voies Futures : Pour atteindre un niveau de créativité humain, les futurs modèles doivent intégrer des paradigmes d'alignement conscients de l'incertitude. Il faut distinguer les « hallucinations destructrices » (erreurs factuelles) de l'« ambiguïté constructive » (nécessaire à la métaphore et à la littérature).
• Interdisciplinarité : L'article plaide pour une fusion plus profonde entre l'apprentissage automatique et les humanités numériques, en utilisant la théorie littéraire pour guider le développement des modèles de créativité computationnelle.

En résumé, ce papier démontre que pour écrire comme un humain, un LLM doit apprendre à être incertain, à tolérer l'ambiguïté et à s'éloigner des chemins de probabilité les plus sûrs, ce que les modèles actuels, optimisés pour la certitude, ne peuvent pas faire.