Résumé technique : GENIE : Une mesure fine de la nouveauté

Problématique

Les grands modèles de langage (LLM) ont systématiquement démontré un manque de créativité et de diversité dans leurs productions. Bien que des travaux antérieurs aient établi que les modèles peinent à générer des contenus diversifiés via des approches lexico-sémantiques, des tests de créativité et des experts humains, les méthodes d'évaluation existantes ne parviennent pas à isoler précisément où les modèles manquent de créativité sur des tâches spécifiques.

Les métriques actuelles de nouveauté et de créativité sont largement holistiques, produisant un score scalaire unique. Ces approches peinent à capturer la haute dimensionnalité de la nouveauté et ne parviennent pas à expliquer pourquoi une réponse est considérée comme nouvelle ou non. Par exemple, une réponse peut être unique dans son cadre (setting) mais banale dans son intrigue (plot), pourtant les métriques holistiques ne peuvent distinguer ces différences fines. De plus, de nombreuses métriques existantes confondent la nouveauté avec d'autres composantes de la créativité, telles que la qualité ou la valeur esthétique, ou reposent sur des points de référence implicites (par exemple, les corpus de pré-entraînement) plutôt que sur des populations explicites.

Méthodologie : Le cadre GENIE

Les auteurs proposent GENIE (Granular Evaluation of Novel Ideas with Explainability — Évaluation granulaire des idées nouvelles avec explicabilité), un cadre conçu pour quantifier les nuances fines de la nouveauté en extrayant des caractéristiques spécifiques à la tâche par rapport à une population de réponses définie par l'utilisateur.

Composantes clés

1. Découverte de caractéristiques (Feature Discovery) : Au lieu de définir manuellement les caractéristiques, GENIE découvre automatiquement des axes de caractéristiques spécifiques à la tâche en demandant à un LLM de générer des descriptions de caractéristiques, qui sont ensuite regroupées par clustering pour former un ensemble $F = \{f_1, ..., f_N\}$.
2. Génération de questions et mise en correspondance (Mapping) : Pour ancrer ces caractéristiques dans des prompts spécifiques, GENIE génère un ensemble de questions $Q$ pour un prompt $p$ donné. Ces questions sont mises en correspondance avec les caractéristiques découvertes. Ce processus utilise la vue de « la sémantique alternative des questions », où les questions partitionnent les mondes possibles en sous-espaces correspondant aux valeurs des caractéristiques.
3. Notation basée sur la population : GENIE mesure la nouveauté par rapport à une population explicite $D_{pop}$ de documents générés par divers modèles.
   • Pour un document cible $d_t$, le système répond aux questions mappées pour extraire les valeurs des caractéristiques.
   • Il calcule la dissimilitude entre les réponses du document cible et les réponses des documents de la population pour chaque question.
   • Le score de nouveauté pour une caractéristique $f$ est la moyenne de la dissimilitude par paire à travers toutes les questions mappées à cette caractéristique.
4. Sortie (Output) : Contrairement aux métriques holistiques, GENIE produit un vecteur de scores de nouveauté, un pour chaque caractéristique (ex: Cadre, Intrigue, Personnage), fournissant une explicabilité quant aux aspects spécifiques d'une réponse qui sont nouveaux.

Implémentation dans l'écriture créative

L'article instancie GENIE dans le domaine de la génération de récits longs.

• Caractéristiques : Grâce à la découverte automatique et au clustering, les auteurs ont identifié des caractéristiques correspondant à des taxonomies établies : Agent, Perspective, Intrigue, Cadre, Atmosphère sociale et Style.
• Données : L'étude a utilisé environ 10 000 documents générés par 40 modèles à travers 50 prompts ouverts. Une population de 3 404 documents (issus de 21 modèles) a été construite pour servir de référence, tandis que 18 modèles cibles ont été évalués par rapport à cette population.
• Dissimilitude : La similitude entre les réponses a été jugée à l'aide de Qwen2.5-32B-Instruct sur une échelle de Likert à 4 points, convertissant la similitude en dissimilitude ($1 - similitude$).

Résultats clés

1. Sensibilité et robustesse

Les auteurs ont mené des études d'intervention causale pour tester la validité de GENIE :

• Sensibilité : Lorsque des caractéristiques spécifiques (ex: Intrigue ou Cadre) ont été éditées chirurgicalement dans des documents, GENIE a détecté avec succès des changements statistiquement significatifs dans les scores de nouveauté de ces caractéristiques spécifiques.
• Robustesse : Lorsque des documents ont été paraphrasés (sémantiquement équivalents mais lexicalement différents), GENIE n'a montré aucun changement significatif des scores, démontrant une robustesse face aux variations de surface.
• Comparaison : En revanche, des métriques holistiques comme la Distance Cosinus et NoveltyBench se sont révélées soit sensibles au lexique (échouant au test de robustesse), soit capturant des propriétés extrinsèques. Par exemple, la Distance Cosinus a souvent échoué à distinguer différents types d'interventions de contenu (ex: Intrigue vs Style) et était sensible au paraphrasage.

2. Évaluation des méthodes de mitigation

GENIE a été utilisé pour évaluer des méthodes conçues pour améliorer la créativité des modèles (ex: Échantillonnage verbalisé, Planification/Outlining, Échantillonnage négatif, Décodage conformatif).

• Aperçus fins : Alors que les métriques holistiques pourraient suggérer qu'une méthode améliore la « créativité » de manière générale, GENIE a révélé que des méthodes spécifiques améliorent des caractéristiques spécifiques. Par exemple, la Planification (Outlining) a considérablement amélioré la Perspective et le Style, tandis que le Décodage conformatif a amélioré le Cadre.
• Détection d'artefacts : Le cadre a mis en évidence que certaines méthodes (comme l'Échantillonnage verbalisé) produisaient des réponses disproportionnellement courtes, ce qui biaisait les scores de nouveauté par rapport à une population d'histoires de pleine longueur. Cela souligne l'importance de l'alignement avec la population.

3. Validation intrinsèque

Des études humaines ont validé les composantes du pipeline :

• Génération de questions : A obtenu un accord modéré à élevé avec les annotateurs humains concernant la validité des questions.
• Mise en correspondance des caractéristiques : A montré une grande précision dans la mise en correspondance des questions générées avec les bonnes caractéristiques.
• Jugements de similitude : L'LLM utilisé pour le scoring de dissimilitude (Qwen2.5-32B) a montré une forte corrélation avec le consensus humain, validant le mécanisme de notation automatisé.

Signification et affirmations

L'article affirme que GENIE fournit un outil de diagnostic pour l'évaluation de la créativité des LLM. Sa principale signification réside dans :

1. Explicabilité : Il dépasse les scores scalaires « boîte noire » pour identifier quelles propriétés spécifiques à la tâche (ex: intrigue vs cadre) contribuent à la nouveauté d'une réponse.
2. Découplage de la nouveauté et de la qualité : En ancrant l'extraction de caractéristiques à la tâche et en mesurant la dissimilitude relative, GENIE isole la nouveauté de la valeur esthétique ou de la qualité, répondant ainsi à une limite des métriques qui confondent ces dimensions.
3. Indépendance du domaine : Bien que démontré sur l'écriture créative, le cadre est conçu pour être indépendant du domaine, capable de s'adapter à la découverte scientifique ou à d'autres tâches en redéfinissant l'ensemble des caractéristiques.
4. Analyse améliorée de la mitigation : Il permet une compréhension plus précise du fonctionnement des méthodes de mitigation de la créativité, révélant qu'elles ciblent souvent des dimensions spécifiques de la production plutôt que la créativité en tant que concept monolithique.

Les auteurs reconnaissent des limites, notant le coût computationnel du pipeline (nécessitant de multiples appels LLM pour la découverte de caractéristiques, la génération de questions et le scoring) et le fait que la validation actuelle se situe principalement dans le domaine de l'écriture créative. Ils ne prétendent pas que la méthode est parfaite pour tous les domaines sans validation supplémentaire, mais postulent que le coût est justifié pour dépasser les proxys de surface grossiers.