Résumé technique : Poller – Évaluer la compréhension de la poésie avec les grands modèles de langage

Problématique

Les méthodes d'évaluation automatique traditionnelles (ex. : BLEU, ROUGE) sont mal adaptées à la poésie chinoise moderne en raison de la dépendance du genre envers le langage figuré, le rythme, l'imagerie et les nuances culturelles. Bien que l'évaluation humaine demeure la référence absolue, elle est coûteuse, chronophage et impraticable pour des ensembles de données de grande ampleur. Des tentatives antérieures utilisant des grands modèles de langage (LLM) comme évaluateurs pour des tâches liées à la poésie ont donné des résultats insatisfaisants ; les LLM présentent souvent un biais significatif, comme favoriser leur propre texte généré ou se concentrer sur des caractéristiques linguistiques superficielles tout en ignorant la profondeur du contexte culturel et l'intention de l'auteur. Par conséquent, il existe un fossé critique entre l'efficacité automatisée et l'expertise humaine dans l'évaluation de la compréhension poétique.

Méthodologie : Le cadre Poller

Les auteurs proposent Poller (Poetry LLM Evaluator), une méthode novatrice conçue pour combler ce fossé en exploitant les LLM pour simuler la perspective de l'auteur du poème. L'hypothèse centrale est que pour évaluer avec précision la compréhension d'un poème par un lecteur, l'évaluateur doit adopter le persona, le parcours et l'intention spécifiques du poète.

Flux de travail principal

1. Collecte de données : L'étude utilise 40 poèmes chinois modernes de haute qualité, inédits, écrits par cinq poètes professionnels.
2. Génération de la compréhension : Un LLM (GPT-4-Turbo) génère des interprétations de ces poèmes à travers huit dimensions spécialisées :
   • Contenu, Langage, Imagerie, Techniques rhétoriques, Rythme, Défamiliarisation, Pensée et Émotion, et Modernité.
3. Référence humaine : Les cinq poètes originaux évaluent ces interprétations, fournissant un score de vérité de terrain (0–100) pour chaque dimension.
4. Évaluation par LLM avec jeu de rôle : Au lieu d'agir comme un juge générique, le LLM évaluateur est incité à jouer le rôle de l'auteur spécifique du poème. Cela est réalisé en injectant des informations détaillées sur l'auteur dans l'invite (prompt), incluant :
   • Informations de base ($I_i$) : Profession, parcours et histoire personnelle.
   • Vues poétiques ($V_i$) : Les propres expériences et la philosophie de l'auteur concernant la poésie.
   • Commentaires de critiques ($C_i$) : Critiques professionnelles des œuvres publiées de l'auteur.
5. Stratégies d'invite (Prompting) : L'étude teste quatre stratégies d'invite ($P_1$ à $P_4$) pour affiner le mécanisme de jeu de rôle :
   • $P_1$ : Le modèle joue l'auteur et agit comme un juge.
   • $P_2$ : Met l'accent sur le fait que le poème a été écrit par le modèle (en tant qu'auteur) et que la compréhension provient d'un lecteur.
   • $P_3$ : Exige que le modèle déclare explicitement son rôle d'auteur avant de noter.
   • $P_4$ : Combine $P_2$ et $P_3$.

Contributions clés

1. Première investigation des LLM en tant qu'évaluateurs de poésie : Ce travail est le premier à investiguer systématiquement la capacité des LLM à évaluer la tâche de « compréhension de la poésie », allant au-delà de l'évaluation de la génération ou de la traduction.
2. La méthode Poller : La proposition d'un cadre de jeu de rôle où les LLM adoptent le persona de l'auteur en utilisant un contexte biographique et critique détaillé pour émuler le jugement humain.
3. Validation multidimensionnelle : L'étude valide la méthode à travers plusieurs LLM de premier plan (GPT-4-Turbo, DeepSeek-R1, Qwen2.5-Turbo, Claude3.5-sonnet) et huit dimensions d'évaluation distinctes.

Résultats expérimentaux

L'étude compare l'évaluation de base par LLM (sans jeu de rôle, $P_0$) contre la méthode Poller ($P_1$–$P_4$) en utilisant l'écart absolu par rapport aux scores humains comme métrique principale.

• Réduction de l'erreur : La méthode Poller réduit considérablement l'erreur d'évaluation entre les LLM et les humains.
  • GPT-4-Turbo : A obtenu une réduction de 57,37 % de l'erreur d'évaluation moyenne (de 14,38 à 6,13) en utilisant la stratégie optimale ($P_3$).
  • DeepSeek-R1 : A obtenu une réduction de 46,95 % de l'erreur moyenne (de 12,61 à 6,69).
  • Claude3.5-sonnet : A obtenu une réduction de 41,87 %.
  • Qwen2.5-Turbo : A obtenu une réduction de 23,08 %.
• Performance par dimension : La méthode a montré des améliorations exceptionnelles dans des dimensions spécifiques :
  • Techniques rhétoriques : DeepSeek-R1 utilisant $P_3$ a réduit l'erreur de 94,55 % (de 11,37 à 0,62).
  • Défamiliarisation : GPT-4-Turbo utilisant $P_3$ a réduit l'erreur de 89,53 % (de 10,98 à 1,15).
• Comparaison avec la référence (Baseline) : Sans la méthode Poller, les LLM surévaluent systématiquement les interprétations humaines (ex. : GPT-4-Turbo affiche une moyenne de 93,46 contre 79,08 pour l'humain), indiquant un manque de jugement critique. La méthode Poller rapproche les scores des LLM des références humaines.

Signification et affirmations

L'article affirme que Poller comble efficacement le fossé entre l'efficacité automatisée et l'expertise humaine dans l'évaluation de la poésie. En forçant les LLM à adopter la perspective de l'auteur via un jeu de rôle détaillé, la méthode atténue le biais et la superficialité inhérents aux évaluations standards des LLM.

Les auteurs soutiennent que :

• Les LLM actuels ne sont pas adaptés à l'évaluation de la poésie dans leur état par défaut.
• Cependant, avec le cadre Poller, les LLM deviennent des outils viables pour assister dans l'évaluation des tâches de compréhension de la poésie.
• Cette approche établit une base pour l'évaluation automatisée dans les tâches liées à la poésie, particulièrement pour la poésie chinoise moderne, en simulant le « caractère supposé » du poète pour saisir le sous-texte culturel et émotionnel.

Limites : Les auteurs notent que l'étude est limitée à la poésie chinoise moderne (forme libre) et repose sur la disponibilité d'informations spécifiques sur le parcours du poète. Bien que l'idée centrale d'adopter la perspective de l'auteur soit considérée comme transférable, l'application à d'autres formes poétiques ou textes traditionnels où les données sur l'auteur sont rares reste un défi ouvert.