Artificial Intelligence for Sentiment Analysis of Persian Poetry

Cette étude démontre que les modèles de langage modernes, en particulier GPT-4o, peuvent analyser efficacement la poésie persane de Rumi et Parvin E'tesami pour révéler des différences de sentiment et de métrique, offrant ainsi une méthode objective et dénuée de biais humains pour l'analyse sémantique littéraire.

L'essentiel

Voici une explication simple et imagée de cette recherche, comme si nous en discutions autour d'un café.

🎭 Le Défi : Faire lire la poésie persane à un robot

Imaginez que vous avez deux bibliothèques immenses remplies de poèmes anciens. L'une contient les œuvres de Rûmi, un mystique du XIIIe siècle dont les vers sont comme des vagues d'émotion, et l'autre celles de Parvin E'tesami, une poétesse moderne du XXe siècle dont les mots sont plus sombres et mélancoliques.

Le but de cette étude ? Demander à des Intelligences Artificielles (IA) très avancées (comme des "super-lecteurs" appelés GPT et BERT) de lire ces poèmes et de dire : "Est-ce que ce poème est triste, joyeux, ou neutre ?"

C'est un peu comme demander à un robot de goûter un plat épicé et de vous dire s'il est "très piquant" ou "juste un peu piquant", alors qu'il n'a jamais mangé de nourriture humaine.

🤖 Les Outils : Des "Super-Lecteurs" de différentes tailles

Les chercheurs ont utilisé quatre types de robots lecteurs :

1. Deux petits robots (BERT) : Ils sont rapides mais ont lu beaucoup de textes modernes (comme des tweets ou des articles de journaux). L'un d'eux, Pars-BERT, a même été entraîné spécifiquement sur le persan moderne.
2. Deux géants (GPT-4o) : Ce sont des cerveaux artificiels énormes qui ont lu presque tout Internet, y compris des textes dans de nombreuses langues. Ils sont capables de comprendre des nuances complexes.

🔍 Ce qu'ils ont découvert (Les surprises)

Voici les résultats principaux, expliqués simplement :

1. Le géant gagne, le petit perd
C'est la grande surprise ! On pensait que le petit robot Pars-BERT, entraîné spécifiquement sur le persan, serait le meilleur. Mais non ! Il a fait pire que le robot généraliste.

• L'analogie : C'est comme si vous emmeniez un expert en cuisine moderne (Pars-BERT) pour juger un plat médiéval très complexe. Il a essayé d'appliquer les règles de la cuisine d'aujourd'hui, et ça n'a pas marché. Le géant (GPT-4o), qui a lu de tout, a mieux compris le "goût" ancien et poétique.

2. Rûmi est plus joyeux que Parvin
Peu importe le robot utilisé, tous ont été d'accord sur un point : les poèmes de Rûmi sont globalement plus heureux et énergiques que ceux de Parvin E'tesami, qui sont plus tristes.

• L'analogie : Si Rûmi est une fête de danse où tout le monde rit, Parvin est une promenade sous la pluie où l'on réfléchit profondément. Les robots ont bien senti cette différence d'ambiance.

3. La magie des rythmes (les "Mètres")
En poésie persane, les vers ont un rythme précis (comme une musique). Les chercheurs ont demandé aux robots : "Est-ce que certains rythmes sont toujours tristes ou toujours joyeux ?"

• Le résultat chez Rûmi : Il est un maître du rythme. Il utilise les mêmes rythmes pour exprimer la joie, la tristesse, la colère ou l'amour. C'est comme un chef d'orchestre qui peut jouer une même partition pour faire pleurer ou rire le public. Son "diversité émotionnelle" est énorme.
• Le résultat chez Parvin : Elle utilise les rythmes de manière plus stable. Ses poèmes restent souvent dans une gamme de tristesse ou de sérieux.

4. Les robots ne sont pas parfaits (mais ils sont impressionnants)
Si on demande aux robots de noter un poème de 1 à 5 (1 = très triste, 5 = très joyeux), ils ne sont pas toujours d'accord avec les humains. Parfois, un humain dit "4" et le robot dit "3".

• Pourquoi ? Parce que la poésie est subjective. Même deux humains experts ne sont pas toujours d'accord !
• Le verdict : Même si les robots ne sont pas parfaits pour le détail, ils sont excellents pour voir la tendance générale. Ils peuvent dire "C'est plutôt joyeux" sans qu'un humain ait besoin de lire chaque mot.

🌟 Pourquoi est-ce important ?

Avant, pour analyser des milliers de poèmes anciens, il fallait des années de travail pour des humains. Aujourd'hui, cette étude montre qu'on peut utiliser l'IA pour explorer la littérature persane à grande échelle.

C'est comme passer de la lecture d'un seul livre à la lecture de toute une bibliothèque en quelques secondes. Cela ouvre la porte à de nouvelles découvertes sur l'histoire, la culture et les émotions humaines, sans que l'IA ait besoin de "ressentir" les émotions, mais simplement en les calculant avec une grande précision.

En résumé : L'IA est devenue un excellent assistant pour les chercheurs en littérature. Elle ne remplace pas l'âme du poète, mais elle nous aide à mieux comprendre la carte des émotions que ces poètes ont laissée derrière eux.

Résumé technique

Voici un résumé technique détaillé de l'article de prépublication « Artificial Intelligence for Sentiment Analysis of Persian Poetry » en français.

Titre : Intelligence Artificielle pour l'Analyse de Sentiment de la Poésie Persane

1. Problématique et Contexte

L'analyse de sentiment dans la littérature, et plus spécifiquement dans la poésie, présente des défis uniques en raison de la complexité linguistique, de l'usage de métaphores, de l'ambiguïté (amphibologie) et de la structure rythmique (mètre ou vazn). Bien que les modèles d'IA aient fait des progrès dans l'analyse de textes modernes, leur application à la poésie classique persane, riche en structures archaïques et en nuances culturelles, reste sous-exploitée.
L'objectif principal de cette étude est d'évaluer la capacité des grands modèles de langage (LLM) modernes (basés sur les architectures BERT et GPT) à :

• Comprendre et analyser le sentiment de la poésie persane classique.
• Identifier les corrélations potentielles entre le sentiment d'un poème et sa structure métrique.
• Réduire les biais humains dans l'interprétation littéraire par une analyse computationnelle automatisée.

Les auteurs ont sélectionné deux corpus distincts pour couvrir un spectre temporel large :

• Jalāl al-Dīn Muḥammad Rūmī (Rumi) : Divan-i Shams (époque médiévale), connu pour sa richesse métrique (plus de 50 mètres, dont 13 inventés par Rumi) et son usage de métaphores complexes.
• Parvin E'tesami : Divan-i Ashaar (époque moderne, XXe siècle), utilisant des mètres classiques mais avec une langue plus contemporaine.

2. Méthodologie

A. Préparation des Données

• Source : Les poèmes ont été extraits du dépôt en ligne Ganjoor.
• Prétraitement : Les vers d'un même poème ont été concaténés, tokenisés et, si nécessaire, découpés en segments pour respecter les limites de longueur des modèles (512 tokens pour BERT, 128k tokens pour GPT).

B. Modèles Utilisés (Inférence Zero-Shot)
Quatre modèles transformer ont été testés sans fine-tuning spécifique sur la poésie persane :

1. BERT Multilingual (Uncased) : Modèle pré-entraîné sur 102 langues.
2. Pars-BERT (Uncased) : Version monolingue fine-tunée sur des corpus persans modernes (Wikipédia, commentaires e-commerce Digikala, SnappFood).
3. GPT-4o-mini : Version légère de GPT-4o.
4. GPT-4o : Modèle multimodal avancé d'OpenAI.

• Prompt : Les modèles GPT ont reçu une instruction stricte pour retourner un score numérique unique de 1 à 5 (1 = triste, 5 = heureux).

C. Évaluation et Vérité Terrain (Ground Truth)

• Annotation Humaine : 100 poèmes de Rumi ont été annotés par 4 évaluateurs (2 spécialistes en humanités, 2 connaisseurs généraux) sur une échelle de 1 à 5.
• Validation : L'accord inter-annotateurs a été mesuré via l'Alpha de Krippendorff (0,6, indiquant un accord modéré, ce qui confirme la subjectivité de la tâche).
• Agrégation : Quatre stratégies (Moyenne, Médiane, Mode, Modèle Dawid-Skene) ont été comparées. La moyenne a été sélectionnée comme vérité terrain la plus fiable (QWK moyen ~0,78).
• Métriques d'évaluation : Accord pondéré quadratique (Quadratic Weighted Kappa - QWK) et précision absolue.

D. Analyse Statistique Avancée

• Entropie : Calculée pour chaque mètre afin de mesurer la diversité des sentiments exprimés (une entropie élevée indique une grande variété de sentiments sous un même mètre).
• Polarisation et Écart-type : Analyse de la variabilité des scores de sentiment par rapport à la moyenne globale.

3. Résultats Clés

A. Performance des Modèles

• GPT-4o s'est révélé être le modèle le plus performant, avec un QWK de 0,60 par rapport à la vérité terrain humaine. Bien que la précision exacte (33 %) semble faible, elle est comparable à l'accord entre les annotateurs humains (47-61 %), ce qui suggère que la tâche est intrinsèquement ambiguë.
• Pars-BERT a surpris en performant moins bien que le modèle BERT Multilingual de base (QWK ~0,0006 vs 0,0467). Les auteurs attribuent cela à un décalage de domaine (domain shift) : le fine-tuning sur des textes modernes (réseaux sociaux, e-commerce) a dégradé la capacité du modèle à comprendre les structures archaïques de Rumi.
• GPT-4o a mieux capturé la polarité directionnelle (positif/négatif) que les modèles encodeurs, même si l'intensité exacte du sentiment restait difficile à prédire.

B. Comparaison des Poètes (Rumi vs Parvin E'tesami)

• Sentiment Global : Tous les modèles ont identifié que les poèmes de Rumi expriment des sentiments plus heureux que ceux de Parvin E'tesami.
• Utilisation des Mètres :
  • Rumi utilise certains mètres (ex: C12, R24) pour exprimer des sentiments joyeux à plus de 60 %.
  • Parvin E'tesami, en moyenne, utilise ses mètres pour exprimer des sentiments tristes (scores moyens < 3).
• Diversité Émotionnelle (Entropie) : L'entropie des sentiments par mètre est significativement plus élevée chez Rumi (atteignant ~2,25, proche du maximum théorique) que chez Parvin E'tesami (max ~1,75). Cela confirme que Rumi utilise les mètres pour exprimer une gamme émotionnelle beaucoup plus large.
• Variabilité : L'écart-type des scores de sentiment est plus élevé chez Rumi, indiquant une plus grande variabilité émotionnelle, tandis que le travail de Parvin E'tesami montre une tonalité émotionnelle plus stable et cohérente.

4. Contributions et Signification

• Validation des LLM en Humanités Numériques : L'étude démontre que les LLM génératifs (GPT-4o) peuvent effectuer des analyses sémantiques complexes sur la poésie persane classique sans intervention humaine directe, validant leur utilité pour les études à grande échelle.
• Mise en garde sur le Fine-Tuning : Un apport méthodologique crucial est la démonstration que le fine-tuning sur des données modernes (Out-of-Distribution) peut nuire à la performance sur des textes archaïques, un avertissement important pour les chercheurs en linguistique computationnelle.
• Nouvelle Perspective Métrique : L'étude fournit une preuve computationnelle de l'intuition littéraire selon laquelle Rumi maîtrise l'art d'utiliser les mètres pour créer des ambiances spirituelles et émotionnelles variées, souvent liées à la pratique soufie (Tasawwuf).
• Réduction des Biais : En automatisant l'analyse, la méthode réduit les biais d'interprétation individuelle, bien que la subjectivité inhérente à la poésie limite la précision absolue.

5. Conclusion

Bien que les modèles actuels ne puissent pas encore reproduire parfaitement les nuances d'intensité émotionnelle humaine (en raison de la complexité des métaphores et du manque de données d'entraînement classiques), ils sont suffisamment robustes pour identifier des tendances macroscopiques et des corrélations structurelles. L'étude ouvre la voie à de nouvelles recherches en humanités numériques, en particulier pour l'analyse de littératures non-anglophones complexes, tout en soulignant la nécessité de développer des modèles pré-entraînés spécifiquement sur le patrimoine littéraire classique.