Artificial Intelligence for Sentiment Analysis of Persian Poetry

Este estudio demuestra que los modelos de lenguaje modernos, en particular GPT-4o, pueden analizar eficazmente la poesía persa de Rumi y Parvin E'tesami, revelando que las obras de Rumi expresan sentimientos más alegres y utilizan una mayor variedad de metros poéticos para transmitir emociones.

Lo esencial

Imagina que tienes dos grandes cajas de tesoros literarios: una llena de poemas antiguos y místicos del famoso Rumi (del siglo XIII) y otra con poemas más modernos de Parvin E'tesami (del siglo XX). Ambos son maestros del idioma persa, pero sus obras tienen "sabores" emocionales muy diferentes.

El problema es que leer y entender miles de poemas para detectar si son tristes, alegres o neutrales es una tarea monumental para un humano. Aquí es donde entran los Inteligencias Artificiales (IA) de este estudio, que actúan como unos "detectives digitales" muy avanzados.

Aquí te explico qué hicieron los investigadores, usando analogías sencillas:

1. Los Detectives (Los Modelos de IA)

Los autores contrataron a cuatro "detectives" digitales para leer los poemas y decirles: "¿Qué tan feliz o triste es este poema?".

• Los detectives pequeños (BERT): Son como estudiantes que han leído mucho, pero quizás no entienden bien los matices del persa antiguo. Uno de ellos (Pars-BERT) estudió específicamente persa moderno (como noticias y redes sociales), pero resultó ser un poco torpe con los poemas antiguos de Rumi.
• Los detectives gigantes (GPT-4o): Son como sabios con una memoria inmensa que han leído casi todo internet. Estos fueron los mejores. Aunque no son perfectos, entendieron la "vibra" emocional de los poemas mucho mejor que los pequeños.

2. La Prueba de Fuego (Comparación con Humanos)

Para ver si los detectives eran buenos, los investigadores les pidieron a 4 humanos expertos que calificaran 100 poemas de Rumi del 1 (muy triste) al 5 (muy feliz).

• El resultado sorprendente: ¡Ni siquiera los humanos estaban de acuerdo! A veces uno decía "3" (neutral) y otro "5" (feliz). Esto demuestra que la poesía es subjetiva y difícil.
• El ganador: El detective gigante GPT-4o fue el que más se pareció a la opinión general de los humanos. Aunque no acertó el número exacto siempre, sí acertó si el poema era feliz o triste. Los detectives pequeños fallaron mucho más.

3. El Ritmo de la Música (Los "Metros" o Vazn)

En la poesía persa, el ritmo (llamado vazn) es como la partitura musical. Los investigadores querían saber: ¿El ritmo de la canción determina si la letra es feliz o triste?

• Rumi y la Fiesta: Descubrieron que Rumi usaba ciertos ritmos rápidos y repetitivos (como un tambor en una fiesta) para crear poemas muy alegres y energéticos. De hecho, sus poemas eran, en general, más felices que los de Parvin.
• Parvin y la Melancolía: Por otro lado, los poemas de Parvin E'tesami tendían a ser más tristes o melancólicos, independientemente del ritmo que usara.
• La Magia de Rumi: Lo más impresionante fue que Rumi usaba los mismos ritmos para expresar muchas emociones diferentes (tristeza, alegría, enojo, paz). Era como un chef que usa el mismo ingrediente (el ritmo) para hacer desde un postre dulce hasta un plato picante. Parvin, en cambio, usaba los ritmos de una manera más consistente y menos variada.

4. ¿Qué aprendimos de todo esto?

• La IA puede leer poesía: Por primera vez, hemos demostrado que una computadora puede analizar la emoción de la poesía persa clásica sin necesidad de que un humano lea cada línea. Es como tener un traductor que entiende no solo las palabras, sino el "sentimiento".
• No son perfectos: La IA todavía no entiende la poesía tan bien como un humano experto, especialmente con metáforas muy antiguas. Es como si la IA entendiera la melodía, pero a veces se perdiera en la letra profunda.
• El futuro: Esto abre la puerta para estudiar miles de libros de poesía en segundos, encontrando patrones que los humanos tardaríamos años en descubrir.

En resumen:
Los investigadores usaron una IA muy inteligente (GPT-4o) para escuchar el "corazón" de los poemas de Rumi y Parvin. Descubrieron que Rumi era más alegre y musicalmente diverso, mientras que Parvin era más triste y constante. Y lo más importante: ¡la computadora pudo hacerlo sola, sin ayuda humana, confirmando lo que los expertos ya sospechaban pero con datos fríos y objetivos!

Resumen técnico

Aquí presento un resumen técnico detallado del artículo "Artificial Intelligence for Sentiment Analysis of Persian Poetry" (Inteligencia Artificial para el Análisis de Sentimiento de la Poesía Persa), estructurado según los puntos solicitados.

1. Planteamiento del Problema

El análisis de sentimiento en textos literarios, y específicamente en poesía, representa un desafío significativo para la Inteligencia Artificial debido a la presencia de metáforas, ambigüedades lingüísticas y complejidades culturales que van más allá de las técnicas estándar de procesamiento de lenguaje natural (NLP).

Hasta el momento de este estudio, no existía investigación previa que aplicara Modelos de Lenguaje Grandes (LLM) modernos, como BERT y GPT, para realizar análisis de sentimiento en poesía clásica persa. El objetivo principal era determinar si estos modelos podían:

• Comprender las complejidades semánticas de la poesía persa.
• Establecer correlaciones entre el sentimiento de un poema y su estructura métrica (vazn).
• Realizar estudios semánticos computacionales sin depender exclusivamente de interpretaciones humanas, reduciendo así los sesgos potenciales.

El estudio se centró en dos poetas prominentes con estilos y épocas distintas: Jalāl al-Dīn Muḥammad Rūmī (siglo XIII, poesía clásica/mística) y Parvin E'tesami (siglo XX, poesía moderna), utilizando sus obras Divan-i Shams y Divan-i Ashaar, respectivamente.

2. Metodología

La investigación siguió un enfoque sistemático dividido en varias etapas clave:

• Preparación del Dataset: Se extrajeron poemas de los repositorios en línea de Ganjoor. El conjunto de datos incluía títulos, versos y la métrica (vazn) correspondiente.
• Sistema de Puntuación de Sentimiento: Se estableció una escala numérica de 1 a 5 para evaluar el tono emocional:
  • 1: Triste/Altamente negativo.
  • 3: Neutral.
  • 5: Feliz/Altamente positivo.
• Preprocesamiento: Los versos de cada poema se concatenaron y tokenizaron. Para los modelos con límites de longitud de entrada (como BERT), los poemas largos se dividieron en fragmentos secuenciales, y las puntuaciones se promediaron para obtener una puntuación global.
• Modelos de Lenguaje Utilizados: Se emplearon cuatro modelos en configuración zero-shot (sin ajuste fino específico para la tarea):
  1. BERT Multilingual: Modelo preentrenado en 102 idiomas.
  2. Pars-BERT: Versión monolingüe de BERT ajustada finamente en corpus persas modernos (Wikipedia, comentarios de comercio electrónico, noticias).
  3. GPT-4o-mini: Versión ligera del modelo multimodal de OpenAI.
  4. GPT-4o: Modelo avanzado multimodal con gran ventana de contexto (128k tokens), permitiendo analizar poemas completos sin fragmentación.
• Validación Humana (Ground Truth): Se seleccionaron 100 poemas de Rumi para ser evaluados por 4 humanos (2 expertos en humanidades y 2 con conocimiento general de literatura persa). Para establecer una "Verdad Terrena" robusta, se compararon cuatro estrategias de agregación (Media, Mediana, Moda y el modelo Dawid-Skene). La Media demostró la mayor alineación (Kappa Ponderado Cuadrático promedio de ~0.78) y se utilizó como referencia.
• Métricas de Evaluación:
  • Kappa de Fleiss: Para medir la repetibilidad de los modelos.
  • Kappa Ponderado Cuadrático (QWK): Para medir la alineación entre los modelos y la Verdad Terrena humana.
  • Entropía: Para cuantificar la diversidad de sentimientos expresados dentro de una métrica específica.
  • Desviación Estándar y Polarización: Para analizar la variabilidad emocional global.

3. Contribuciones Clave

• Primera aplicación de LLMs modernos: Es el primer estudio que utiliza arquitecturas BERT y GPT para el análisis de sentimiento en poesía clásica persa.
• Análisis Métrico-Sentimental: Se establece un marco para correlacionar la métrica poética (vazn) con el sentimiento, demostrando que ciertas estructuras rítmicas están asociadas consistentemente con tonos emocionales específicos.
• Evaluación Comparativa de Modelos: Se demuestra que los modelos generativos grandes (GPT) superan significativamente a los modelos codificadores (BERT) en tareas de comprensión literaria compleja, incluso cuando estos últimos están ajustados finamente en el idioma objetivo.
• Descubrimiento de Sesgo de Dominio: Se revela que el ajuste fino (fine-tuning) en datos modernos (redes sociales, noticias) puede degradar el rendimiento de los modelos al analizar textos arcaicos y metafóricos, un hallazgo crucial para la adaptación de LLMs en humanidades digitales.

4. Resultados Principales

• Rendimiento de los Modelos:
  • GPT-4o fue el modelo más preciso, alcanzando un QWK de 0.60 frente a la Verdad Terrena humana, superando a los modelos BERT (que obtuvieron QWK < 0.05) y a Pars-BERT.
  • Pars-BERT rindió peor que BERT Multilingual, confirmando que el ajuste en datos modernos no es adecuado para textos clásicos.
  • Aunque la precisión exacta (coincidencia de número exacto 1-5) fue baja (~33% para GPT-4o), esto se atribuye a la subjetividad inherente de la poesía (los humanos también coincidieron solo un 47-61% entre sí). Sin embargo, GPT-4o fue muy efectivo identificando la polaridad direccional (positivo vs. negativo).
• Comparación de Poetas:
  • Rumi mostró consistentemente sentimientos más felices (puntuaciones más altas) que Parvin E'tesami, independientemente del modelo utilizado.
  • Parvin E'tesami tendió a expresar sentimientos predominantemente tristes o melancólicos, con puntuaciones promedio por debajo de 3 en la mayoría de sus métricas.
• Análisis de Métricas (Vazn):
  • Rumi utilizó las métricas para expresar una gama más amplia de emociones. La entropía del uso de métricas en Rumi fue significativamente mayor (hasta ~2.25, cerca del máximo teórico), indicando una diversidad emocional superior.
  • En contraste, la entropía máxima en Parvin E'tesami fue menor (~1.75), sugiriendo un uso más consistente y menos variado de las métricas para transmitir emociones.
  • Métricas específicas como R24 y R34 en Rumi se asociaron fuertemente con sentimientos felices (>60% de poemas positivos), alineándose con la teoría de que estas métricas rítmicas se diseñaron para generar energía espiritual en reuniones sufíes.
• Variabilidad Emocional: La desviación estándar de los sentimientos en Rumi fue mayor, lo que indica una mayor variabilidad emocional en su obra en comparación con la consistencia tonal de Parvin E'tesami.

5. Significado e Impacto

Este estudio demuestra la viabilidad de utilizar LLMs para realizar análisis semánticos y conceptuales a gran escala en literatura no occidental y clásica, sin necesidad de intervención humana directa para cada interpretación.

• Humanidades Digitales: Abre nuevas oportunidades para estudios multilingües automatizados, permitiendo identificar patrones emocionales y estructurales que podrían pasar desapercibidos en análisis manuales tradicionales.
• Limitaciones y Futuro: Aunque los resultados son prometedores, el estudio señala un "techo de rendimiento" actual debido a la falta de datos de entrenamiento representativos de la literatura clásica y metafórica en los corpus de los modelos.
• Implicación Metodológica: Se advierte sobre el peligro de ajustar finamente modelos en datos modernos para tareas de literatura clásica, sugiriendo que la arquitectura del modelo (capacidad generativa y ventana de contexto) es más crítica que el ajuste fino en el idioma para este tipo de tareas complejas.

En conclusión, el trabajo valida que la IA puede replicar conclusiones cualitativas sobre la diversidad emocional y el uso de métricas en la poesía persa, marcando el inicio de una nueva era en el análisis computacional de obras literarias complejas.