Artificial Intelligence for Sentiment Analysis of Persian Poetry

Este estudo demonstra que modelos de linguagem modernos, como o GPT-4o, podem analisar eficazmente a poesia persa de Rumi e Parvin E'tesami, revelando que Rumi expressa sentimentos mais alegres e utiliza métricas mais diversificadas, validando assim o uso de IA para estudos semânticos objetivos e livres de viés humano.

O essencial

Imagine que você tem uma biblioteca antiga e mágica cheia de poemas escritos há séculos em uma língua muito bonita e complexa: o persa. Dois gigantes dessa literatura são Rumi, um poeta místico do século XIII, e Parvin E'tesami, uma poetisa brilhante do século XX. Tradicionalmente, para entender se os poemas deles são tristes, felizes ou neutros, você precisaria de um especialista em literatura, alguém que passasse anos estudando cada verso.

Mas e se pudéssemos usar a Inteligência Artificial (IA) moderna para ler esses poemas e dizer o que eles "sentem"? É exatamente isso que este estudo tentou fazer.

Aqui está a explicação do que os pesquisadores descobriram, usando uma linguagem simples e algumas analogias:

1. O Grande Experimento: Robôs vs. Poetas

Os pesquisadores pegaram milhares de poemas de Rumi e Parvin e pediram para quatro "robôs" (modelos de IA) lerem e classificarem o humor de cada um em uma escala de 1 a 5 (onde 1 é "muito triste" e 5 é "muito feliz").

• Os Robôs: Eles usaram duas famílias de robôs:
  • Os "Leitores Rápidos" (BERT): Modelos menores, treinados para entender texto. Um deles era um especialista em persa moderno (Pars-BERT).
  • Os "Gênios Criativos" (GPT): Modelos gigantes e mais avançados, como o GPT-4o, que conseguem "pensar" de forma mais complexa.

2. Quem foi o melhor?

Aqui vem a surpresa!

• O Especialista Moderno falhou: O robô treinado especificamente em persa moderno (Pars-BERT) foi o pior de todos. É como tentar ensinar um aluno que só leu jornais de hoje a entender uma carta escrita em português arcaico do século 15. Ele não conseguiu captar as nuances antigas e metafóricas de Rumi.
• O Gigante venceu: O GPT-4o foi o campeão. Embora não tenha acertado a nota exata (1, 2, 3, 4 ou 5) tão bem quanto um professor humano, ele foi muito bom em entender a direção da emoção (se o poema era feliz ou triste).
  • Analogia: Imagine que você pede para alguém descrever o sabor de um prato. O GPT-4o diz: "Isso é muito doce!" (Correto na direção), mesmo que não saiba dizer se é 4,5 ou 4,8 graus de doçura. Os outros robôs diziam: "É salgado" (Errado na direção).

3. A Descoberta Principal: Rumi é mais "Alegre"

A IA analisou os poemas e chegou a uma conclusão que combina com o que os humanos sabem, mas de uma forma nova:

• Rumi: Seus poemas tendem a ser mais felizes e energéticos.
• Parvin E'tesami: Seus poemas tendem a ser mais tristes ou melancólicos.

Isso faz sentido quando olhamos para o contexto: Rumi escrevia para festas espirituais onde as pessoas dançavam e cantavam em grupo, então seus poemas têm um ritmo que "empurra" para a alegria. Parvin, por sua vez, muitas vezes escrevia sobre lutas sociais e dores pessoais.

4. O Segredo do Ritmo (A "Música" do Poema)

Na poesia persa, o ritmo (chamado de Vazn) é como a batida de uma música. Os pesquisadores queriam saber: "Será que certos ritimos são usados apenas para poemas tristes e outros para felizes?"

• A Diversidade de Rumi: Rumi foi um mestre em usar o mesmo ritmo para contar histórias de alegria, tristeza, amor e loucura. A IA mediu isso com uma estatística chamada "Entropia" (que é como medir o quanto algo é variado). Rumi tinha uma "Entropia" altíssima.
  • Analogia: Rumi é como um maestro de orquestra que usa o mesmo violino para tocar jazz, blues e música clássica. Ele extraiu todas as emoções possíveis de cada ritmo.
• A Constância de Parvin: Parvin usava os ritimos de forma mais consistente.
  • Analogia: Parvin é como um cantor de ópera que usa uma voz específica e poderosa para expressar uma emoção profunda e constante.

5. Por que isso é importante?

Antes, para analisar a emoção de milhares de poemas antigos, você precisaria de uma equipe de acadêmicos lendo cada um por anos. Isso é lento e pode ser enviesado (dependendo de quem lê).

Este estudo mostra que a IA pode fazer esse trabalho pesado. Ela consegue:

1. Ler milhares de poemas rapidamente.
2. Identificar padrões de emoção que humanos poderiam demorar para notar.
3. Confirmar intuições literárias (como a alegria de Rumi) sem precisar de um humano para dizer "eu acho que é feliz".

Resumo Final

A Inteligência Artificial ainda não substitui o professor de literatura (os humanos ainda são melhores em entender a profundidade exata de uma metáfora antiga), mas ela se tornou uma ferramenta poderosa.

Ela nos disse que, se você quer dançar e celebrar, leia Rumi (especialmente nos ritmos que ele inventou). Se você quer refletir sobre a dor e a beleza da vida, leia Parvin. E o mais legal: um computador, sem ter coração, conseguiu "sentir" essa diferença e nos contar essa história.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Artificial Intelligence for Sentiment Analysis of Persian Poetry", apresentado em português:

Resumo Técnico: Análise de Sentimento de Poesia Persa com Inteligência Artificial

1. Problema e Contexto

O avanço dos Modelos de Linguagem Grandes (LLMs) oferece novas oportunidades para a análise de literatura, mas a aplicação dessas ferramentas em poesia clássica, especificamente persa, apresenta desafios únicos. A poesia persa é caracterizada por complexidades linguísticas, como metáforas densas, ambiguidades e estruturas arcaicas, que dificultam a análise de sentimento tradicional.
O objetivo principal deste estudo é investigar a capacidade de modelos modernos de IA (especificamente baseados em arquiteturas BERT e GPT) para:

• Compreender e analisar o sentimento em textos poéticos persas clássicos e modernos.
• Explorar correlações entre o sentimento dos poemas e seus metros poéticos (vazn).
• Determinar se é possível realizar estudos semânticos computacionais sem a necessidade de interpretação humana direta, reduzindo vieses subjetivos.

Os autores selecionaram duas obras distintas para testar essa capacidade em diferentes períodos históricos: o Divan-i Shams de Jalāl al-Dīn Muḥammad Rūmī (século XIII, clássico medieval) e o Divan-i Ashaar de Parvin E'tesami (século XX, poesia moderna).

2. Metodologia

• Conjunto de Dados:

  • Poemas extraídos do repositório online Ganjoor.
  • Dados incluem título, versos e o metro poético correspondente.
  • Os poemas foram concatenados e tokenizados. Poemas que excediam o limite de tokens foram divididos em blocos sequenciais, com as pontuações de sentimento sendo médias para obter uma pontuação global.

• Modelos de Linguagem Utilizados (Inferência Zero-Shot):

  • BERT Multilingual: Modelo pré-treinado em 102 idiomas, sem ajuste específico para persa.
  • Pars-BERT: Uma versão monolíngue do BERT, ajustada (fine-tuned) especificamente para o persa usando dados modernos (Wikipédia, comentários de e-commerce, notícias).
  • GPT-4o e GPT-4o-mini: Modelos generativos multimodais da OpenAI, acessados via API com prompts personalizados para retornar uma pontuação numérica de 1 a 5.

• Sistema de Pontuação de Sentimento:

  • Escala de 1 a 5: 1 (triste/negativo extremo) a 5 (feliz/positivo extremo), com 3 sendo neutro.

• Validação Humana (Ground Truth):

  • 100 poemas de Rumi foram avaliados por 4 anotadores (2 especialistas em humanidades e 2 com conhecimento geral de literatura persa).
  • Para estabelecer uma "Verdade Terrena" (Ground Truth), compararam-se quatro estratégias de agregação: Média, Mediana, Moda e o Modelo Dawid-Skene.
  • A Média foi selecionada como a melhor estratégia, validada pelo Quadratic Weighted Kappa (QWK) médio contra os anotadores individuais.
  • A consistência humana foi medida pelo Krippendorff's Alpha (0.6), indicando um acordo moderado e a alta subjetividade da tarefa.

• Métricas de Análise:

  • Kappa de Fleiss: Para medir a reprodutibilidade dos modelos.
  • QWK e Precisão Absoluta: Para comparar os modelos contra a Ground Truth humana.
  • Entropia: Calculada para cada metro poético para quantificar a diversidade de sentimentos expressos dentro de uma mesma estrutura métrica.
  • Desvio Padrão e Polarização: Para analisar a variabilidade emocional geral das obras.

3. Resultados Principais

• Desempenho dos Modelos:

  • GPT-4o foi o modelo que melhor se alinhou com as avaliações humanas (QWK de 0.60), superando significativamente os modelos baseados em BERT.
  • Pars-BERT performou pior que o BERT Multilingual (QWK de 0.0006 vs 0.0467). Isso sugere que o ajuste fino (fine-tuning) em dados modernos (redes sociais, e-commerce) degradou a capacidade do modelo de generalizar para a estrutura arcaica e metafórica da poesia clássica de Rumi (Out-of-Distribution shift).
  • Embora a precisão exata de classificação (acerto da nota exata 1-5) tenha sido baixa para todos (cerca de 33% para o GPT-4o, comparável à variação entre humanos), o GPT-4o demonstrou alta capacidade em identificar a polaridade direcional (positivo vs. negativo).

• Análise Comparativa (Rumi vs. Parvin E'tesami):

  • Sentimento Geral: Todos os modelos concordaram que os poemas de Rumi expressam sentimentos mais felizes (pontuações médias mais altas) em comparação aos de Parvin E'tesami.
  • Uso de Metros:
    • Rumi demonstrou uma maior diversidade de sentimentos dentro de seus metros. A entropia de uso de metros em Rumi foi significativamente maior (atingindo ~2.25 em alguns casos, próximo ao máximo teórico de 2.32), indicando que ele usou os mesmos metros para expressar uma vasta gama de emoções.
    • Parvin E'tesami mostrou menor entropia e uma tendência mais consistente para sentimentos tristes ou neutros (pontuações médias abaixo de 3 na maioria dos metros).
  • Variabilidade: O desvio padrão dos scores de sentimento em Rumi foi maior, indicando uma maior oscilação emocional em sua obra, enquanto a obra de Parvin manteve um tom mais estável.

4. Contribuições Chave

1. Validação de LLMs para Humanidades Digitais: Demonstra que LLMs generativos (como GPT-4o) podem realizar análises semânticas complexas em poesia persa clássica, alcançando um alinhamento com especialistas humanos que supera modelos discriminativos menores (BERT).
2. Descoberta sobre Fine-tuning: Evidencia que o ajuste fino em dados modernos pode ser prejudicial para a análise de textos clássicos arcaicos, alertando para a necessidade de corpora de treinamento específicos para literatura histórica.
3. Correlação Métrica-Sentimento: Estabelece uma metodologia computacional para correlacionar estruturas métricas (vazn) com tons emocionais, confirmando computacionalmente intuições literárias sobre como Rumi utilizava ritmos repetitivos para criar energia espiritual e alegria.
4. Redução de Viés: Propõe um fluxo de trabalho onde a análise de grandes volumes de texto poético pode ser feita sem intervenção humana direta para cada item, reduzindo o viés de interpretação individual em estudos em larga escala.

5. Significância e Conclusão

O estudo conclui que, embora os LLMs ainda não consigam replicar a precisão exata da graduação humana em escalas ordinais finas (devido à ambiguidade inerente da poesia), eles são ferramentas eficazes para classificação macro de sentimento e análise de tendências em grandes corpora literários.

A pesquisa marca um passo importante para a Humanidade Digital, provando a viabilidade de estudos automáticos em línguas não-inglesas e literaturas complexas. Os resultados sugerem que a superioridade de Rumi na utilização de metros para expressar diversidade emocional pode ser quantificada objetivamente por IA. O trabalho destaca a necessidade urgente de desenvolver modelos treinados especificamente em herança literária clássica para superar o "teto de desempenho" atual causado pela falta de dados de treinamento representativos para textos arcaicos e metafóricos.