Resumo Técnico: Poller – Avaliando a Compreensão de Poesia com Grandes Modelos de Linguagem

Declaração do Problema

Os métodos tradicionais de avaliação automática (ex: BLEU, ROUGE) são inadequados para a poesia chinesa moderna devido à dependência do gênero em linguagem figurada, ritmo, imagética e nuances culturais. Embora a avaliação humana permaneça o padrão ouro, ela é dispendiosa, demorada e impraticável para conjuntos de dados de grande escala. Tentativas anteriores de usar Grandes Modelos de Linguagem (LLMs) como avaliadores para tarefas relacionadas à poesia produziram resultados insatisfatórios; os LLMs frequentemente exibem um viés significativo, como favorecer seu próprio texto gerado ou focar em características linguísticas superficiais enquanto ignoram o contexto cultural profundo e a intenção autoral. Consequentemente, existe uma lacuna crítica entre a eficiência automatizada e a expertise humana na avaliação da compreensão poética.

Metodologia: O Framework Poller

Os autores propõem o Poller (Poetry LLM Evaluator), um novo método projetado para preencher essa lacuna, aproveitando os LLMs para simular a perspectiva do autor do poema. A hipótese central é que, para avaliar com precisão a compreensão de um poema por um leitor, o avaliador deve adotar o persona, o histórico e a intenção específicos do poeta.

Fluxo de Trabalho Principal

1. Coleta de Dados: O estudo utiliza 40 poemas modernos chineses de alta qualidade e não publicados, escritos por cinco poetas profissionais.
2. Geração de Compreensão: Um LLM (GPT-4-Turbo) gera interpretações desses poemas através de oito dimensões especializadas:
   • Conteúdo, Linguagem, Imagética, Técnicas Retóricas, Ritmo, Estranhamento (Defamiliarização), Pensamento & Emoção, e Modernidade.
3. Benchmark Humano: Os cinco poetas originais avaliam essas interpretações, fornecendo uma pontuação de referência (ground-truth) de 0 a 100 para cada dimensão.
4. Avaliação por LLM com Role-Playing: Em vez de atuar como um juiz genérico, o LLM avaliador é instruído a desempenhar o papel do autor específico do poema. Isso é alcançado injetando informações detalhadas do autor no prompt, incluindo:
   • Informações Básicas ($I_i$): Ocupação, histórico e trajetória pessoal.
   • Visões Poéticas ($V_i$): As próprias experiências e filosofia do autor em relação à poesia.
   • Comentários de Críticos ($C_i$): Críticas profissionais de suas obras publicadas.
5. Estratégias de Prompt: O estudo testa quatro estratégias de prompt ($P_1$ a $P_4$) para refinar o mecanismo de role-playing:
   • $P_1$: O modelo interpreta o autor e atua como um juiz.
   • $P_2$: Enfatiza que o poema foi escrito pelo próprio modelo (como o autor) e que a compreensão provém de um leitor.
   • $P_3$: Exige que o modelo declare explicitamente seu papel como autor antes de atribuir a pontuação.
   • $P_4$: Combina $P_2$ e $P_3$.

Principais Contribuições

1. Primeira Investigação de LLMs como Avaliadores de Poesia: Este trabalho é o primeiro a investigar sistematicamente a capacidade dos LLMs para a tarefa de avaliar a "compreensão de poesia", indo além da avaliação de geração ou tradução.
2. O Método Poller: A proposta de um framework de role-playing onde os LLMs adotam o persona do autor usando contexto biográfico e crítico detalhado para emular o julgamento humano.
3. Validação Multidimensional: O estudo valida o método através de múltiplos LLMs mainstream (GPT-4-Turbo, DeepSeek-R1, Qwen2.5-Turbo, Claude3.5-sonnet) e oito dimensões distintas de avaliação.

Resultados Experimentais

O estudo compara a avaliação baseline do LLM (sem role-playing, $P_0$) contra o método Poller ($P_1$–$P_4$), utilizando o desvio absoluto em relação às pontuações humanas como a métrica principal.

• Redução de Erro: O método Poller reduz significativamente o erro de avaliação entre LLMs e humanos.
  • GPT-4-Turbo: Alcançou uma redução de 57,37% no erro médio de avaliação (de 14,38 para 6,13) usando a estratégia ótima ($P_3$).
  • DeepSeek-R1: Alcançou uma redução de 46,95% no erro médio (de 12,61 para 6,69).
  • Claude3.5-sonnet: Alcançou uma redução de 41,87%.
  • Qwen2.5-Turbo: Alcançou uma redução de 23,08%.
• Desempenho por Dimensão: O método mostrou melhorias excepcionais em dimensões específicas:
  • Técnicas Retóricas: O DeepSeek-R1 usando $P_3$ reduziu o erro em 94,55% (de 11,37 para 0,62).
  • Estranhamento (Defamiliarização): O GPT-4-Turbo usando $P_3$ reduziu o erro em 89,53% (de 10,98 para 1,15).
• Comparação com Baseline: Sem o método Poller, os LLMs consistentemente atribuíram pontuações excessivamente altas às interpretações humanas (ex: GPT-4-Turbo média de 93,46 vs. 79,08 humano), indicando falta de julgamento crítico. O método Poller aproximou as pontuações dos LLMs dos benchmarks humanos.

Significância e Alegações

O artigo afirma que o Poller efetivamente preenche a lacuna entre a eficiência automatizada e a expertise humana na avaliação de poesia. Ao forçar os LLMs a adotar a perspectiva do autor através de um role-playing detalhado, o método mitiga o viés e a superficialidade inerentes às avaliações padrão de LLM.

Os autores afirmam que:

• Os LLMs atuais não são adequados para a avaliação de poesia em seu estado padrão.
• No entanto, com o framework Poller, os LLMs tornam-se ferramentas viáveis para auxiliar na avaliação de tarefas de compreensão de poesia.
• A abordagem estabelece uma base para a avaliação automatizada em tarefas relacionadas à poesia, particularmente para a poesia chinesa moderna, ao simular o "personagem assumido" do poeta para captar o subtexto cultural e emocional.

Limitações: Os autores observam que o estudo é limitado à poesia chinesa moderna (forma livre) e depende da disponibilidade de informações específicas sobre o histórico do poeta. Embora a ideia central de adotar a perspectiva do autor seja considerada transferível, aplicar isso a outras formas poéticas ou textos tradicionais onde os dados do autor são escassos permanece um desafio em aberto.