Can ChatGPT Really Understand Modern Chinese Poetry?

Título: ChatGPT Realmente Compreende a Poesia Chinesa Moderna?

1. Problema e Motivação

Embora os Grandes Modelos de Linguagem (LLMs), como o ChatGPT, tenham demonstrado capacidades notáveis na geração e tradução de poesia, a questão fundamental de se eles realmente compreendem a poesia permanece inexplorada.

• Limitação das Pesquisas Anteriores: Estudos anteriores focaram apenas na análise dos resultados de saída (geração/tradução) sem abordar as questões subjacentes de compreensão.
• A Lacuna: A compreensão da poesia (especialmente a moderna) é um pré-requisito para tarefas relacionadas à poesia. Sem uma base sólida de compreensão, avanços em geração e tradução permanecem limitados.
• Objetivo: Investigar se o ChatGPT possui a capacidade de interpretar a intenção original e as nuances da poesia chinesa moderna, indo além da simples manipulação de texto.

2. Metodologia: Framework ECUMP

Os autores propõem um framework abrangente chamado ECUMP (Evaluation of ChatGPT's Understanding of Modern Poetry), que consiste em quatro etapas principais:

1. Identificação de Dimensões de Avaliação:
   Em colaboração com oito poetas profissionais modernos, foram definidas cinco dimensões críticas para a compreensão poética:

   • Conteúdo: O que o poema descreve.
   • Métodos de Expressão: Inclui cinco sub-aspectos: Linguagem, Imagens (imagery), Técnicas Retóricas, Ritmo e Defamiliarização (estranhamento).
   • Pensamento e Emoção: Ideias e sentimentos transmitidos.
   • Modernidade: A consciência contemporânea ou sensibilidade moderna embutida no poema.
   • Poeticidade: Uma qualidade subjetiva que encapsula a essência poética. Para medir isso, o modelo deve identificar a "frase mais poética" do poema.

2. Design de Prompt:
   Desenvolvimento e refinamento de prompts para instruir o ChatGPT a interpretar poemas nessas cinco dimensões, solicitando exemplos e explicações específicas para cada uma. Um ajuste crucial foi adicionar a nota "este é um poema moderno completo" para evitar que o modelo pedisse o texto integral.

3. Interpretação pelo ChatGPT:
   O modelo GPT-4 foi utilizado para interpretar 48 poemas chineses modernos usando os prompts otimizados.

4. Avaliação pelos Poetas Originais (Humanos):
   Dada a subjetividade da poesia e a inadequação de métricas automáticas tradicionais, a avaliação foi realizada pelos próprios autores dos poemas.

   • Critérios: Os poetas avaliaram a alinhamento da interpretação do GPT-4 com sua intenção original em uma escala de 0 a 100 (ou 0, 50, 100 para poeticidade).
   • Conjunto de Dados: 48 poemas de 6 poetas profissionais, divididos em duas categorias:
     • Com-Poetry: 40 poemas de tipos comuns de poesia moderna.
     • Spe-Poetry: 8 poemas de tipos especiais, incorporando elementos da literatura clássica chinesa e imagens antigas.

3. Resultados Principais

• Alinhamento Geral: As interpretações do ChatGPT alinharam-se com a intenção original dos poetas em mais de 73% dos casos nas dimensões gerais (Conteúdo, Métodos de Expressão, Pensamento/Emoção, Modernidade).
• Desempenho por Dimensão (Com-Poetry):
  • Melhor Desempenho: Imagens (81,18) e Conteúdo (80,33). O modelo identifica bem elementos visuais explícitos e temas narrativos claros.
  • Desempenho Moderado: Modernidade (79,88) e Defamiliarização (79,40). O modelo consegue detectar consciência moderna implícita.
  • Desafios: Ritmo (76,15) e Técnicas Retóricas (77,83). O modelo falha em detectar dispositivos retóricos sutis sem pistas explícitas (como "como" ou "tal qual") e tem dificuldade com análises rítmicas detalhadas.
• Desempenho por Dimensão (Spe-Poetry - Poesia Especial):
  • O modelo performou melhor em Técnicas Retóricas (88,75) e Modernidade (82,50), conseguindo conectar temas antigos com sensibilidade moderna.
  • O pior desempenho foi na Linguagem (73,75), devido à complexidade e conotações culturais profundas do vocabulário clássico e imagens antigas, onde o modelo falha em capturar nuances.
• Falha Crítica na Poeticidade:
  • Esta foi a dimensão mais fraca. O ChatGPT falhou em identificar a "frase mais poética" em mais de 50% dos casos.
  • O modelo frequentemente selecionou frases sem valor poético ou analisou linhas isoladamente, ignorando a interconexão holística da estrutura do poema.
• Avaliação por Outros LLMs:
  • Outros modelos (como GPT-4o, Qwen, o1-preview) foram usados como avaliadores automáticos, mas seus resultados divergiram significativamente das avaliações dos poetas humanos, reforçando que a avaliação humana é insubstituível para tarefas de compreensão poética culturalmente embutida.

4. Contribuições Chave

1. Primeira Avaliação Sistemática: É o primeiro estudo a avaliar sistematicamente a capacidade de um LLM de compreender poesia, em vez de apenas gerar ou traduzir.
2. Framework ECUMP: Introdução de um framework completo para avaliar a compreensão de poesia chinesa moderna.
3. Definição de Dimensões: Estabelecimento de dimensões-chave (incluindo poeticidade e modernidade) e uma metodologia de avaliação sistemática.
4. Validação Humana: Envolvimento de poetas profissionais para garantir uma avaliação confiável e matizada, demonstrando a necessidade de avaliação humana em domínios artísticos complexos.

5. Significado e Conclusão

O estudo conclui que, embora o ChatGPT demonstre uma compreensão razoável (acima de 73%) de aspectos objetivos e temáticos da poesia moderna, sua capacidade de capturar a essência poética (poeticidade) e nuances linguísticas profundas ainda é insatisfatória.

• Implicações: A pesquisa destaca que a compreensão da poesia requer uma sensibilidade cultural e contextual que os modelos atuais não replicam totalmente.
• Futuro: O framework proposto estabelece uma base sólida para pesquisas futuras sobre LLMs em tarefas relacionadas à poesia, enfatizando que, para avançar na geração e tradução de alta qualidade, é necessário primeiro resolver o problema da compreensão profunda.
• Limitação: A avaliação manual pelos autores foi custosa, mas necessária, já que não havia análises humanas prévias desses poemas específicos.

Em resumo, o ChatGPT é uma ferramenta útil para auxiliar na compreensão de poesia, mas não substitui a interpretação humana profunda, especialmente no que tange à essência artística e cultural do texto.