GhazalBench: Usage-Grounded Evaluation of LLMs on Persian Ghazals

Resumo Técnico: GhazalBench

1. O Problema

Os Grandes Modelos de Linguagem (LLMs) são cada vez mais utilizados em contextos multilíngues e culturalmente diversos. No entanto, a interação bem-sucedida com práticas linguísticas enraizadas na cultura (como a poesia clássica persa) exige mais do que apenas fluência gramatical ou adequação semântica.

• Contexto Cultural: Na cultura persa, poetas canônicos como Hafez são frequentemente citados, parafraseados ou completados a partir de pistas parciais em conversas cotidianas e rituais sociais.
• Limitação das Avaliações Atuais: As avaliações existentes focam principalmente na geração criativa, imitação estilística ou qualidade estética. Elas não capturam como a poesia funciona como um recurso cultural compartilhado. Além disso, o trabalho anterior sobre memorização em LLMs vê a recordação literal como um risco (vazamento de dados), ignorando como os modelos acessam formas canônicas sob condições reais de uso.
• Lacuna: Não se sabe bem como os modelos acessam formas poéticas canônicas quando confrontados com pistas semânticas, parciais ou fragmentadas, nem se existe uma diferença entre entender o significado e lembrar a forma exata do verso.

2. Metodologia

Os autores introduzem o GhazalBench, um benchmark projetado para avaliar a interação de LLMs com os ghazals (uma forma poética clássica) de Hafez, baseado em cenários de uso real.

• Construção do Dataset:

  • Extração dos primeiros 100 ghazals do Divan de Hafez.
  • Geração de explicações em prosa para cada par de versos (couplet) usando o modelo Gemini 2.5 Flash, seguida de verificação manual por especialistas.
  • Coleta de 50 ghazals (438 versos) para os experimentos finais.

• Dimensões de Avaliação:
  O benchmark avalia duas capacidades complementares:

  1. Compreensão Poética (Poem-to-Prose): O modelo deve parafrasear um verso em prosa persa neutra e concisa. A avaliação é feita por um "Juiz LLM" (Gemini 3 Pro) em seis dimensões (fidelidade semântica, naturalidade, clareza, evitar interpretação, tom neutro e controle de comprimento) e métricas automáticas (BERTScore, chrF++, BLEU).
  2. Recuperação de Versos Canônicos (Canonical Verse Retrieval): O modelo deve recuperar o segundo verso de um par, dado o primeiro verso, sob diferentes condições de pistas:
     • Continuação Canônica: Apenas o nome do poeta e o primeiro verso (Recall Livre vs. Reconhecimento Múltipla Escolha).
     • Mediação por Prosa: Uso da explicação em prosa (original ou parafraseada) como pista.
     • Palavras Salientes: Uso de duas palavras-chave extraídas do segundo verso.
     • Forma Desordenada (Shuffled): O segundo verso é apresentado com a ordem das palavras embaralhada, testando a sensibilidade à ordem sintática versus identidade lexical.

• Modelos Avaliados:

  • Proprietário: Claude Sonnet 4.5.
  • Open-Weight: DeepSeek V3.2, Gemma 3 27B Instruct, Gemma 3 12B Instruct.
  • Comparação Cross-lingual: Experimentos paralelos com os Sonetos de Shakespeare em inglês para distinguir limitações arquiteturais de densidade de dados de treinamento.

3. Principais Contribuições

1. GhazalBench: O primeiro benchmark sistemático para avaliar a interação de LLMs com poesia persa canônica sob cenários de uso grounded (baseados no uso real), distinguindo entre compreensão semântica e acesso à forma superficial.
2. Separação Recall vs. Reconhecimento: Propõe cenários diagnósticos baseados na teoria cognitiva de recall (recordação livre) e recognition (reconhecimento), mostrando que os modelos têm desempenho drasticamente diferente nessas tarefas.
3. Evidência de Dissociação: Demonstra uma dissociação sistemática: os modelos entendem bem o significado (paráfrase), mas falham em recuperar a forma exata do verso em tarefas de completamento.
4. Análise Cross-lingual: Fornece evidências de que a dificuldade na recuperação de formas poéticas em persa é devido à baixa densidade de dados de treinamento (baixo recurso), e não a uma limitação arquitetural inerente, visto que os mesmos modelos performam muito melhor com sonetos em inglês.

4. Resultados Chave

• Compreensão Semântica vs. Forma Exata:
  • Todos os modelos performaram bem na tarefa de parafrasear os versos para prosa, indicando forte compreensão semântica. O modelo Claude Sonnet 4.5 superou consistentemente os modelos open-weight.
  • Falha no Recall Livre: Em tarefas de completamento (gerar o segundo verso a partir do primeiro), as taxas de sucesso foram extremamente baixas (próximas de zero para modelos Gemma e modestas para outros).
  • Sucesso no Reconhecimento: Em tarefas de múltipla escolha (reconhecimento), o desempenho aumentou drasticamente. Isso confirma um "gap" claro entre recall e recognition.
• Impacto das Pistas:
  • Fornecer a prosa original ajudou modestamente, mas a prosa parafraseada (sem sobreposição lexical direta) não melhorou significativamente o recall, sugerindo que os modelos dependem mais de sobreposição lexical superficial do que de representação semântica abstrata para recuperar a forma exata.
  • Palavras salientes isoladas não ajudaram no recall.
  • Ordem das Palavras: Quando o segundo verso era apresentado com palavras embaralhadas, os modelos conseguiram reordená-lo corretamente com alta precisão (especialmente o Claude), indicando que eles possuem representações sensíveis à ordem canônica, mesmo que não consigam gerar o verso do zero.
• Comparação Inglês vs. Persa:
  • Os modelos tiveram taxas de recall muito mais altas para os Sonetos de Shakespeare (inglês) do que para os ghazals de Hafez (persa).
  • Isso sugere que a limitação não é arquitetural, mas sim de exposição aos dados de treinamento. A poesia persa canônica está sub-representada nos dados de treinamento em comparação com a literatura inglesa.

5. Significado e Conclusão

O estudo conclui que a capacidade de um LLM de "entender" poesia culturalmente significativa não garante sua capacidade de participar de interações baseadas em citações ou alusões, que dependem da recuperação exata da forma superficial.

• Implicações para Avaliação: Métricas que dependem apenas de reconhecimento ou paráfrase podem superestimar a capacidade de um modelo de engajar-se com textos culturalmente enraizados. É necessário avaliar a recuperação baseada em recall (recordação).
• Desafio Multilíngue: A competência semântica pode transferir-se mais facilmente entre idiomas do que a recuperação de formas canônicas, que depende fortemente da densidade dos dados de treinamento específicos daquela cultura.
• Futuro: O trabalho motiva estratégias de treinamento que fortaleçam o acesso a formas canônicas sem incentivar a memorização verbatim excessiva (que levanta questões de privacidade), e destaca a necessidade de benchmarks que testem a "memória cultural" dos modelos sob condições realistas de uso.

O código e os dados do GhazalBench estão disponíveis publicamente no GitHub.