TailNLG: A Multilingual Benchmark Addressing Verbalization of Long-Tail Entities

1. Problema e Motivação

A verbalização automática de conhecimento estruturado (Data-to-Text) é fundamental para tornar os Grafos de Conhecimento (KGs) acessíveis a usuários não especialistas e para melhorar sistemas de Geração Aumentada por Recuperação (RAG). Embora existam avanços na cobertura multilíngue, há uma lacuna significativa no estudo de vieses na verbalização de entidades raras, conhecidas como entidades de cauda longa (long-tail entities).

Entidades de cauda longa são aquelas com baixa frequência em corpora de treinamento e bases de conhecimento (como o Wikidata). Estudos anteriores indicam que Grandes Modelos de Linguagem (LLMs) têm desempenho inferior em tarefas como ligação de entidades e recuperação de fatos para essas entidades, mas não havia uma investigação sistemática sobre como esses modelos lidam com a verbalização (conversão de triples RDF para texto natural) de entidades raras em comparação com entidades comuns (cabeça/longa).

2. Metodologia

O Benchmark TailNLG

Os autores introduzem o TailNLG, o primeiro benchmark multilíngue projetado especificamente para avaliar a verbalização de entidades de cauda longa.

• Idiomas: Inglês, Italiano e Espanhol.
• Fonte de Dados: Extraído do Wikidata, cobrindo diversas categorias (ex: Artistas, Políticos, Cidades).
• Definição de Entidades:
  • Cauda Longa (Long-tail): Entidades com número de claims (relações) abaixo de um corte de Pareto (topo de 20% que detém 80% dos dados) e que possuem página na Wikipédia apenas em um dos idiomas-alvo.
  • Cabeça (Head): Entidades com alto número de claims e presença robusta em múltiplos idiomas.
• Estrutura dos Dados: O dataset contém unidades de dados (conjuntos de triples RDF) com configurações variadas (cadeia, irmãos, mistas).
• Criação de Referências (Gold/Silver):
  • Um subconjunto foi verbalizado manualmente por falantes nativos (Gold).
  • O restante foi expandido para os outros idiomas usando Tradução Automática (DeepL) e Pós-edição Automática (APE) com modelos como xCOMET e xTOWER, resultando em dados "Silver" de alta qualidade.
  • O dataset final possui 1.845 unidades de dados (1.120 Gold e 725 Silver).

Configuração Experimental

• Modelos Avaliados: Três famílias de LLMs instruídos e multilíngues em dois tamanhos cada:
  • Llama-3.2 (3B e 8B)
  • Qwen2.5 (3B e 7B)
  • Gemma-3 (4B e 12B)
• Configuração: Avaliação em zero-shot (sem exemplos de few-shot no prompt) para evitar viés de adaptação.
• Comparação: Os modelos foram testados no TailNLG e comparados com o benchmark estabelecido WebNLG (que contém principalmente entidades comuns).

Métricas de Avaliação

• Semântica: BERTScore (BERTScorer).
• Superfície/Overlap: BLEU, chrF++, ROUGE-1, ROUGE-2, ROUGE-L.
• Incerteza do Modelo: Perplexidade (PPL), onde valores mais altos indicam maior incerteza/dificuldade do modelo.

3. Contribuições Principais

1. TailNLG: A criação do primeiro benchmark sistemático e multilíngue focado na verbalização de entidades de cauda longa, preenchendo uma lacuna crítica na literatura de Data-to-Text.
2. Estudo de Viés: A primeira investigação profunda sobre como LLMs lidam com a verbalização de entidades raras versus comuns, demonstrando que o desempenho não é uniforme.
3. Análise de Incerteza: Uso da Perplexidade como proxy para quantificar a confiança do modelo, revelando que modelos são significativamente menos confiantes ao gerar texto sobre entidades raras.
4. Avaliação Multidimensional: Demonstração de que métricas tradicionais de sobreposição de texto (como BLEU/ROUGE) podem falhar em capturar vieses de desempenho em entidades raras, enquanto métricas baseadas em embeddings e PPL oferecem insights mais consistentes.

4. Resultados Chave

• Viés contra Entidades de Cauda Longa:
  • Há um viés consistente contra entidades raras. As métricas baseadas em embeddings (BERTScore) são sistematicamente mais baixas para entidades de cauda longa em comparação com as de cabeça.
  • A Perplexidade (PPL) é consistentemente mais alta para entidades de cauda longa na maioria dos modelos (especialmente Llama e Qwen), indicando que o modelo tem maior dificuldade e incerteza ao prever o texto para essas entidades.
• Impacto do Idioma:
  • O desempenho é superior em Inglês em todas as configurações.
  • Há evidências de viés linguístico: o Italiano e o Espanhol apresentam PPL mais altos e métricas de qualidade variáveis, possivelmente devido a morfologias mais ricas e menor representação nos dados de treinamento.
• Comparação com WebNLG:
  • Os modelos performam significativamente melhor no benchmark WebNLG (entidades comuns) do que no TailNLG.
  • A Perplexidade é menor no WebNLG, sugerindo que os modelos já estão familiarizados com essas entidades devido à exposição durante o pré-treinamento.
• Inconsistência das Métricas:
  • Métricas baseadas em sobreposição (BLEU, ROUGE) mostraram resultados inconsistentes, às vezes favorecendo erroneamente a verbalização de entidades de cauda longa (devido a adições lexicais que divergem da referência, mas podem ser semanticamente corretas). Isso destaca a necessidade de frameworks de avaliação mais robustos.
• Qualidade Gold vs. Silver:
  • Em geral, os modelos performaram melhor com dados "Silver" (traduzidos automaticamente) do que com "Gold" (manuais), sugerindo que os modelos estão mais alinhados com padrões de tradução automática do que com a variação linguística humana pura.

5. Significado e Conclusão

O trabalho conclui que os LLMs atuais sofrem de vieses de entidade e de idioma, tornando tarefas de verbalização envolvendo entidades menos representadas mais difíceis e menos confiáveis.

• Implicações Práticas: Para aplicações de RAG e sistemas de KG, confiar apenas em benchmarks tradicionais (como WebNLG) pode mascarar falhas críticas na geração de texto sobre entidades de nicho ou culturalmente específicas.
• Futuro: Os autores sugerem a necessidade de frameworks de avaliação que incorporem a incerteza do modelo (PPL) e considerem dimensões culturais além da simples contagem de frequência. O benchmark TailNLG serve como uma base para desenvolver modelos mais justos e robustos para o conhecimento de cauda longa.

Em resumo, o artigo alerta que, embora os modelos de linguagem sejam poderosos, eles ainda não são confiáveis para a verbalização de conhecimento estruturado quando se trata de entidades raras, e as métricas atuais de avaliação podem não estar capturando adequadamente essas limitações.