Evaluating the Homogeneity of Keyphrase Prediction Models

1. Problema e Motivação

O artigo aborda a lacuna na avaliação de modelos de previsão de frases-chave (keyphrases), especificamente a falta de métricas para medir a homogeneidade (ou consistência) da indexação automática.

• Contexto: As frases-chave são essenciais para tarefas de NLP e Recuperação de Informação (RI). Existem duas abordagens principais: extração (selecionar frases que já existem no texto) e geração (criar frases que podem não aparecer no texto, chamadas de "frases-chave ausentes" ou absent keyphrases).
• O Desafio: Modelos de geração são frequentemente considerados superiores porque podem associar um documento a conceitos não explicitamente mencionados. No entanto, a homogeneidade — a capacidade de um modelo atribuir consistentemente a mesma frase-chave ao mesmo conceito em diferentes documentos — não é coberta pelos benchmarks atuais.
• Hipótese Inicial: Os autores partem da premissa de que modelos de geração, por serem capazes de produzir frases ausentes, seriam mais homogêneos ao indexar documentos com temas semelhantes, superando os modelos de extração que falhariam se a frase não estivesse no texto original.

2. Metodologia

Os autores propõem um método para avaliar a homogeneidade em cenários de indexação livre (sem vocabulário controlado).

2.1. Métricas de Avaliação

Baseando-se em estudos de consistência entre anotadores humanos, utilizam duas métricas aplicadas a pares de documentos semelhantes:

• Hooper's CP (Consistency of a Pair): Mede a interseção sobre a união (Jaccard) ao nível das frases-chave completas.
• Rodgers' CP: Uma métrica mais permissiva que mede a interseção sobre a união ao nível das palavras individuais.

2.2. Construção de Dados (Pares de Documentos)

Para testar a homogeneidade, foram criados dois conjuntos de pares de documentos que tratam dos mesmos conceitos:

1. Pares por Reformulação (Dataset Inspec): Documentos originais foram reescritos usando LLMs (GPT-4o) via back-translation (Inglês-Espanhol-Inglês) e parafraseamento.
   • Objetivo: Manter o significado semântico enquanto altera a superfície lexical.
   • Filtros: Garantir que as frases-chave presentes originais permaneçam (total ou parcialmente) e que a contagem de palavras varie menos de 10%.
   • Característica: Maioria de frases-chave presentes e alta sobreposição léxica.
2. Pares por Frases-Chave Compartilhadas (Dataset KP20k): Documentos selecionados do conjunto de teste KP20k que compartilham pelo menos 50% de suas frases-chave autorais.
   • Objetivo: Avaliar a consistência em documentos que compartilham conceitos abstratos, mesmo que o texto seja diferente.
   • Característica: Maioria de frases-chave ausentes (conceitos abstratos/genericos).

2.3. Modelos Avaliados

Foram testados 8 modelos generativos e 2 modelos de extração (baselines):

• Generativos: CopyRNN, CorrRNN, TG-Net, TGRF, BART, One2Set, e suas variantes com aumento de dados (BART-60p, One2Set-60p).
• Extração: MultipartiteRank e TF-IDF.

3. Resultados Principais

Os resultados foram surpreendentes e contradisseram a hipótese inicial em diferentes cenários:

3.1. No Cenário de Reformulação (Sobreposição Léxica Alta)

• Desempenho: Os modelos de extração (TF-IDF e MultipartiteRank) foram competitivos ou superiores à maioria dos modelos generativos em termos de homogeneidade.
• Fator Surpresa: O modelo generativo com melhor desempenho (TGRF) gerou a menor proporção de frases ausentes e teve a maior homogeneidade.
• Correlação Negativa: Modelos que geram mais frases ausentes tendem a ter menor homogeneidade. Por exemplo, o modelo One2Set (que gera muitas frases ausentes) teve o pior escore de homogeneidade (29,6%).
• Conclusão Parcial: Em textos lexicalmente similares, a capacidade de gerar frases ausentes introduz variabilidade desnecessária, prejudicando a consistência. A extração, limitada ao vocabulário do texto, é mais estável.

3.2. No Cenário de Frases-Chave Compartilhadas (Conceitos Abstratos)

• Desempenho: Neste cenário, onde os documentos compartilham conceitos mas não necessariamente o texto ou frases presentes, os modelos generativos superaram os de extração.
• Fator Surpresa: Modelos como BART-60p e One2Set-60p mostraram melhorias significativas na homogeneidade em comparação às suas versões base, sugerindo que o treinamento focado em frases ausentes ajuda a capturar conceitos genéricos comuns.
• Conclusão Parcial: Quando a conexão entre documentos é implícita e baseada em conceitos abstratos (não presentes no texto), a capacidade de gerar frases ausentes é vantajosa para a homogeneidade.

4. Contribuições Chave

1. Novo Método de Avaliação: Introdução de um protocolo para medir a homogeneidade de modelos de previsão de frases-chave, expandindo as propriedades de qualidade além da precisão/recall tradicional.
2. Descoberta Contraintuitiva: Evidência de que a capacidade de gerar "frases-chave ausentes" pode ter um impacto negativo na homogeneidade em cenários de indexação livre, especialmente quando os textos são lexicalmente similares.
3. Análise de Cenários: Demonstração de que a escolha do melhor modelo depende da natureza da similaridade entre os documentos:
   • Similaridade Léxica explícita $\rightarrow$ Modelos de Extração são preferíveis.
   • Similaridade Semântica implícita/conceitual $\rightarrow$ Modelos Generativos são preferíveis.
4. Recursos Abertos: Disponibilização de pares de dados, código e prompts no Hugging Face e GitHub.

5. Significado e Implicações

O trabalho sugere que a busca por modelos puramente generativos para todas as tarefas de indexação pode não ser ideal. A heterogeneidade dos resultados indica que:

• Abordagens Híbridas: A melhor solução pode ser uma abordagem híbrida, onde se extrai primeiro as frases presentes (para garantir consistência lexical) e usa-se isso como contexto para guiar a geração de frases ausentes (para cobrir conceitos abstratos).
• Revisão de Benchmarks: A comunidade de pesquisa deve reconsiderar como avalia a qualidade de modelos de geração, não apenas focando na capacidade de criar frases novas, mas também na consistência (homogeneidade) dessas previsões.
• Limitações: O estudo focou apenas em documentos científicos de Ciência da Computação e o tamanho das coleções de avaliação pode não permitir testes de significância estatística robustos para todas as conclusões.

Em resumo, o artigo desafia a noção de que "gerar mais" (incluindo frases ausentes) é sempre sinônimo de "melhor indexação", mostrando que a consistência da indexação depende criticamente da relação entre os documentos e da natureza das frases-chave necessárias.