Resumo Técnico: R-Precisão Semântica para Avaliação de Palavras-Chave

1. Declaração do Problema

A avaliação de palavras-chave geradas automaticamente continua sendo um desafio complexo devido ao desalinhamento entre as métricas automatizadas tradicionais e o julgamento humano. Os paradigmas de avaliação atuais geralmente se dividem em duas categorias, ambas com limitações significativas:

• Correspondência Lexical Exata: Métricas como Precisão, Recall e F1 dependem de correspondências exatas de strings ou radicais (stems). Elas falham em reconhecer frases semanticamente equivalentes com formas lexicais diferentes (ex: "redes neurais" vs. "aprendizado profundo"), levando a uma subestimação do desempenho do modelo.
• Similaridade Semântica sem Classificação: Abordagens recentes que utilizam embeddings contextuais (ex: BERTScore, SemP/R/F1) capturam o significado semântico, mas tratam as previsões como conjuntos não ordenados. Elas ignoram a ordem de classificação (ranking), apesar de evidências de que a percepção humana de relevância é fortemente influenciada pela posição (o efeito de primazia), onde os usuários focam desproporcionalmente nos resultados classificados no topo.

As métricas existentes carecem de flexibilidade semântica ou de consciência de classificação, falhando em refletir como os humanos realmente julgam a informatividade e a relevância das listas de palavras-chave.

2. Metodologia: R-Precisão Semântica (SemR-p)

Os autores propõem a R-Precisão Semântica (SemR-p), uma nova métrica que integra a pontuação de similaridade semântica à estrutura de R-Precisão sensível ao ranking. A metodologia é fundamentada em princípios cognitivos humanos e práticas de Recuperação de Informação.

Formulação Central

A SemR-p avalia as $R$ previsões do topo de uma lista ordenada $\hat{Y}$, onde $R$ é o número total de palavras-chave de referência ($|Y|$). Para cada palavra-chave prevista $\hat{y}_i$ dentro do topo $R$, uma pontuação é calculada usando uma lógica de duas partes:

1. Correspondência de Radical Exata: Se o radical de $\hat{y}_i$ corresponde exatamente ao radical de qualquer palavra-chave de referência $y_j$, a pontuação é 1.0.
2. Pontuação de Similaridade Semântica: Se não houver correspondência exata de radical, a pontuação é derivada da similaridade semântica entre a previsão e as referências.
   • Embeddings de nível de frase são gerados usando um modelo de Sentence Transformer (especificamente uclanlp/keyphrase-mptext-v1).
   • A similaridade é computada como a similaridade de cosseno média entre o embedding da previsão e as top-$k$ palavras-chave de referência mais similares.
   • Fórmula: $score(\hat{y}_i) = \frac{1}{k} \sum_{j=1}^{k} \cos\_sim(emb(\hat{y}_i), emb(y'_j))$, onde $y'_j$ são as $k$ referências mais similares.

A pontuação SemR-p final para um documento é a média dessas pontuações individuais através das $R$ previsões do topo.

Configuração Experimental

• Datasets: kp20k (resumos científicos) e kptimes (artigos de notícias).
• Modelos: Um subconjunto representativo de 8 modelos cobrindo extração não supervisionada, extração supervisionada, geração supervisionada e geração baseada em LLM.
• Baselines: Dez métricas estabelecidas incluindo F1@M, NDCG, AP, R-Precision, variantes de SemP/R/F1 e BERTScore.
• Ajuste de Parâmetros: O parâmetro $k$ (número de referências similares do topo para a média) foi testado com valores $\{1, 2, 3\}$.

3. Principais Contribuições

1. Definição Formal: Uma definição rigorosa de SemR-p que equilibra a correspondência lexical exata com a similaridade semântica de nível de frase dentro de uma estrutura sensível ao ranking.
2. Análise Empírica Abrangente: Avaliação extensiva através de múltiplos modelos e datasets para avaliar a sensibilidade semântica, a consciência de classificação e o poder discriminativo.
3. Estudos de Caso Qualitativos: Exemplos diagnósticos demonstrando como a SemR-p diverge das baselines em cenهمários específicos (ex: recompensando "quase acertos" semânticos que os comparadores de correspondência exata perdem, ou penalizando itens corretos colocados muito baixo na lista).
4. Análise Fatorial: Identificação de dimensões latentes na avaliação de palavras-chave, posicionando a SemR-p como uma "métrica de ponte" entre a eficácia tradicional e a similaridade semântica contextual.

4. Resultados

• Sensibilidade de Parâmetros ($k$): Aumentar $k$ de 1 para 3 reduziu as pontuações absolutas (pois mais referências diversas foram calculadas pela média), mas melhorou o alinhamento com uma gama mais ampla de métricas (lexicais, de ranking e semânticas). Os autores recomendam $k=3$ como a configuração padrão para uma avaliação equilibrada.
• Poder Discriminativo: Resultados de ANOVA confirmaram que a SemR-p é estatisticamente sensível às diferenças entre modelos (explicando 16% da variância) e entre datasets, validando sua utilidade para distinguir o desempenho dos sistemas.
• Acordo de Classificação (Ranking Agreement): A SemR-p mostrou correlação positiva com todas as métricas de baseline, mas com comportamento distinto em relação às variantes do BERTScore. Ela se alinha fortemente com métricas sensíveis ao ranking (NDCG, AP) enquanto mantém a sensibilidade semântica.
• Análise Fatorial: Dois fatores latentes foram identificados:
  1. Eficácia Geral e Classificação: Dominado por métricas de correspondência exata e baseadas em ranking. A SemR-p possui uma carga pesada aqui (0.77), indicando que ela retém a sensibilidade ao ranking.
  2. Similaridade Semântica Contextual: Dominado por variantes do BERTScore. A SemR-p apresenta uma carga moderada (0.47), indicando que incorpora informações semânticas sem perder sua natureza sensível ao ranking.
• Achados Qualitativos:
  • A SemR-p recompensa com sucesso previsões semanticamente relevantes que falham na correspondência exata (ao contrário do F1@M).
  • Ela penaliza modelos que colocam palavras-chave relevantes em posições baixas na lista (ao contrário do F1@M ou BERTScore).
  • Pode ser mais rigorosa do que comparadores aproximados (como R-Precision) ao penalizar substrings não específicas que carecem de profundidade semântica.

5. Significância e Alegações

O artigo afirma que a SemR-p oferece uma lente complementar para avaliar previsões de palavras-chave. Sua significância reside em:

• Alinhamento Centrado no Humano: Ela desloca a avaliação da correspondência lexical superficial para a avaliação da equivalência semântica, preservando a perspectiva centrada no usuário de que os resultados classificados no topo são os mais críticos.
• Ponte entre Dimensões: Ela aborda a lacuna entre as métricas de classificação tradicionais e as medidas modernas de similaridade semântica, fornecendo uma avaliação mais holística do desempenho do modelo.
• Utilidade Prática: Ao recompensar palavras-chave semanticamente relevantes que aparecem cedo na saída, ela reflete melhor as necessidades de aplicações práticas, onde os usuários priorizam os primeiros resultados.

Os autores mantêm uma postura modesta, observando que, embora a SemR-p se alinhe aos princípios cognitivos, sua correlação direta com julgamentos humanos ainda não foi validada empiricamente neste trabalho. Eles também reconhecem limitações relativas à redundância semântica e à dependência de modelos de embedding específicos, sugerindo trabalhos futuros sobre variantes conscientes de diversidade e seleção dinâmica de parâmetros.