Entity Labels Are Not Entity Signals: A Framework for Observable Relevance in Document Re-Ranking

Resumo Técnico: Rótulos de Entidades Não São Sinais de Entidade

Definição do Problema
A recuperação de documentos consciente de entidades baseia-se tradicionalmente na premissa de que entidades topicamente relacionadas a uma consulta (Relevância de Entidade Conceitual, ou CER) servem como sinais de classificação eficazes. Essa premissa sustenta a maioria das estratégias de supervisão existentes, que derivam rótulos de entidade a partir de anotações humanas, julgamentos de LLM ou julgamentos de relevância de documentos (qrels) baseados em plausibilidade tópica.

Os autores argumentam que essa premissa é insuficiente porque ignora a realidade estrutural da vinculação de entidades (entity linking). Diferente de termos, que são observações de verdade fundamental (ground-truth), os links de entidades são hipóteses produzidas por um vinculador imperfeito. Uma entidade pode ser topicamente central, mas não discriminativa, se o vinculador disparar indiscriminadamente entre documentos relevantes e não relevantes. Por outro de lado, uma entidade periférica pode ser um sinal forte se suas menções observadas se concentrarem em documentos relevantes. O problema central é um descompasso entre a Relevância de Entidade Conceitual (CER) — se uma entidade é sobre a consulta — e a Relevância de Entidade Observável (OER) — se a presença observada dessa entidade em uma coleção específica discrimina documentos relevantes de não relevantes.

Metodologia e Estrutura
O artigo introduz uma estrutura diagnóstica para formalizar e medir a divergência entre CER e OER.

1. Definições:

   • CER: Um rótulo ($y_{cer} \in \{0, 1, 2\}$) atribuído com base apenas no texto da consulta e na descrição da entidade, representando a relação tópica. Isso mimetiza a anotação humana ou de LLM padrão.
   • OER: Uma pontuação calculada com base na distribuição de entidades vinculadas dentro de um conjunto de candidatos. Mede o log-odds de uma entidade aparecer em documentos relevantes versus não relevantes, ponderado por uma função de suporte para reduzir o peso de entidades com evidências esparsas.
   • Taxonomia de Sinais: As entidades são categorizadas em seis modos (ex: sinal central, isca genérica, anti-sinal) com base em seus escores de OER e frequência.

2. Configuração Experimental:

   • Datasets: Quatro coleções (TREC Robust 2004, CODEC, TREC Core 2018, TREC Deep Learning 2019) usando Lucene BM25 com RM3 como recuperador de primeira etapa.
   • Linker de Entidade: WAT (Wikipedia Entity Linking).
   • Seletores: O estudo avalia vários seletores de entidades, incluindo baselines não supervisionados (PPR), modelos treinados em CER (BERT treinado em rótulos CER gerados por LLM ou humanos) e modelos alinhados ao OER (LightGBM LambdaRank treinado em log-odds de OER).
   • Avaliação: A estrutura distingue entre avaliação de Mundo Fechado (ranking restrito a documentos contendo as entidades selecionadas) e avaliação de Mundo Aberto (ranking sobre o conjunto completo de candidatos). Métricas principais incluem Taxa de Isca (Bait Rate), Taxa de Sinal (Signal Rate), Filtragem de Documentos (NonRelPrune, RelRetain) e nDCG/MAP downstream.

Principais Contribuições

1. Distinção Formal: O artigo distingue formalmente CER de OER, destacando que os links de entidades são hipóteses sujeitas a ruído de vinculação, tornando a plausibilidade tópica um pobre substituto (proxy) para a utilidade discriminativa.
2. Caracterização Empírica: Através de experimentos extensos em quatro coleções e múltiplas fontes de anotação (incluindo julgamentos humanos), os autores demonstram que CER e OER exibem concordância próxima ao acaso ($\kappa \approx 0$). Em contraste, diferentes operacionalizações de OER concordam substancialmente ($\kappa \approx 0,5$), confirmando que o descompasso é estruturado, não aleatório.
3. Diagnóstico de Falha Downstream: O estudo mostra que a supervisão baseada em CER leva à seleção de "iscas genéricas" (entidades de alta frequência e não discriminativas) e perde entidades discriminativas. Isso resulta em baixa capacidade de filtragem de documentos (podendo podar menos de 4% dos documentos não relevantes em alguns casos) e falha em melhorar a performance de recuperação em mundo aberto.
4. Alinhamento de Supervisão: O artigo demonstra que alinhar a supervisão com o OER (usando estatísticas distributivas observáveis) melhora significativamente a eficácia da recuperação, enquanto a supervisão baseada em CER falha em transferir para cenários de mundo aberto, independentemente da arquitetura subjacente.

Resultados

• Concordância de Rótulos: A concordância entre CER e OER é consistentemente baixa ($\kappa$ varia de 0,06 a 0,23 entre os datasets), enquanto as operacionalizações de OER concordam fortemente ($\kappa \approx 0,48-0,57$).
• Qualidade de Seleção: Seletores treinados em CER (ex: BERT treinado em rótulos CER de LLM) produzem altas "taxas de isca" (até 29% das 20 principais seleções são não-sinais) e baixos escores discriminativos. Seletores alinhados ao OER reduzem significativamente as taxas de isca e aumentam as taxas de sinal.
• Filtragem de Documentos: Seletores baseados em CER falham em podar documentos não relevantes de forma eficaz (ex: podando apenas 11,3% no Robust04). Seletores alinhados ao OER melhoram a poda de não-relevantes em até 10$\times$ (ex: 21,2% no Robust04).
• Performance de Recuperação: Na avaliação de mundo aberto, seletores baseados em CER colapsam para uma performance próxima ao BM25. A seleção alinhada ao OER (usando um ranker QDER fixo) melhora o MAP de mundo aberto em 0,051 sobre o BM25+RM3 e em 0,033 sobre o melhor seletor baseado em CER. Esse ganho se mantém em diferentes arquiteturas e não é um artefato de um modelo específico.
• Tradeoff Cobertura-Discriminação: O artigo encontra um tradeoff estrutural onde aumentar a cobertura de documentos relevantes inevitavelmente aumenta a cobertura de não relevantes no ambiente de vinculação atual. A filtragem post-hoc de entidades selecionadas via CER para melhorar a discriminação degrada severamente a cobertura de relevantes e a performance geral de ranking.

Significância e Alegações
O artigo afirma que o gargalo na recuperação consciente de entidades não é a arquitetura de ranking ou a qualidade das representações de entidade, mas sim o alvo da supervisão. O campo tem dependido da CER como um proxy para a utilidade de recuperação, mas esse proxy é estruturalmente desalinhado com o objetivo de ranking discriminativo.

Os autores argumentam que:

1. Rótulos de entidade não são sinais de entidade: Relevância tópica não implica poder discriminativo.
2. O descompasso é estrutural: O desajuste ocorre porque as coleções de teste padrão fornecem julgamentos de relevância ao nível do documento, mas carecem de rótulos de discriminatividade ao nível da entidade, forçando os modelos a aprender a partir de proxies ruidosos.
3. Uma mudança é necessária: O progresso futuro exige a mudança de noções conceituais de relevância para noções observáveis. Isso envolve usar estatísticas do conjunto de candidatos (frequência, distribuição) como sinais de primeira classe e projetar protocolos de anotação que exponham os anotadores à evidência do corpus, em vez de solicitar julgamentos tópicos isolados.

O artigo conclui que alinhar a supervisão com o OER quebra o teto de performance observado nos sistemas atuais conscientes de entidade, oferecendo um caminho para melhorias significativas na recuperação de mundo aberto sem exigir novas arquiteturas.