Publication time valid prediction of citation risk outcomes in a bounded clinical specialty literature corpus

Resumo Técnico: Predição de Risco de Citação com Validade no Momento da Publicação

Definição do Problema
A predição de citações é frequentemente enquadrada como a estimativa do impacto científico futuro; contudo, seu valor cientométrico depende de saber se a visibilidade futura pode ser inferida estritamente a partir das informações disponíveis no momento da publicação. Muitos estudos existentes utilizam variáveis indisponíveis na publicação (ex: contagens de citações pós-publicação) ou empregam divisões de dados aleatórias que introduzem vazamento temporal (temporal leakage), comprometendo a interpretabilidade prospectiva. Além disso, as distribuições de citações possuem caudas pesadas (heavy-tailed), e os resultados são melhor interpretados como traços de visibilidade de evidência e acumulação de atenção, em vez de medidas diretas de mérito científico intrínseco. Este estudo aborda a lacuna no design de modelos de predição de citações que sejam estritamente "válidos no momento da publicação", questionando se os resultados de risco de citação podem ser preditos usando apenas metadados, referências, histórico de autores e texto disponíveis na data de publicação ou antes dela, dentro de um corpus delimitado de literatura de uma especialidade clínica.

Metodologia
O estudo empregou um design de predição retrospectivo e indexado temporalmente, emulando as condições de um artigo entrando na literatura.

• Corpus: O corpus analítico consistiu em 9.424 artigos de pesquisa originais publicados entre 2017 e 2022 em sete periódicos de gastroenterologia clínica mascarados (Periódico A–G). Um coorte primário "observado por referência" de 8.409 artigos com listas de referências processadas foi utilizado para a análise principal.
• Desfechos (Outcomes):
  • Primário: $\le$ 3 citações em 2 anos.
  • Secundários: 0 citações em 3 anos; $\le$ 3 citações em 3 anos; $\le$ 1 citação em 3 anos; e > 20 citações em 2 anos.
• Famílias de Preditores: As variáveis foram restritas a sinais do momento da publicação:
  1. Baseline Não Semântica: Contexto de publicação (periódico mascarado, ano), composição da lista de referências (idade, tipo), maturidade do conhecimento citado (citação/visibilidade das obras citadas no momento da publicação) e características de ancestralidade/novidade.
  2. Histórico do Autor: Histórico de citações prévio do autor e redes de colaboração (disponíveis antes da publicação).
  3. Semântica de Documento Completo: Embeddings SPECTER2 de título e resumo tratados como um único bloco.
  4. Conteúdo Consciente da Estrutura: Embeddings SPECTER2 de texto segmentados por função (abertura, corpo, fechamento, resumo).
  5. Contexto Consciente da Estrutura: Características distribucionais do contexto da literatura citada comparadas aos centroides das dobras de treinamento (training-fold centroids).
• Estratégia de Validação: Os modelos foram avaliados utilizando divisões temporais para evitar vazamento. Duas dobras (folds) foram utilizadas:
  • Fold 1: Treino (2017–2019), Ajuste/Tune (2020), Teste (2021).
  • Fold 2: Treino (2017–2020), Ajuste/Tune (2021), Teste (2022).
  • O pré-processamento (imputação, codificação, redução de dimensionalidade) foi ajustado estritamente dentro dos anos de treinamento.
• Modelos: Regressão logística regularizada (elastic-net) e Árvores de Gradiente Boosted (XGBoost) foram comparados.
• Métricas: PR-AUC (ranking), F1 (classificação limiarizada em pontos de operação selecionados na validação) e Precisão@10% (enriquecimento do decil superior).

Resultos Principais

• Desempenho da Baseline: A baseline não semântica de citação/referência/contexto alcançou um desempenho forte para o desfecho primário (PR-AUC 0,818, F1 0,722, Precisão@10% 0,935), indicando que existe um sinal substancial apenas nos metadados e na estrutura de referências.
• Melhorias Semânticas: A adição de embeddings semânticos de título/resumo de documento completo proporcionou melhorias modestas, mas consistentes, sobre a baseline (PR-AUC 0,828, F1 0,735, Precisão@10% 0,962). Este modelo foi mantido como o melhor desempenho para o desfecho primário.
• Recursos Conscientes da Estrutura (Structure-Aware):
  • Para o desfecho primário, recursos conscientes da estrutura não melhoraram o desempenho em relação ao modelo semântico de documento completo.
  • Para os desfechos secundários, os recursos conscientes da estrutura mostraram ganhos específicos por desfecho. Especificamente, um modelo combinado de conteúdo mais contexto melhorou o F1 limiarizado para o desfecho "0 citações em 3 anos" (de 0,325 para 0,453) em relação ao comparador de documento completo, embora os ganhos de PR-AUC não tenham sido estatisticamente significativos.
  • Para o desfecho de "alta citação" (>20 citações), recursos de contexto conscientes da estrutura melhoraram o PR-AUC, mas não recuperaram o F1 limiarizado da baseline, sugerindo um compromisso (trade-off) entre ranking e desempenho de ponto de operação.
• Histórico do Autor: Recursos de histórico do autor carregavam sinal preditivo isolado, mas não forneceram valor incremental quando adicionados à baseline não semântica, sugerindo que os recursos de referência e contexto servem como proxy para sinais de visibilidade do nível do autor neste corpus delimitado.
• Validade Local: O desempenho agrupado de múltiplos periódicos não se traduziu diretamente para periódicos individuais. Em um teste diagnóstico no "Periódico C", os modelos agrupados performaram significativamente pior localmente (ex: o PR-AUC caiu de 0,696 para 0,205 para desfechos específicos). A recalibração local melhorou algumas métricas, mas não melhorou consistentemente o ranking ou a classificação, destacando que o sinal do nível do corpus não garante validade local.

Significância e Alegações
O artigo afirma estabelecer um framework reprodutível para estudar a visibilidade da evidência dentro de literaturas delimitadas usando modelagem com validade no momento da publicação. Suas principais contribuições são metodológicas:

1. Controle de Vazamento: Demonstra que a predição de risco de citação pode ser rigorosamente avaliada sem vazamento temporal, alinhando-se aos princípios de modelagem de predição prospectiva em pesquisa clínica.
2. Hierarquia de Recursos: Estabelece que recursos estruturais não semânticos (referências, contexto) fornecem uma baseline forte, com embeddings semânticos oferecendo valor incremental modesto para o risco de baixa citação geral, enquanto recursos conscientes da estrutura oferecem utilidade específica para estados distintos de risco de citação (ex: não citação completa).
3. Escopo de Validade: O estudo argumenta explicitamente que o desempenho agrupado através de um corpus de especialidade não deve ser interpretado como evidência de validade local para periódicos específicos sem avaliação e calibração local.
4. Interpretabilidade: Os autores posicionam esses modelos como ferramentas para caracterizar como o conteúdo, a ancestralidade da referência e o contexto do veículo moldam a visibilidade da evidência, em vez de medidas de mérito científico ou ferramentas de suporte à decisão para triagem editorial.

As descobertas motivam a replicação em outras especialidades e eras de publicação para determinar a generalizabilidade desses sinais de visibilidade, ao mesmo tempo que alertam que os limiares de risco de citação e o desempenho do modelo são inerentemente específicos ao corpus e ao caso de uso.