CRISP: Characterizing Relative Impact of Scholarly Publications

O artigo apresenta o CRISP, um método que utiliza modelos de linguagem grandes (LLMs) para classificar conjuntamente e com maior precisão o impacto relativo de todas as referências citadas em um trabalho acadêmico, superando abordagens anteriores ao mitigar vieses posicionais e reduzir custos computacionais.

O essencial

Imagine que você acabou de escrever um livro de receitas incrível. Agora, imagine que outros chefs escrevem livros e citam a sua.

A maneira tradicional de medir o quão importante o seu livro é, é apenas contar quantas vezes ele foi citado. Se 100 livros mencionarem você, você é famoso! Mas e se, desses 100 livros, 99 apenas dissessem "o sal é importante" (uma citação genérica) e apenas 1 dissesse "o segredo do meu bolo de chocolate vem diretamente da técnica de fermentação do livro X"?

O método antigo trata todas as menções como iguais. É como se o chef que usou sua técnica e o que apenas mencionou o sal tivessem o mesmo peso na sua reputação.

O artigo CRISP propõe uma solução inteligente para isso, usando Inteligência Artificial (especificamente Grandes Modelos de Linguagem, ou LLMs) para fazer algo diferente: em vez de olhar para cada citação isoladamente, ele olha para a lista inteira de referências de um livro ao mesmo tempo e as compara entre si.

Aqui está a explicação passo a passo, usando analogias do dia a dia:

1. O Problema: O "Ruído" das Citações

Antes, os computadores analisavam uma frase de cada vez.

• Analogia: Imagine que você é um juiz em um concurso de talentos. O método antigo te mostrava um único ato de cada vez e perguntava: "Isso foi bom?". Você respondia "Sim" ou "Não".
• O erro: Às vezes, um ato é "bom" em comparação com um show ruim, mas "ruim" se comparado a um gênio. O método antigo perdia essa nuance porque não via os outros atos no palco.

2. A Solução CRISP: O "Ranking Comparativo"

O CRISP muda a pergunta. Em vez de julgar um ato isolado, ele coloca todos os atos do mesmo show lado a lado e pede: "Quem foi o mais importante para o sucesso deste show?".

• Como funciona: O sistema pega um artigo científico (o "livro de receitas" que está citando outros) e olha para todas as referências que ele lista.
• A Mágica: Ele usa uma IA para classificar essas referências em uma ordem: "Essa aqui foi a base de tudo (Impacto Alto)", "Essa ajudou um pouco (Impacto Médio)" e "Essa foi só uma menção de passagem (Impacto Baixo)".
• O Resultado: O sistema entende que citar um método fundamental é muito mais importante do que citar um fato de fundo, porque ele vê a diferença entre as citações no mesmo texto.

3. O Truque do "Espelho Giratório" (Viés de Posição)

As IAs têm um defeito curioso: elas tendem a dar preferência às primeiras ou últimas coisas que leem em uma lista (como se você sempre achasse que o primeiro prato que chega à mesa é o melhor).

Para corrigir isso, o CRISP usa uma técnica genial chamada Permutação de Auto-Consistência:

• Analogia: Imagine que você quer julgar 10 alunos. Se você os chamar na ordem A, B, C... a IA pode julgar o A como o melhor só porque ele foi o primeiro.
• A Solução do CRISP: A IA faz o julgamento três vezes.
  1. Na primeira vez, ela lê a lista na ordem original.
  2. Na segunda, ela embaralha a lista (C, A, B...).
  3. Na terceira, ela embaralha de novo (B, C, A...).
• O Veredito: No final, ela faz uma "votação" (maioria simples). Se o "Livro X" foi considerado o melhor em 2 das 3 tentativas, ele ganha o título de "Alta Impacto". Isso elimina o viés de quem está sentado na primeira cadeira.

4. Por que isso é mais rápido e barato?

Pode parecer que analisar tudo junto é mais trabalhoso, mas é o oposto!

• Analogia: Imagine que você tem 100 cartas para enviar.
  • Método Antigo: Você escreve um e-mail para cada carta individualmente, gastando tempo para abrir o e-mail, escrever o assunto e enviar 100 vezes.
  • Método CRISP: Você escreve um único e-mail com os 100 nomes dentro e pede para a IA classificar todos de uma vez.
• Como os artigos científicos citam dezenas de outros artigos, o CRISP faz muito menos "ligações" para a IA, economizando dinheiro e tempo, enquanto obtém resultados melhores.

5. O Resultado Final

O CRISP provou ser muito mais preciso do que os métodos anteriores. Ele consegue distinguir melhor o que é uma citação "de verdade" (que mudou o rumo da pesquisa) do que é apenas uma citação "de cortesia" (apenas para encher o espaço).

Em resumo:
O CRISP é como um crítico de cinema que não avalia apenas um filme isoladamente, mas compara todos os filmes de um diretor em uma noite para entender qual foi realmente a obra-prima. Ele usa inteligência artificial, faz o trabalho três vezes de formas diferentes para não errar por preguiça ou viés, e consegue fazer isso de forma mais barata e rápida do que os métodos antigos.

Isso ajuda cientistas, universidades e agências de fomento a entenderem quem realmente está influenciando a ciência, e não apenas quem está sendo "mencionado" por acaso.

Resumo técnico

Título: CRISP: Caracterizando o Impacto Relativo de Publicações Acadêmicas

1. O Problema

A avaliação do impacto de uma citação acadêmica é fundamental para agências de fomento, comitês de contratação e pesquisadores. No entanto, as métricas tradicionais (como contagem de citações) são ruídas e não distinguem a importância real de cada referência.

• Limitação das Abordagens Atuais: Os métodos existentes (como o estado da arte proposto por Arnaout et al., 2025) avaliam cada citação isoladamente. Eles analisam o contexto de citação (o texto ao redor da referência) dentro do artigo que cita, sem comparar essa referência com as outras citadas no mesmo documento.
• A Lacuna: Avaliar citações em isolamento ignora um sinal valioso: a importância relativa de uma referência em comparação com as demais obras citadas no mesmo artigo. Além disso, o uso de Grandes Modelos de Linguagem (LLMs) para tarefas de classificação individual pode ser ineficiente e suscetível a vieses posicionais.

2. Metodologia: CRISP

O CRISP propõe uma abordagem conjunta (joint) para classificar o impacto, utilizando LLMs para ranquear todas as referências de um artigo citante simultaneamente, em vez de classificá-las uma a uma.

Fluxo de Trabalho:

1. Recuperação e Extração: Para um artigo alvo $p^*$, o sistema recupera todos os artigos que o citam ($N_{in}(p^*)$). Para cada artigo citante $q$, extrai-se a lista completa de referências ($N_{out}(q)$) e todos os contextos de citação associados ($Ctx_{all}(q)$).
2. Rankeamento Conjunto: Um "juiz" baseado em LLM recebe o conjunto completo de referências e seus contextos de $q$ e é instruído a ranquear essas referências de acordo com o impacto que tiveram sobre $q$.
   • O modelo atribui rótulos de impacto (Baixo, Médio, Alto) baseando-se no ambiente de citação completo, permitindo uma calibração mais precisa (ex: distinguir se um artigo cita superficialmente muitas obras ou depende de poucas obras centrais).
3. Mitigação de Viés Posicional: LLMs tendem a favorecer itens no início ou no fim da lista (viés posicional). Para mitigar isso, o CRISP executa o ranqueamento três vezes, cada vez com uma ordem aleatória diferente das referências.
4. Agregação: Os rótulos de impacto resultantes das três execuções são agregados através de votação majoritária para determinar o rótulo final.
   • Alternativa: O artigo também propõe uma abordagem usando Fusão de Reciprocidade de Rank (RRF) para agregar as listas de classificação e um modelo de Regressão Ordinal para prever os rótulos finais, garantindo que a ordem de impacto (Alto > Médio > Baixo) seja respeitada.

Eficiência Computacional:

• Chamadas de LLM: Enquanto métodos anteriores exigem uma chamada de LLM por cada aresta de citação (complexidade $O(m)$, onde $m$ é o número total de citações), o CRISP faz apenas 3 chamadas por artigo citante (complexidade $O(n)$, onde $n$ é o número de artigos citantes). Como $m \gg n$ na prática, o CRISP é assintoticamente mais eficiente.
• Orçamento de Tokens: O CRISP reduz a sobrecarga de prompts, pois o contexto é processado em blocos maiores e menos repetidos, aproveitando o cache de prompts.

3. Contribuições Principais

1. Método CRISP: Uma nova abordagem que utiliza LLMs para ranquear conjuntamente todas as referências de um artigo citante, capturando o impacto relativo.
2. Superação do Estado da Arte: Demonstração de que a análise conjunta supera os classificadores de impacto independentes anteriores.
3. Eficiência e Escalabilidade: O método é mais barato e escalável devido à redução drástica no número de chamadas de LLM.
4. Desempenho com Modelos Open-Source: O CRISP performa competitivamente com modelos de código aberto (como Qwen3), tornando a análise de impacto acessível e de baixo custo.
5. Recurso de Dados: Liberação de rankings, rótulos de impacto e código para 1.338 artigos citados cobrindo 442 artigos citantes.

4. Resultados Experimentais

Os experimentos foram conduzidos em um conjunto de dados humano-annotado (Arnaout et al., 2025) contendo 442 artigos citantes e 1.338 artigos citados. Foram testados modelos fechados (GPT-5.1, o4-mini) e abertos (Qwen3-30B).

• Desempenho: O CRISP superou o método anterior (UKP) em média:
  • Acurácia: +9.5%
  • F1-Score: +8.3%
  • Exemplo específico (GPT-5.1): Acurácia subiu de 66.7% para 78.6%; F1 de 55.7% para 67.7%.
• Robustez: O método manteve ganhos consistentes em todos os modelos testados.
• Qualidade: A análise qualitativa (matrizes de confusão) mostrou que o CRISP reduz significativamente os falsos positivos, distinguindo melhor citações impactantes de citações de fundo, sem sacrificar a sensibilidade (recall).
• Limitações Observadas: O desempenho de ranqueamento de listas completas degrada-se ligeiramente quando o número de referências é muito alto (>200), com alguns modelos omitindo referências, embora o GPT-5.1 tenha sido o mais robusto.

5. Significado e Impacto

O CRISP representa um avanço significativo na bibliometria baseada em conteúdo. Ao mudar o foco da análise isolada para uma análise comparativa e contextual, o método oferece uma avaliação mais fiel da influência intelectual real de uma obra.

• Aplicações: Permite avaliações de pesquisa mais matizadas, recuperação de artigos mais precisa para resolver problemas científicos e rastreamento de contribuições chave.
• Viabilidade: A eficiência computacional e o uso de modelos open-source tornam viável a aplicação dessa técnica em larga escala para grandes coleções de literatura científica, algo que seria proibitivamente caro com abordagens anteriores.

Em suma, o CRISP demonstra que considerar o "todo" (o conjunto de referências de um artigo) fornece um sinal mais rico e preciso do que analisar as "partes" (citações individuais) em isolamento.