Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Este estudo utiliza o pareamento por escore de propensão em dados administrativos do NIH para demonstrar que o serviço de revisão por pares no início da carreira está associado a um maior volume de submissão de propostas, melhores pontuações de avaliação e taxas de sucesso no financiamento mais elevadas em comparação com pares que não realizam revisão.

O essencial

A Grande Questão: Ser "Juiz" Faz de Você um "Concorrente" Melhor?

Imagine uma competição de culinária massiva e de alto risco. Para ganhar um prêmio (uma bolsa de pesquisa), você precisa submeter uma receita (um pedido de bolsa). Mas, antes que sua receita seja julgada, você tem que esperar na fila enquanto um painel de juízes especialistas prova e critica centenas de outras receitas.

Por anos, muitos chefs (cientistas) afirmaram: "Se eu puder sentar no painel de julgamento, vou aprender exatamente o que os juízes estão procurando. Vou ver como eles argumentam, que notas dão e o que faz uma receita ser 'discutível'. Essa experiência tornará minhas próprias receitas muito melhores e eu ganharei mais prêmios."

No entanto, até este estudo, não havia prova concreta. O problema era que as pessoas convidadas para serem juízes geralmente já eram os melhores chefs da cozinha. Eles haviam ganhado prêmios, publicado livros de receitas e tinham grandes reputações. Então, se eles ganhassem a competição mais tarde, seria porque foram juízes, ou apenas porque já eram talentosos?

O Experimento: Um Emparelhamento de "Degustação"

Para resolver isso, os pesquisadores (do NIH, a gigantesca organização que financia essas "competições de culinária") montaram um experimento inteligente usando um método chamado Emparelhamento por Pontuação de Propensão.

Pense nisso como um aplicativo de namoro para cientistas. Eles pegaram dois grupos de pessoas:

1. Os Juízes: Cientistas de carreira inicial que realmente serviram como revisores (ECRs).
2. Os Não-Juízes: Cientistas de carreira inicial que estavam tão qualificados para serem juízes (tinham o mesmo número de publicações, os mesmos cargos e a mesma experiência) mas nunca tiveram a chance de servir.

Os pesquisadores usaram um algoritmo de computador para emparelhá-los perfeitamente, como gêmeos. Um gêmeo do grupo "Juiz" foi emparelhado com um gêmeo do grupo "Não-Juiz". Isso garantiu que quaisquer diferenças em seu sucesso futuro não pudessem ser atribuídas a serem naturalmente mais talentosos ou a terem melhores recursos.

O Que Aconteceu Depois? (Os Resultados)

Os pesquisadores acompanharam esses dois grupos por três anos após o grupo "Juiz" terminar seu serviço. Eles observaram quantas novas receitas eles submeteram, quantas receberam uma segunda análise (foram discutidas), quão altas foram suas notas e quantas ganharam prêmios (financiamento).

Eis o que descobriram:

• Mais Inscrições: Os ex-juízes submeteram mais receitas do que seus gêmeos emparelhados.
• Melhores Notas: Suas receitas tinham maior probabilidade de receber uma "nota alta" (o que significa que os juízes acharam que eram excelentes).
• Mais Discussão: Suas receitas tinham maior probabilidade de serem escolhidas para uma animada discussão em grupo, o que é uma grande coisa nessas competições.
• Mais Vitórias: Mais importante, os ex-juízes ganharam mais prêmios de financiamento do que os não-juízes.

O "Segredo" (Por que isso aconteceu?)

O artigo sugere algumas razões pelas quais ser juiz ajudou:

1. Conhecimento de Bastidores: Assim como um concorrente que assistiu os juízes discutirem por anos, esses cientistas aprenderam a "linguagem secreta" do processo de revisão. Eles aprenderam a escrever suas aplicações para atingir as notas certas e evitar as armadilhas comuns.
2. Confiança: Ver como o processo funciona por dentro pode tê-los tornado mais confiantes em submeter mais aplicações.
3. Networking: Sentar na sala com outros especialistas pode ter aberto portas para colaborações e mentoria, embora o estudo observe que isso é difícil de medir diretamente.

A Pegadinha (Limitações)

Os autores têm o cuidado de dizer que isso não prova que todo juiz se torna um vencedor.

• A Nota "Média": Embora os juízes tenham vencido com mais frequência, a média de notas de todas as suas receitas melhorou apenas ligeiramente. É possível que apenas alguns juízes tenham recebido um grande impulso, enquanto o resto permaneceu o mesmo, mas essas poucas grandes vitórias puxaram o grupo para cima.
• Fatores Ocultos: Pode haver outras coisas que não medimos (como o quão bem eles fizeram networking em uma festa) que os ajudaram a vencer, e não apenas o serviço de revisão em si.
• Não é uma Garantia: Ser juiz não garante que você receba dinheiro. A decisão final envolve muitos outros fatores, como o orçamento e as prioridades da organização.

A Conclusão

Este estudo fornece a primeira evidência sólida de que servir como revisor por pares realmente ajuda cientistas de carreira inicial a obter mais bolsas posteriormente.

É como dizer: "Se você tiver a chance de sentar na cadeira do juiz, você aprenderá as regras do jogo tão bem que, quando jogar como concorrente, terá mais probabilidade de vencer." Os pesquisadores concluem que este programa é uma ótima maneira de treinar a próxima geração de cientistas, não apenas para ajudar a organização a realizar suas reuniões, mas para ajudar esses cientistas a terem sucesso em suas próprias carreiras.

Resumo técnico

Resumo Técnico: Efeitos do Serviço de Revisão por Pares no Início da Carreira nos Resultados Subsequentes de Submissão de Propostas

Declaração do Problema
Os Institutos Nacionais de Saúde (NIH) dependem fortemente da revisão por pares para avaliar o mérito científico das propostas de financiamento, um processo que exige tempo significativo não remunerado dos cientistas. Embora muitos revisores acreditem subjetivamente que servir em seções de estudo melhora suas próprias habilidades de redação de propostas e competitividade, evidências empíricas que sustentem essa afirmação têm sido limitadas. Um desafio primário na avaliação dessa relação é o viés de seleção: investigadores selecionados para revisão por pares tipicamente possuem características (por exemplo, registros sólidos de publicações, financiamento prévio) que também preveem resultados bem-sucedidos de propostas. Consequentemente, é difícil distinguir se melhores resultados são causados pela experiência de revisão ou simplesmente refletem a qualidade pré-existente dos investigadores selecionados. Este estudo aborda essa confusão ao examinar se investigadores no início da carreira que serviram como Revisores de Carreira Precoce do NIH (ECRs) alcançaram melhores resultados subsequentes de propostas em comparação com um grupo pareado de investigadores elegíveis que não serviram.

Metodologia
O estudo empregou um desenho quasi-experimental retrospectivo utilizando dados administrativos do Centro de Revisão Científica (CSR) do NIH e dados de publicação do Dimensions.

• População do Estudo: O grupo de tratamento consistiu em 1.862 investigadores que serviram como ECRs durante os anos de conselho de 2020–2021. O grupo de controle foi construído a partir de investigadores que atendiam aos critérios de elegibilidade para ECR (por exemplo, cargo de Professor Assistente, revisão prévia de propostas, contagens específicas de publicações, sem financiamento prévio de R01), mas que não haviam servido como revisores.
• Emparelhamento por Pontuação de Propensão (PSM): Para abordar a seleção não aleatória e a confusão, os autores utilizaram emparelhamento 1:1 por vizinho mais próximo por pontuação de propensão sem reposição. As covariáveis incluíram área de pesquisa, sexo, raça/etnia, volume de propostas anteriores, histórico de financiamento prévio, contagens de publicações, idade acadêmica e níveis de financiamento institucional. Este processo resultou em uma amostra analítica balanceada de 1.120 ECRs e 1.120 controles pareados.
• Resultados: Os resultados foram avaliados ao longo de um período de acompanhamento de três anos após a data índice (data de serviço para ECRs; data de revisão equivalente para controles). Os resultados primários focaram em propostas de R01 e equivalentes a R01 e incluíram: volume de submissão, número de propostas discutidas, número de propostas recebendo pontuações de alto impacto (≤35), número de propostas financiadas, montantes totais de prêmio e pontuações de revisão por pares.
• Análise Estatística: As análises utilizaram modelos de regressão ajustados para covariáveis de emparelhamento. Análises de sensibilidade incluíram modelos ajustando ainda mais para o volume de submissão para testar se as diferenças nos resultados eram meramente uma função do aumento da frequência de submissão.

Principais Resultados

• Submissão e Discussão: Os ECRs submeteram significativamente mais propostas de R01 do que os controles (média de 2,52 vs. 1,40) e tiveram maior probabilidade de ter propostas discutidas (média de 1,41 vs. 0,68).
• Pontuação e Financiamento: Os ECRs alcançaram um número maior de propostas com pontuações de impacto favoráveis (≤35) (0,47 vs. 0,20) e receberam mais prêmios de R01 (0,43 vs. 0,16). Os tamanhos de efeito para esses resultados foram moderados (d de Cohen variando de 0,38 a 0,49).
• Ajustes de Regressão: Mesmo após ajustar para o volume aumentado de submissão (Modelo 2), os ECRs permaneceram significativamente mais propensos a receber pelo menos uma pontuação favorável (Razão de Chances [OR] = 2,05) e pelo menos um prêmio de R01 (OR = 2,58) em comparação com os controles.
• Pontuações de Revisão por Pares: Os ECRs receberam pontuações médias de impacto geral ligeiramente mais favoráveis do que os controles, particularmente para sua última proposta submetida durante o período de acompanhamento, embora os tamanhos de efeito para as diferenças de pontuação média tenham sido pequenos a médios.

Principais Contribuições
Este estudo fornece a primeira evidência empírica em grande escala ligando o serviço de revisão por pares no início da carreira a resultados melhorados de submissão de propostas. Ao utilizar o emparelhamento por pontuação de propensão para controlar rigorosamente a produtividade pré-existente e o estágio de carreira, os autores isolam a associação entre o serviço de revisão e o sucesso subsequente. As descobertas validam a hipótese de que o aspecto "aprender fazendo" da revisão por pares — ganhar exposição às normas de pontuação, discussões de painéis e critérios de revisão — se traduz em melhorias tangíveis na competitividade das propostas.

Significado e Afirmações
O artigo afirma que a participação no início da carreira na revisão por pares do NIH está associada a resultados melhorados de submissão de propostas, incluindo taxas de submissão mais altas, melhores pontuações de revisão e maior sucesso no financiamento. Os autores interpretam essas descobertas como consistentes com a crença autorrelatada entre cientistas de que o serviço de revisão aprimora sua capacidade de escrever propostas competitivas.

No entanto, os autores mantêm um tom modesto em relação à inferência causal. Eles reconhecem explicitamente que, embora o desenho do estudo controle para confundidores medidos, fatores não medidos (como oportunidades de networking ou aspectos não quantificáveis do processo de seleção) ainda poderiam influenciar os resultados. Além disso, eles observam que as pontuações de revisão por pares não são o único determinante do financiamento, pois a revisão de segundo nível considera o equilíbrio do portfólio e as prioridades científicas. O estudo conclui que, embora as afirmações causais sejam limitadas pela natureza observacional dos dados, a consistência dos efeitos positivos em múltiplos resultados e abordagens analíticas apoia o valor do programa ECR como um mecanismo para o desenvolvimento da força de trabalho científica.