Effects of Early Career Peer Review Service on Subsequent Grant Submission Outcomes&nbsp

Este estudio utiliza el emparejamiento por puntuación de propensión en datos administrativos de los NIH para demostrar que el servicio de revisión por pares en etapas tempranas de la carrera está asociado con un mayor volumen de solicitudes de subvenciones, mejores puntuaciones de evaluación y tasas de éxito en la financiación más altas en comparación con los pares que no participan en la revisión.

Lo esencial

La Gran Pregunta: ¿Ser "Juez" te convierte en un mejor "Participante"?

Imagina una competencia de cocina masiva y de alto riesgo. Para ganar un premio (una subida de investigación), debes presentar una receta (una solicitud de subvención). Pero antes de que tu receta sea juzgada, debes esperar en fila mientras un panel de jueces expertos prueba y critica cientos de otras recetas.

Durante años, muchos chefs (científicos) han afirmado: "Si tengo la oportunidad de sentarme en el panel de jueces, aprenderé exactamente lo que buscan los jueces. Veré cómo argumentan, qué puntuaciones otorgan y qué hace que una receta sea 'discutible'. Esta experiencia hará que mis propias recetas sean mucho mejores y ganaré más premios".

Sin embargo, hasta este estudio, no había pruebas contundentes. El problema era que las personas invitadas a ser jueces solían ser ya los mejores chefs de la cocina. Habían ganado premios, publicado libros de cocina y tenían grandes reputaciones. Así que, si ganaban la competencia más tarde, ¿era porque habían sido jueces, o simplemente porque ya eran talentosos?

El Experimento: Un Emparejamiento de "Prueba de Sabor"

Para resolver esto, los investigadores (del NIH, la gigantesca organización que financia estas "competencias de cocina") diseñaron un experimento ingenioso utilizando un método llamado Emparejamiento por Puntaje de Propensión.

Piensa en esto como una aplicación de citas para científicos. Tomaron dos grupos de personas:

1. Los Jueces: Científicos en etapas tempranas de su carrera que realmente actuaron como revisores (ECR).
2. Los No Jueces: Científicos en etapas tempranas de su carrera que estaban tan calificados para ser jueces (tenían el mismo número de publicaciones, los mismos títulos laborales y la misma experiencia) pero nunca tuvieron la oportunidad de servir.

Los investigadores utilizaron un algoritmo informático para emparejarlos perfectamente, como si fueran gemelos. Un gemelo del grupo "Juez" se emparejó con un gemelo del grupo "No Juez". Esto aseguró que cualquier diferencia en su éxito futuro no pudiera atribuirse a ser naturalmente más talentosos o a tener mejores recursos.

¿Qué Pasó Después? (Los Resultados)

Los investigadores observaron a estos dos grupos durante tres años después de que el grupo "Juez" terminara su servicio. Examinaron cuántas recetas nuevas presentaron, cuántas recibieron una segunda mirada (fueron discutidas), qué tan altas fueron sus puntuaciones y cuántas ganaron premios (financiación).

Esto es lo que encontraron:

• Más Participaciones: Los ex jueces presentaron más recetas que sus gemelos emparejados.
• Mejores Puntuaciones: Es más probable que sus recetas obtuvieran una "puntuación alta" (lo que significa que los jueces pensaron que eran excelentes).
• Más Discusión: Es más probable que sus recetas fueran seleccionadas para una animada discusión en grupo, lo cual es un gran logro en estas competencias.
• Más Victorias: Lo más importante, los ex jueces ganaron más premios de financiación que los no jueces.

La "Salsa Secreta" (¿Por qué sucedió esto?)

El artículo sugiere algunas razones por las cuales ser juez ayudó:

1. Conocimiento de Iniciados: Al igual que un participante que ha visto a los jueces debatir durante años, estos científicos aprendieron el "lenguaje secreto" del proceso de revisión. Aprendieron a escribir sus solicitudes para dar en la nota correcta y evitar los errores comunes.
2. Confianza: Ver cómo funciona el proceso desde dentro podría haberles dado más confianza para presentar más solicitudes.
3. Red de Contactos: Sentarse en la sala con otros expertos podría haber abierto puertas para colaboraciones y mentoría, aunque el estudio señala que esto es difícil de medir directamente.

El Problema (Limitaciones)

Los autores tienen cuidado de decir que esto no prueba que cada juez se convierta en un ganador.

• La Puntuación "Promedio": Aunque los jueces ganaron con más frecuencia, la puntuación promedio de todas sus recetas solo mejoró ligeramente. Es posible que solo unos pocos jueces obtuvieran un gran impulso, mientras que el resto se mantuvo igual, pero esas pocas grandes victorias elevaron al grupo.
• Factores Ocultos: Podría haber otras cosas que no medimos (como qué tan bien hicieron contactos en una fiesta) que los ayudaron a ganar, y no solo el servicio de revisión en sí.
• No es una Garantía: Ser juez no garantiza que obtengas dinero. La decisión final involucra muchos otros factores, como el presupuesto y las prioridades de la organización.

La Conclusión

Este estudio proporciona la primera evidencia sólida de que servir como revisor por pares realmente ayuda a los científicos en etapas tempranas de su carrera a obtener más subvenciones más adelante.

Es como decir: "Si tienes la oportunidad de sentarte en la silla del juez, aprendes las reglas del juego tan bien que cuando juegas como participante, es más probable que ganes". Los investigadores concluyen que este programa es una excelente manera de entrenar a la próxima generación de científicos, no solo para ayudar a la organización a dirigir sus reuniones, sino para ayudar a esos científicos a tener éxito en sus propias carreras.

Resumen técnico

Resumen Técnico: Efectos del Servicio de Revisión por Pares en la Carrera Temprana sobre los Resultados de Presentación de Subvenciones Posteriores

Enunciado del Problema
Los Institutos Nacionales de Salud (NIH) dependen en gran medida de la revisión por pares para evaluar el mérito científico de las solicitudes de subvenciones, un proceso que requiere un tiempo significativo no compensado por parte de los científicos. Aunque muchos revisores creen subjetivamente que servir en secciones de estudio mejora sus propias habilidades de redacción de subvenciones y su competitividad, la evidencia empírica que respalda esta afirmación ha sido limitada. Un desafío principal en la evaluación de esta relación es el sesgo de selección: los investigadores seleccionados para la revisión por pares suelen poseer características (por ejemplo, registros sólidos de publicaciones, financiamiento previo) que también predicen resultados exitosos en las subvenciones. En consecuencia, es difícil distinguir si los mejores resultados son causados por la experiencia de revisión o simplemente reflejan la calidad preexistente de los investigadores seleccionados. Este estudio aborda este factor de confusión examinando si los investigadores en la carrera temprana que sirvieron como Revisores de Carrera Temprana de los NIH (ECR) lograron mejores resultados de subvenciones posteriores en comparación con un grupo emparejado de investigadores elegibles que no sirvieron.

Metodología
El estudio empleó un diseño cuasiexperimental retrospectivo utilizando datos administrativos del Centro de Revisión Científica (CSR) de los NIH y datos de publicaciones de Dimensions.

• Población de Estudio: El grupo de tratamiento consistió en 1.862 investigadores que sirvieron como ECR durante los años del consejo 2020-2021. El grupo de control se construyó a partir de investigadores que cumplían los criterios de elegibilidad para ECR (por ejemplo, rango de Profesor Asistente, revisión previa de solicitudes, conteos específicos de publicaciones, sin financiamiento previo R01) pero que no habían servido como revisores.
• Emparejamiento por Puntaje de Propensión (PSM): Para abordar la selección no aleatoria y los factores de confusión, los autores utilizaron emparejamiento 1:1 por vecino más cercano con puntaje de propensión sin reemplazo. Las covariables incluyeron campo de investigación, sexo, raza/etnia, volumen de solicitudes previas, historial de financiamiento previo, conteos de publicaciones, edad académica y niveles de financiamiento institucional. Este proceso resultó en una muestra analítica equilibrada de 1.120 ECR y 1.120 controles emparejados.
• Resultados: Los resultados se evaluaron durante un período de seguimiento de tres años posterior a la fecha índice (fecha de servicio para los ECR; fecha de revisión equivalente para los controles). Los resultados principales se centraron en las solicitudes R01 y equivalentes a R01 e incluyeron: volumen de presentación, número de solicitudes discutidas, número de solicitudes que recibieron puntuaciones de alto impacto (≤35), número de solicitudes financiadas, montos totales de premios y puntuaciones de revisión por pares.
• Análisis Estadístico: Los análisis utilizaron modelos de regresión ajustados por las covariables de emparejamiento. Los análisis de sensibilidad incluyeron modelos que ajustaron adicionalmente por el volumen de presentación para probar si las diferencias en los resultados eran meramente una función del aumento de la frecuencia de presentación de solicitudes.

Resultados Clave

• Presentación y Discusión: Los ECR presentaron significativamente más solicitudes R01 que los controles (media 2,52 vs. 1,40) y tuvieron más probabilidades de tener solicitudes discutidas (media 1,41 vs. 0,68).
• Puntuación y Financiamiento: Los ECR lograron un mayor número de solicitudes con puntuaciones de impacto favorables (≤35) (0,47 vs. 0,20) y recibieron más premios R01 (0,43 vs. 0,16). Las magnitudes del efecto para estos resultados fueron moderadas (d de Cohen oscilando entre 0,38 y 0,49).
• Ajustes de Regresión: Incluso después de ajustar por el aumento del volumen de presentación (Modelo 2), los ECR permanecieron significativamente más propensos a recibir al menos una puntuación favorable (Odds Ratio [OR] = 2,05) y al menos un premio R01 (OR = 2,58) en comparación con los controles.
• Puntuaciones de Revisión por Pares: Los ECR recibieron puntuaciones promedio de impacto general ligeramente más favorables que los controles, particularmente para su última solicitud presentada durante el período de seguimiento, aunque las magnitudes del efecto para las diferencias en la puntuación promedio fueron pequeñas a medianas.

Contribuciones Clave
Este estudio proporciona la primera evidencia empírica a gran escala que vincula el servicio de revisión por pares en la carrera temprana con resultados mejorados en la presentación de solicitudes de subvenciones. Al utilizar el emparejamiento por puntaje de propensión para controlar rigurosamente la productividad preexistente y la etapa de la carrera, los autores aíslan la asociación entre el servicio de revisión y el éxito posterior. Los hallazgos validan la hipótesis de que el aspecto de "aprender haciendo" de la revisión por pares —obtener exposición a las normas de puntuación, las discusiones de paneles y los criterios de revisión— se traduce en mejoras tangibles en la competitividad de las subvenciones.

Significado y Afirmaciones
El artículo afirma que la participación temprana en la carrera en la revisión por pares de los NIH se asocia con resultados mejorados en la presentación de solicitudes de subvenciones, incluidas tasas de presentación más altas, mejores puntuaciones de revisión y mayor éxito en la obtención de financiamiento. Los autores interpretan estos hallazgos como consistentes con la creencia autoinformada entre los científicos de que el servicio de revisión mejora su capacidad para redactar subvenciones competitivas.

Sin embargo, los autores mantienen un tono modesto con respecto a la inferencia causal. Reconocen explícitamente que, aunque el diseño del estudio controla los factores de confusión medidos, factores no medidos (como oportunidades de networking o aspectos no cuantificables del proceso de selección) podrían aún influir en los resultados. Además, señalan que las puntuaciones de revisión por pares no son el único determinante del financiamiento, ya que la revisión de segundo nivel considera el equilibrio del portafolio y las prioridades científicas. El estudio concluye que, aunque las afirmaciones causales están limitadas por la naturaleza observacional de los datos, la consistencia de los efectos positivos en múltiples resultados y enfoques analíticos respalda el valor del programa ECR como un mecanismo para el desarrollo de la fuerza laboral científica.