Comparing the outputs of intramural and extramural grants funded by National Institutes of Health

Este estudo compara os resultados de bolsas intramurais e extramurais dos Institutos Nacionais de Saúde, revelando que, embora as bolsas extramurais sejam mais eficazes em custo para produzir publicações e citações acadêmicas, as intramurais geram pesquisas mais impactantes para a prática clínica e alinhadas aos objetivos de saúde da agência.

O essencial

Imagine que o NIH (o principal órgão de financiamento de pesquisas médicas dos EUA) é como um grande chef de cozinha que quer preparar o melhor prato possível para a saúde da humanidade. Para isso, ele tem duas formas de cozinhar:

1. Cozinha Própria (Pesquisa Intramural): O chef contrata seus próprios cozinheiros, compra os ingredientes e usa a própria cozinha do restaurante. Ele não precisa pedir permissão para nada, só precisa garantir que o time esteja fazendo um bom trabalho.
2. Pedir para Restaurantes Externos (Pesquisa Extramural): O chef dá dinheiro para cozinheiros de restaurantes de todo o país (universidades) para que eles cozinhem pratos para ele.

Este estudo comparou essas duas abordagens para ver qual delas traz mais "pratos" (pesquisas) e de melhor qualidade pelo dinheiro gasto.

Aqui está o que eles descobriram, usando analogias simples:

1. O Tamanho dos Pedidos

• Cozinha Própria: O chef dá pedidos grandes e caros para seus próprios cozinheiros. Cada projeto recebe muito dinheiro, mas são poucos projetos no total.
• Restaurantes Externos: O chef dá pedidos menores para muitos cozinheiros diferentes. São milhares de projetos, mas cada um recebe menos dinheiro individualmente.

2. O Que Eles Cozinham (Os Tópicos)

• Cozinha Própria: Foca muito em vacinas, câncer e genética. É como se a cozinha própria tivesse um laboratório especial focado apenas nessas áreas críticas.
• Restaurantes Externos: Cozinham de tudo um pouco, com foco em adolescentes, saúde da mãe e estudos cerebrais. É mais diversificado.

3. A Eficiência do Dinheiro (O Veredito Principal)

Aqui está a parte mais interessante. Depende do que você quer medir:

• Para "Publicar Receitas" (Artigos Científicos e Citações):

  • Vencedor: Restaurantes Externos.
  • Analogia: Se o objetivo é ter o maior número de receitas publicadas em revistas de culinária e que outros chefs as copiem, os cozinheiros externos são mais eficientes. Eles produzem mais "papelada" e "fama" por cada dólar gasto. Isso acontece porque eles têm que competir muito para conseguir o dinheiro, então trabalham duro para mostrar resultados rápidos.

• Para "Salvar Vidas" (Pesquisa que vai para a Clínica):

  • Vencedor: Cozinha Própria.
  • Analogia: Se o objetivo é criar um prato que realmente ajude um paciente no hospital amanhã, a cozinha própria é mais eficiente. O dinheiro gasto lá gera pesquisas que têm mais chance de virar tratamentos reais.
  • Por que? Os cozinheiros da cozinha própria não perdem tempo escrevendo pedidos de orçamento (propostas de financiamento). Eles só cozinham. Além disso, o chef pode contratar exatamente as pessoas que ele quer para resolver problemas específicos de saúde, sem burocracia.

4. O Segredo por Trás da Diferença

O estudo sugere que a motivação de cada grupo é diferente:

• Os Externos querem impressionar a comunidade acadêmica (mais artigos, mais citações). É como um cozinheiro querendo ganhar prêmios de "Melhor Restaurante".
• Os Internos querem cumprir a missão do chefe (resolver problemas de saúde). É como um cozinheiro focado apenas em alimentar os clientes que precisam, sem se preocupar com prêmios.

Conclusão Simples

Não existe um "melhor" absoluto. O estudo diz que o NIH (o chef) está fazendo algo inteligente ao usar ambos:

• Usa os restaurantes externos para gerar muita inovação, novas ideias e publicar muito (o que é bom para o avanço geral da ciência).
• Usa a cozinha própria para focar em problemas difíceis de saúde e garantir que a pesquisa chegue até os pacientes (o que é bom para a missão de salvar vidas).

Resumo em uma frase: Os cozinheiros de fora são ótimos para produzir muitas ideias e artigos, mas os cozinheiros de dentro são mais eficientes em transformar essas ideias em tratamentos reais para os pacientes.

Resumo técnico

Título: Comparação dos Resultados de Subvenções Intramurais e Extramurais Financiadas pelos Institutos Nacionais de Saúde (NIH)

1. Problema e Contexto

As agências de fomento à pesquisa, como os Institutos Nacionais de Saúde (NIH) dos EUA, utilizam dois mecanismos distintos para financiar a ciência:

• Pesquisa Intramural: Cientistas são empregados diretamente pelo NIH para realizar pesquisas em seus próprios laboratórios governamentais.
• Pesquisa Extramural: O NIH concede subsídios (grants) para pesquisadores em instituições externas, como universidades e hospitais.

Apesar de o NIH gastar bilhões anualmente em ambos os modelos (aproximadamente US$ 5 bilhões em intramural e US$ 39 bilhões em extramural em 2022), há uma lacuna significativa na literatura sobre as vantagens relativas de cada mecanismo. A questão central é: qual modelo oferece melhor custo-benefício para diferentes tipos de resultados científicos (publicações, citações, impacto clínico) e como as incentivos institucionais moldam esses resultados?

2. Metodologia

O estudo utilizou uma abordagem quantitativa robusta baseada em grandes volumes de dados:

• Base de Dados: Dados extraídos do NIH RePORTER, cobrindo o período de 2009 a 2019.
  • Amostra Final: 1.594 projetos intramurais e 97.054 projetos extramurais.
  • Saída Analisada: 621.138 artigos científicos associados a esses projetos.
• Limpeza e Processamento de Dados:
  • Exclusão de projetos de renovação para evitar viés temporal.
  • Normalização de códigos de atividade para lidar com mudanças administrativas.
  • Uso de modelos de Random Forest para excluir projetos não orientados à pesquisa (baseado em títulos e resumos).
  • Exclusão de artigos com financiamento misto (intramural e extramural simultaneamente) para garantir a pureza da comparação.
• Métricas de Desempenho:
  • Quantitativas: Número de publicações.
  • Qualitativas/Influência: Relative Citation Ratio (RCR) – uma medida normalizada por campo e tempo.
  • Tradução Clínica: "Potencial Aproximado de Tradução" (previsão de ML para citações clínicas), contagem total de citações clínicas e número de artigos com pelo menos uma citação clínica.
• Análise de Custo-Efetividade:
  • Cálculo do custo médio por unidade de saída (ex: custo por artigo, custo por RCR).
  • Os custos incluem despesas diretas e indiretas (ajustadas pela inflação para o nível de preços de 2015).
  • Análise de Sensibilidade: Um cenário ajustou os custos indiretos extramurais em +30% para refletir custos não recuperados pelas universidades.
• Modelagem Estatística:
  • Regressão Linear: Para estimar diferenças entre os tipos de financiamento, controlando por variáveis do Investigador Principal (PI), tema do projeto, duração e colaborações.
  • Propensity Score Matching (PSM): Emparelhamento 1:1 e 1:4 entre projetos intramurais e extramurais com características semelhantes (tópico, histórico de publicações, colaborações) para reduzir viés de variáveis ocultas.
  • Clusterização: Uso de Word2Vec e Spectral Clustering para categorizar temas de pesquisa e classificar artigos como focados em humanos, animais ou molecular/celular.

3. Contribuições Principais

• Comparação Direta: É um dos primeiros estudos a comparar sistematicamente a eficiência de custo e os resultados científicos entre os dois modelos de financiamento do NIH em larga escala.
• Desconstrução de Métricas: Demonstra que a "eficiência" depende da métrica escolhida; o modelo extramural é superior para métricas acadêmicas tradicionais, enquanto o intramural é superior para métricas de saúde clínica.
• Análise de Incentivos: Fornece evidências empíricas de que as estruturas de incentivos institucionais (foco em publicação vs. alinhamento com a missão de saúde pública) dirigem os resultados de forma distinta.
• Reavaliação de Custos: Inclui uma análise de sensibilidade que considera os custos ocultos das universidades, validando a robustez das conclusões mesmo sob cenários de custo mais rigorosos.

4. Resultados Chave

• Diferenças Temáticas: Projetos intramurais têm maior representação em infecções virais, câncer e genética (devido a centros específicos como o Vaccine Research Center e o NCI). Projetos extramurais cobrem uma gama mais ampla, incluindo saúde materna e estudos cerebrais.
• Custo dos Projetos: Projetos intramurais recebem financiamento médio anual significativamente maior (crescendo de ~$0,42M para ~$0,45M) em comparação aos extramurais (estável abaixo de $0,5M). Isso reflete a necessidade de pesquisadores extramurais de obter múltiplos subsídios para sustentar seus laboratórios.
• Produtividade Bruta vs. Custo-Efetividade:
  • Em termos absolutos, projetos intramurais produziram mais artigos e citações por projeto individualmente.
  • No entanto, em termos de custo por unidade de saída (custo-efetividade), o modelo extramural é superior para métricas acadêmicas: número de artigos, RCR e potencial de tradução geral.
• Vantagem Clínica do Intramural: Quando analisadas as métricas de impacto clínico (citações em artigos clínicos), a vantagem de custo do modelo extramural diminui ou se inverte. O modelo intramural mostra-se mais custo-efetivo para gerar pesquisas que informam diretamente o trabalho clínico e a saúde humana.
• Dinâmica Temporal: A diferença de produtividade bruta entre os dois modelos diminuiu ao longo do tempo (2008-2020), mas a divergência de custo-efetividade baseada no tipo de métrica permaneceu consistente.
• Foco em Humanos: Contrariando a hipótese de que projetos intramurais de longa duração seriam mais focados em humanos, os dados mostraram que projetos intramurais de longa duração tendem a ter menores escores de foco em humanos e maiores escores em animais/molecular, enquanto os extramurais de longa duração são mais focados em humanos.

5. Significado e Implicações

• Gestão de Portfólio: Os resultados sugerem que não existe um modelo "melhor" universalmente. O NIH deve manter ambos os modelos, mas reconhecendo seus nichos de excelência:
  • Extramural: Ideal para maximizar a geração de conhecimento bruto, publicações e formação de força de trabalho acadêmica (devido ao compartilhamento de custos e incentivos de carreira).
  • Intramural: Ideal para pesquisas alinhadas diretamente com a missão de saúde do governo, especialmente aquelas que exigem tradução rápida para a prática clínica e estudos de longo prazo sem a pressão de submissão de propostas.
• Política Pública: A análise apoia reformas sugeridas pelo Senado dos EUA que propõem diferenciar os portfólios: focar a pesquisa extramural em inovação de alto risco/recompensa e pesquisa básica, enquanto o intramural deve focar em necessidades de saúde não atendidas e tradução clínica.
• Aplicabilidade Geral: As descobertas podem ser extrapoladas para outras agências (como o Departamento de Defesa ou NSF), sugerindo que alinhar a estrutura de financiamento (institucional vs. externa) com os objetivos específicos da missão (aplicado vs. básico) otimiza o retorno sobre o investimento público.

Em suma, o estudo conclui que as diferenças de desempenho são impulsionadas por incentivos estruturais: pesquisadores universitários (extramurais) são incentivados a publicar e citar para avançar em suas carreiras, enquanto pesquisadores do NIH (intramurais) são avaliados por seu alinhamento com os objetivos de saúde da agência, resultando em um ecossistema de pesquisa complementar.