The Why, What, How and When of Big Science evaluation. Perspectives on socio-economic assessment of research infrastructures

Grandes instalações científicas, frequentemente chamadas de "big science" (grande ciência), são os motores massivos da descoberta moderna. Pense nelas como os gigantescos telescópios que espreitam o universo distante, os aceleradores de partículas que colidem átomos para revelar os blocos fundamentais da matéria, ou os reatores de fusão que tentam replicar a energia das estrelas. Estas não são apenas laboratórios; são infraestruturas de pesquisa, máquinas colossais que custam bilhões para serem construídas e operadas, exigindo décadas de planejamento e cooperação internacional. Como são tão caras e dependem de dinheiro público, uma questão crítica surgiu: será que elas realmente trazem retorno para a sociedade? Não basta saber que produzem novos artigos científicos. Governos e cidadãos querem saber se esses investimentos impulsionam novas indústrias, criam empregos, melhoram a saúde ou resolveam problemas globais. Este é o domínio da avaliação socioeconômica, um campo dedicado a medir o valor real desses gigantes científicos. Durante anos, a expectativa foi de que cada grande instalação provasse rigorosamente o seu valor, mas a realidade no terreno tem sido muito mais complicada.

Uma nova análise reúne especialistas de todo o panorama científico europeu para examinar por que essa lacuna existe e como resolvê-la. Os autores, baseando-se em uma discussão estruturada entre profissionais e formuladores de políticas, argumentam que a forma atual como julgamos essas instalações está quebrada. Em vez de tratar a avaliação como um exercício de mera formalidade feito apenas quando um financiador exige, eles propõem que ela deve se tornar uma parte contínua e integrada da vida da instalação. O artigo sugere que devemos parar de tentar provar que uma máquina específica causou uma invenção específica, uma tarefa que é frequentemente impossível, e focar em como a instalação contribuiu para um ecossistema mais amplo de inovação. A conclusão central é que, para que essas avaliações sejam úteis, elas devem ser planejadas desde o primeiro dia em que um projeto é concebido, apoiadas por sistemas de dados dedicados e comunicadas com honestidade sobre o que sabemos e o que permanece incerto.

As razões para avaliar esses projetos são três, e cada uma exige uma abordagem diferente. Primeiro, há o argumento econômico. A ciência é frequentemente um bem público, o que significa que os benefícios da descoberta transbordam para todos, não apenas para quem a pagou. As empresas privadas raramente investem o suficiente em pesquisa básica porque não podem capturar todos os lucros. O financiamento público preenche essa lacura, mas deve ser justificado ao demonstrar que os benefícios superam os custos. Segundo, há a questão da legitimidade. À medida que o escrutínio público cresce, os cientistas devem ser capazes de explicar aos cidadãos comuns por que gastar bilhões em um acelerador de partículas é uma boa ideia. Isso não é apenas sobre relações públicas; trata-se de manter o contrato social que permite a existência desses projetos. Terceiro, há uma necessidade prática. Ao projetar uma instalação massiva, existem frequentemente diferentes opções sobre como construí-la ou quando construí-la. A avaliação pode ajudar os tomadores de decisão a escolher o caminho que oferece mais valor, mas isso só funciona se a análise ocorrer antes que as plantas sejam finalizadas e o dinheiro seja gasto.

No entanto, medir esse valor é incrivelmente difícil. Um grande obstáculo é o problema da atribuição. Na complexa teia da inovação moderna, é quase impossível traçar uma linha reta de um investimento específico em uma instalação de pesquisa para um produto específico na prateleira de uma loja. Considere a história do Sistema de Posicionamento Global, ou GPS. Começou com uma simples observação de um sinal de satélite na década de 1950, levando a um sistema de navegação para submarinos e, eventualmente, à tecnologia que guia bilhões de smartphones hoje. As aplicações comerciais não eram visíveis no início; elas surgiram décadas depois através de um processo longo e sinuoso de descoberta. Tentar alegar que a pesquisa original "causou" a indústria dos smartphones é enganoso. Em vez disso, o artigo argumenta que devemos observar como a instalação contribuiu para o ecossistema que tornou tais descobertas possíveis. Outro desafio é valorar coisas que não podem ser compradas ou vendidas. Como se coloca um preço nos canais diplomáticos abertos quando cientistas de blocos políticos opostos trabalharam juntos durante a Guerra Fria? Ou no valor de inspirar uma geração de estudantes a se tornarem cientistas? Esses impactos são reais e vitais, mas os métodos atuais têm dificuldade em medi-los em dólares.

A forma como esses resultados são comunicados é tão importante quanto os próprios números. Existe uma pressão persistente para reduzir uma avaliação complexa a um único número chamativo, como um multiplicador que afirma que cada dólar gasto retorna dez dólares para a economia. Os autores alertam que isso é perigoso. Cria uma falsa sensação de precisão e encoraja os pesquisadores a ajustar seus modelos até obterem um número favorável. Também esconde a incerteza que é inerente à previsão do futuro. Uma abordagem mais honesta é apresentar uma gama de resultados possíveis, reconhecendo que o futuro não é um ponto único, mas uma probabilidade. Essa transparência permite que os formuladores de políticas compreendam os riscos e as recompensas sem serem induzidos ao erro por uma falsa sensação de certeza.

Talvez a recomendação mais significativa do artigo seja que a avaliação deve ser tratada como uma atividade de ciclo de vida, não como um evento isolado. Atualmente, muitas instalações só pensam na avaliação depois de construídas, o que cria uma lacuna de dados. No momento em que desejam medir seu impacto, os dados de base desapareceram e as conexões entre a instalação e o mundo tornaram-se difíceis de rastrear. Os autores sugerem que a coleta de dados para avaliação deve ser incorporada ao design da instalação desde o início, tal como a própria maquinaria. Isso significa manter registros detalhados de quem trabalha lá, o que compram e o que publicam, organizados de uma forma que os economistas possam realmente utilizar. Algumas instalações, como os experimentos no Grande Colisor de Hádrons, já curam seus dados científicos com esse nível de cuidado; o artigo argumenta que elas deveriam fazer o mesmo com seus dados socioeconômicos. Isso permitiria uma história contínua de impacto, atualizando-se conforme a instalação amadurece, em vez de um conjunto fragmentado de relatórios.

O artigo também aborda a natureza política da avaliação. Decidir o que conta como sucesso e o que não conta não é apenas um cálculo matemático; envolve julgamentos de valor. Existe o risco de que os gestores das instalações sejam tentados a moldar suas avaliações para fazer seus projetos parecerem melhores, focando em vitórias de curto prazo e fáceis de medir, enquanto ignoram descobertas transformadoras de longo prazo que levam décadas para amadurecer. Para combater isso, os autores apontam para um modelo usado na França, onde um escritório independente revisa a qualidade das avaliações econômicas de grandes projetos governamentais. Esse escrutínio independente ajuda a garantir que a análise seja honesta e não apenas uma ferramenta de justificativa política.

Em última análise, os autores concluem que devemos abraçar um senso de humildade na forma como medimos o valor da grande ciência. As ferramentas que temos estão melhorando, mas não são perfeitas. Elas lutam com os longos horizontes temporais da descoberta científica e os benefícios intangíveis que definem uma sociedade saudável. Reconhecer esses limites não é um sinal de fraqueza; é uma necessidade profissional. Ao tratar a avaliação como um processo contínuo, transparente e integrado, podemos compreender melhor o verdadeiro retorno do nosso investimento na grande ciência. Essa mudança nos moveria de uma cultura de conformidade, onde relatórios são arquivados para satisfazer um requisito, para uma cultura de aprendizado, onde os insights obtidos ajudam a moldar uma ciência e políticas melhores para o futuro. O objetivo não é provar que cada dólar gasto é um lucro garantido, mas construir um sistema onde possamos ver honestamente como esses motores massivos de descoberta estão impulsionando o progresso para todos nós.