Report on reproducibility in condensed matter physics

Este relatório apresenta recomendações e melhores práticas desenvolvidas por uma colaboração multidisciplinar para melhorar a reprodutibilidade e replicabilidade na física da matéria condensada, visando salvaguardar o valor dessa área da ciência.

O essencial

Imagine que a Física da Matéria Condensada é como uma gigantesca cozinha de receitas secretas. Nesses laboratórios, cientistas misturam ingredientes (átomos, elétrons, campos magnéticos) para criar pratos incríveis: desde chips de computador que fazem nossos celulares funcionarem até novos materiais que podem revolucionar a medicina.

Por anos, a comunidade científica acreditou que, como a física segue leis naturais imutáveis, qualquer pessoa poderia entrar na cozinha, pegar a receita e fazer o mesmo prato. Acreditava-se que a ciência se "autocorrigia": se alguém errasse, outra pessoa tentaria fazer de novo, veria que não funcionou e o erro seria esquecido.

Mas esse relatório, feito por um grupo diverso de especialistas (cientistas, jornalistas, advogados e editores), diz que essa confiança está abalada. Estamos vivendo uma "crise de confiança" na cozinha. Muitas receitas publicadas não funcionam quando tentamos cozinhá-las em outra casa.

Aqui está o resumo do que está acontecendo e o que eles propõem para consertar, usando analogias simples:

1. O Problema: A Receita Incompleta e o "Chef" Apressado

O relatório aponta que muitos cientistas estão focados em criar o prato mais "chique" e impressionante possível para ganhar prêmios e dinheiro, em vez de garantir que a receita seja perfeita e reprodutível.

• O Efeito "Revés de Occam": Em vez de escolher a explicação mais simples e provável para um fenômeno, os cientistas tendem a escolher a explicação mais exótica e emocionante (como dizer que encontraram um "dragão" em vez de um "cachorro" quando veem algo estranho no jardim).
• A Cozinha Fechada: Muitos pesquisadores não compartilham seus ingredientes brutos (dados), suas ferramentas exatas (códigos de computador) ou seus passos detalhados. Eles dizem: "Acredite em mim, confie no meu nome". Mas se você não pode ver como o prato foi feito, como pode ter certeza de que ele é real?
• O Viés do Sucesso: As revistas científicas (os "críticos gastronômicos") adoram publicar histórias de sucesso e descobertas revolucionárias. Elas raramente publicam histórias de "tentativa e erro" ou de "isso não funcionou". Isso cria um ambiente onde apenas o sucesso é visto, escondendo os fracassos que poderiam ensinar algo importante.

2. As Consequências: O Que Acontece Quando a Receita Falha?

Quando a ciência não é reprodutível, o resultado é um desperdício enorme:

• Dinheiro Jogado no Lixo: Governos e empresas gastam milhões tentando seguir receitas que não existem ou que estão erradas.
• Carreiras Destruídas: Jovens pesquisadores passam anos tentando repetir um experimento que nunca funcionou, perdendo tempo precioso.
• Fraudes e Erros: Às vezes, dados são manipulados (como pintar o prato de uma cor diferente para parecer mais saboroso) ou simplesmente esquecidos.

3. A Solução: A Nova "Carta de Cozinha" Aberta

O grupo reuniu-se para criar uma lista de regras novas para garantir que a ciência volte a ser confiável. Eles chamam isso de Ciência Aberta. Aqui estão as principais ideias, traduzidas para o dia a dia:

Para os Cientistas (Os Chefs):

• Mostre a Cozinha Inteira: Não mostre apenas o prato final. Mostre todos os ingredientes crus, os dados brutos e os códigos usados. Se você fez um bolo, mostre a foto da massa crua, não apenas o bolo decorado.
• Conte Todos os Ingredientes: Se você testou 10 bolos e 9 derreteram, mas publicou apenas o 10º que ficou perfeito, você está mentindo. Relate todos os testes, inclusive os que falharam.
• Compartilhe a Receita: Se você desenvolveu um software ou um método especial, compartilhe o código. Se não pode agora, prometa quando vai compartilhar.
• Peça Ajuda para Verificar: Antes de publicar, todos os autores do artigo devem ter acesso aos dados e poder tentar refazer a análise. Ninguém deve assinar um trabalho sem ter visto a "cozinha" inteira.

Para as Revistas Científicas (Os Críticos):

• Valorize a Verdade, Não o Espetáculo: Publique mais trabalhos que dizem "não funcionou" ou "tentamos replicar e falhamos". Isso é tão importante quanto a descoberta de um novo elemento.
• Exija a Receita Completa: Não aceite artigos que digam "os dados estão disponíveis sob pedido". Exija que os dados estejam em um lugar público e acessível para todos, como uma receita postada na internet.
• Revise o "Anexo": Muitas vezes, os detalhes importantes estão escondidos em materiais suplementares. Os revisores devem olhar esses anexos com a mesma atenção que o artigo principal.

Para as Universidades e Financiadores (Os Donos do Restaurante):

• Pague pela Repetição: Financie projetos que tenham como objetivo apenas tentar repetir descobertas famosas. Isso parece chato, mas é a única maneira de saber se a descoberta é real.
• Mude o Critério de Promoção: Não promova cientistas apenas pelo número de artigos que publicaram ou pelo "impacto" deles. Promova quem compartilha dados, quem ajuda outros a repetir seus experimentos e quem admite erros.
• Proteja os Denunciantes: Se um estudante ou pesquisador júnior notar algo errado, ele deve ter proteção para falar sem medo de ser demitido ou perseguido.

Conclusão: Por que isso importa para você?

Você pode pensar: "Isso é problema de cientistas, não meu". Mas a física da matéria condensada é a base da tecnologia que você usa hoje. Se a ciência por trás dos chips, das baterias e dos sensores estiver baseada em receitas falsas ou incompletas, o futuro tecnológico pode ser construído sobre areia movediça.

Este relatório é um chamado para transparência. É um pedido para que a ciência deixe de ser um clube fechado de "confie em mim" e se torne uma construção colaborativa onde "verifique por si mesmo" é a regra. Só assim poderemos continuar a inventar o futuro com segurança.

Resumo técnico

1. O Problema

O relatório identifica uma crise crescente de reprodutibilidade e replicabilidade na Física da Matéria Condensada (FMC), um campo que historicamente produziu avanços fundamentais e tecnológicos (como LEDs, transistores e ressonância magnética). Embora a física seja frequentemente vista como imune a crises de replicação devido à sua natureza baseada em leis naturais invariantes, o grupo de trabalho argumenta que a FMC enfrenta desafios semelhantes aos das ciências sociais e biomédicas.

Os principais fatores que contribuem para este problema incluem:

• Viés de Publicação: Tendência a publicar resultados surpreendentes, novos ou "sensacionais" em detrimento de narrativas mais mundanas ou resultados negativos (efeito da "Navalha de Occam Inversa").
• Falta de Transparência: Relatórios insuficientes de metodologias, parâmetros experimentais e processamento de dados. A reputação do autor muitas vezes substitui a verificação direta dos resultados.
• Incentivos Perversos: A pressão por publicações de alto impacto, financiamento e promoções acadêmicas incentiva a apresentação seletiva de dados e desencoraja o trabalho de replicação, que é visto como de baixo retorno profissional.
• Barreiras Culturais e Técnicas: Dados e códigos muitas vezes não são compartilhados devido a preocupações com "ser roubado" (scooping), falta de padronização, ou porque os dados são considerados "desorganizados". Além disso, a natureza exploratória da FMC torna difícil a pré-registro de hipóteses.

2. Metodologia

O relatório não é um estudo experimental, mas sim um documento de consenso baseado em uma colaboração multidisciplinar.

• Origem: Os resultados derivam da "International Conference on Reproducibility in Condensed Matter Physics", realizada em maio de 2024 na Universidade de Pittsburgh.
• Participantes: O grupo incluiu pesquisadores de academia e laboratórios governamentais, editores de revistas científicas, jornalistas científicos, profissionais jurídicos e representantes de sociedades profissionais.
• Processo: A metodologia envolveu discussões em painéis, estudos de caso específicos (ex: supercondutividade de alta pressão, modos zero de Majorana, teoria do funcional da densidade) e sessões de trabalho de 7 horas focadas em identificar falhas e propor soluções.
• Definições: O relatório adota as definições do relatório NASEM (2019):
  • Reprodutibilidade: Obter resultados consistentes usando os mesmos dados, códigos e métodos fornecidos pelos autores originais.
  • Replicabilidade: Obter resultados consistentes ao realizar novos experimentos ou análises computacionais independentes para responder à mesma pergunta científica.

3. Principais Contribuições e Recomendações

O relatório oferece um conjunto abrangente de recomendações práticas divididas por atores do ecossistema científico:

A. Para Pesquisadores de FMC (Melhores Práticas)

1. Relato Completo: Incluir faixas completas de parâmetros experimentais e teóricos explorados, não apenas os que levaram a conclusões positivas.
2. Acesso aos Dados: Todos os autores devem ter acesso aos dados primários e códigos de análise antes de consentir com a publicação.
3. Transparência de Processamento: Especificar todos os passos de processamento de dados (do dado bruto às figuras finais) e fornecer scripts ou notebooks computacionais.
4. Compartilhamento de Dados: Liberar o máximo possível de dados primários e metadados em repositórios citáveis, seguindo os princípios FAIR (Findable, Accessible, Interoperable, Reusable).
5. Interpretação Equilibrada: Sumarizar todas as interpretações plausíveis dos resultados, incluindo explicações alternativas e dados que não confirmam a hipótese principal.
6. Correção de Erros: Retratar ou corrigir prontamente trabalhos anteriores se erros forem descobertos após a publicação.

B. Para Editores e Publicadores

1. Foco na Validade: Priorizar a validade científica e a precisão dos dados sobre o apelo subjetivo ou a "novidade" do resultado.
2. Requisitos de Dados: Exigir a disponibilidade de dados completos e scripts em repositórios citáveis como condição para publicação, substituindo a cláusula vaga de "disponível sob solicitação".
3. Apoio à Replicação: Criar categorias ou seções específicas para publicar estudos de replicação (incluindo resultados negativos) e estabelecer critérios claros de aceitação para tais trabalhos.
4. Revisão Aberta: Considerar a adoção de processos de revisão por pares abertos (relatórios públicos, identidades dos revisores) para aumentar a responsabilidade.
5. Políticas de Retração: Desenvolver políticas transparentes e ágeis para retratações e correções, reduzindo o estigma associado a elas.

C. Para Universidades e Laboratórios de Pesquisa

1. Reconhecimento de Outputs: Considerar conjuntos de dados e códigos como produtos de pesquisa válidos para promoções e avaliações de carreira.
2. Métricas de Avaliação: Desvalorizar índices de publicação (como fator de impacto) em favor da qualidade e reprodutibilidade do conteúdo científico.
3. Investigação de Má Conduta: Seguir procedimentos rigorosos e transparentes para investigar má conduta, protegendo denunciantes (whistleblowers) e investigando a base factual completa de relatórios, não apenas casos de fraude comprovada.

D. Para Agências de Fomento e Governos

1. Financiamento de Replicação: Financiar explicitamente trabalhos destinados a replicar resultados anteriores, especialmente aqueles de alto impacto.
2. Exigências de Planejamento: Requerer que propostas de subsídio incluam planos detalhados para reprodutibilidade e replicabilidade.
3. Recompensa: Avaliar e recompensar a reprodutibilidade dos projetos financiados.
4. Obrigação de Reportar: Exigir que organizações receptoras de fundos relatem alegações de má conduta científica às agências de fomento.

4. Resultados e Evidências Apresentadas

O relatório não apresenta novos dados experimentais, mas sintetiza evidências de que a crise é real e generalizada:

• Casos de Retratação: Cita várias retratações de alto perfil em revistas como Nature e Science envolvendo supercondutividade em temperatura ambiente e férmions de Majorana.
• Incerteza na Comunidade: Cita pesquisas informais e surveys onde uma porcentagem significativa de pesquisadores relata ter testemunhado descrições não verdadeiras de técnicas ou falsificação de dados.
• Falhas de Infraestrutura: Aponta que, embora existam repositórios de dados (como Zenodo, Figshare), a adoção é baixa devido a barreiras culturais e falta de políticas de enforcement.
• Viés de Publicação: Observa que a proporção de resultados negativos publicados está diminuindo, o que distorce a percepção da comunidade sobre a viabilidade de certas linhas de pesquisa.

5. Significado e Impacto

Este relatório é um marco para a Física da Matéria Condensada por:

• Reconhecimento Oficial: Admite abertamente que a física não está imune à crise de replicação, desafiando a noção de que "a ciência se corrige sozinha" sem intervenção ativa.
• Mudança Cultural: Propõe uma mudança fundamental na cultura científica, onde a transparência e a reprodutibilidade são valorizadas tanto quanto a descoberta de novos fenômenos.
• Guia de Ação: Fornece um roteiro prático e acionável para pesquisadores, editores, instituições e financiadores, indo além da teoria para sugerir políticas específicas (ex: listas de verificação para revisores, políticas de código embargado).
• Preservação do Conhecimento: Ao garantir que dados e métodos sejam compartilhados, o relatório visa preservar o valor do investimento público em pesquisa e evitar que carreiras e recursos sejam desperdiçados tentando replicar resultados que não podem ser verificados.

Em suma, o documento serve como um manifesto para a modernização das práticas de pesquisa na FMC, alinhando-a com os padrões de "Ciência Aberta" necessários para sustentar a confiança pública e o progresso científico a longo prazo.