Classification testing: A new framework for drawing qualitative conclusions from quantitative estimates
Este artigo introduz o "teste de classificação", uma nova estrutura estatística que permite aos pesquisadores atribuir estimativas quantitativas a classes qualitativas substantivamente relevantes com taxas de erro controladas ou declarar resultados inconclusivos, argumentando que esta abordagem melhora o teste de hipóteses padrão ao adjudicar melhor as possibilidades rivais e expor as hipóteses à refutação.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo das ciências sociais, os pesquisadores passam seu tempo medindo coisas que não podem ser vistas diretamente: como uma nova política altera uma comunidade, se uma mensagem específica altera o voto de uma pessoa ou se um tratamento melhora a saúde de um paciente. Eles coletam dados e processam números para encontrar o efeito médio dessas ações. No entanto, a história final que contam raramente é uma longa sequência de decimais. Em vez disso, eles traduzem esses números precisos em julgamentos qualitativos simples. Eles decidem se um efeito é real ou inexistente, positivo ou negativo, ou tão pequeno que não importa. Para sustentar esses julgamentos, os cientistas dependem de um método padrão chamado teste de hipótese. Este método atua como um porteiro, projetado para proteger o público de alarmes falsos, garantindo que, quando um pesquisador afirma que um resultado é real, as chances de que essa afirmação seja um erro sejam mantidas muito baixas.
Por décadas, esse sistema funcionou bem para confirmar uma previsão específica, mas possui um ponto cego significativo. Ele é construído para provar que algo está acontecendo, mas tem dificuldade em provar que nada está acontecendo ou em decidir entre duas possibilidades concorrentes com igual justiça. Se um pesquisador se propõe a provar que um tratamento funciona, o sistema permite que ele declare vitória se a evidência for forte o suficiente. Mas, se a evidência for fraca, o sistema simplesmente diz que o pesquisador falhou em provar seu ponto; ele não permite que o pesquisador declare confiantemente que o tratamento de fato não faz nada. Isso cria um campo de jogo desigual, onde algumas conclusões são fáceis de alcançar enquanto outras permanecem fora de alcance, potencialmente enviesando toda a conversa científica para apenas as descobertas mais otimistas.
Um novo framework proposto pelos cientistas políticos Andrew Eggers e Zikai Li oferece uma maneira diferente de navegar por essas incertezas. Eles o chamam de "teste de classificação". Em vez de forçar um pesquisador a escolher uma única teoria favorita para defender, essa abordagem pede que ele divida todos os resultados possíveis em categorias distintas baseadas no que realmente importa para o mundo real. Por exemplo, um pesquisador pode dividir as possibilidades em três grupos: o efeito é positivo e grande o suficiente para importar, o efeito é negativo e grande o suficiente para importar, ou o efeito é tão pequeno que é negligenciável. O objetivo não é apenas ver se um número é diferente de zero, mas sim classificar o resultado no balde correto.
O poder deste novo método reside em sua capacidade de tratar todas essas categorias com o mesmo nível de rigor estatístico. No sistema antigo, um pesquisador só poderia dizer confiantemente "o efeito é positivo" se rejeitasse a ideia de que ele fosse zero ou negativo. Ele nunca poderia dizer confiantemente "o efeito é zero" ou "o efeito é negativo" com o mesmo nível de certeza, a menos que tivesse configurado um teste muito específico, e muitas vezes estranho, previamente. O teste de classificação remove esse viés. Ele permite que um pesquisador olhe para os dados e diga, com taxas de erro controladas, que o resultado cai na categoria "negligenciável", ou na categoria "positivo e substancial", ou que os dados estão simplesmente nebulosos demais para decidir. Transforma a questão científica de "Posso provar minha hipótese?" em "Qual é a descrição mais honesta deste resultado?".
Para ver como isso funciona na prática, os autores aplicaram seu método a um experimento de campo bem conhecido envolvendo consumo de mídia. O estudo original examinou o que aconteceu quando espectadores regulares da Fox News foram expostos à CNN. Os pesquisadores haviam medido trinta e dois resultados diferentes, variando de mudanças nas preferências políticas a mudanças na confiança nas fontes de notícias. Quando aplicaram o método de teste padrão usado na maioria das revistas de ciências sociais, descobriram que dezesseis desses resultados eram "significativos" e dezesseis não eram. Isso deixou metade dos resultados em um estado de incerteza, onde os pesquisadores não podiam dizer confiantamente se o efeito era real ou inexistente.
Quando os autores reanalisaram os mesmos dados usando o teste de classificação, o quadro tornou-se muito mais claro. Ao classificar os resultados em categorias de "positivo e substancial", "negativo e substancial" ou "negligenciável", eles foram capazes de fazer declarações confiáveis e com erro controlado sobre vinte e nove dos trinta e dois resultados. Eles puderam dizer confiantemente que, para algumas medidas, o efeito era grande e positivo. Para outras, puderam dizer confiantemente que o efeito era tão pequeno que era negligenciável. Mesmo para os resultados que o método antigo rotulou como "não significativos", o novo método frequentemente permitiu que eles concluíssem que o efeito era verdadeiramente negligenciável, em vez de apenas desconhecido. A única vez que tiveram que dizer "inconclusivo" foi quando os dados estavam genuinamente ruidosos demais para apoiar qualquer afirmação firme.
Essa mudança altera os incentivos para como a pesquisa é conduzida. Sob as regras antigas, os pesquisadores eram frequentemente pressionados a encontrar um resultado positivo para serem publicados, levando-os a desenhar estudos que provavelmente confirmariam suas expectativas. O novo framework incentiva uma abordagem mais aberta. Como o método permite conclusões confiantes de que um efeito é pequeno ou inexistente, os pesquisadores podem estudar questões genuinamente abertas sem o medo de que um resultado "nulo" seja um fracasso. Ele trata a possibilidade de um efeito pequeno como um resultado válido e testável, em vez de um beco sem saída.
Os autores argumentam que essa abordagem não torna a ciência menos rigorosa; na verdade, ela mantém os mesmos altos padrões para evitar afirmações falsas. Ela simplesmente expande o alcance das perguntas que podem ser respondidas com confiança. Ao permitir que os cientistas declarem que um efeito é negligenciável com a mesma certeza com que declaram que ele é grande, o método reduz a pressão para forçar os dados em uma narrativa específica. Sugere que a conclusão científica mais valiosa nem sempre é uma descoberta dramática, mas às vezes uma avaliação clara e honesta de que uma determinada intervenção não faz uma diferença significativa. Essa clareza, sugerem os autores, é a chave para construir uma compreensão mais confiável e menos enviesada de como o mundo social funciona.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.