Recovering Pre-Deletion Measurement Quality from Published Statistics: An Inverse Meta-Analysis of the Technology Readiness Index 2.0
Este artigo introduz um método de "meta-análise inversa" para recuperar estatísticas de qualidade de medição pré-exclusão de estudos publicados, revelando que a prática generalizada de excluir itens fracos no Índice de Prontidão Tecnológica 2.0 infla artificialmente as métricas de confiabilidade e obscurece a verdadeira fraqueza de suas dimensões inibidoras.
Artigo original sob licença CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
No mundo das ciências sociais, os pesquisadores frequentemente dependem de questionários para medir sentimentos humanos complexos, como o quão preparado uma pessoa está para abraçar novas tecnologias. Para fazer isso, eles utilizam longas listas de perguntas, ou "itens", que perguntam às pessoas se elas concordam ou discordam de afirmações sobre sua confiança, medos e hábitos em relação à tecnologia. Ao projetar esses questionários, o objetivo é criar um quadro equilibrado: algumas perguntas medem sentimentos positivos, como entusiasmo e desejo de inovação, enquanto outras medem sentimentos negativos, como ansiedade e medo de perder o controle. Para que um questionário seja considerado confiável, as perguntas que medem cada sentimento específico devem estar fortemente conectadas, o que significa que pessoas que se sentem de uma determinada maneira sobre um tópico devem, geralmente, sentir-se da mesma forma em relação às outras perguntas sobre esse tópico. Se as perguntas não se encaixarem bem, diz-se que o questionário carece de "validade" e que os resultados que ele produz são pouco confiáveis.
Por anos, um questionário amplamente utilizado chamado Índice de Prontidão Tecnológica tem sido a ferramenta padrão para medir essa prontidão. No entanto, uma investigação recente sugere que o registro publicado do sucesso desse questionário pode ser enganoso. Quando os pesquisadores analisam os dados de seus questionários, às vezes descobrem que certas perguntas não se encaixam bem no padrão. A prática padrão é simplesmente remover essas perguntas fracas e relatar os resultados baseando-se apenas nas restantes, mais fortes. Embora isso possa parecer uma maneira razoável de limpar os dados, um novo estudo argumenta que essa exclusão rotineira esconde um problema significativo: o lado negativo da prontidão tecnológica tem sido sistematicamente enfraquecido na literatura, fazendo o questionário parecer mais robusto do que realmente é.
Um pesquisador propôs-se a descobrir o verdadeiro estado desse questionário analisando retrospectivamente a literatura publicada. Ele focou no Índice de Prontidão Tecnológica 2.0, uma versão reduzida do questionário original que faz dezesseis perguntas divididas em quatro categorias: duas categorias positivas chamadas "otimismo" e "inovação", e duas categorias negativas chamadas "desconforto" e "insegurança". Na validação original deste questionário, as categorias negativas já eram conhecidas por serem o elo mais fraco, com as perguntas não se encaixando tão firmemente quanto as positivas. No entanto, nos milhares de estudos publicados desde então, as categorias negativas frequentemente parecem atender aos mesmos altos padrões de qualidade das positivas. O pesquisador suspeitou que esse aprimoramento era uma ilusão criada pela remoção seletiva das perguntas mais fracas.
Para testar isso, o pesquisador desenvolveu um método que chama de "meta-análise inversa". Em vez de simplesmente tirar a média dos resultados de muitos estudos, ele trabalhou de trás para frente a partir das estatísticas que os autores já haviam publicado. Ele tratou as perguntas ausentes — aquelas que os autores haviam deletado — como se fossem pontos de dados ocultos que eram conhecidos por serem fracos. Ao usar os números relatados para as perguntas restantes e as regras conhecidas que os autores usaram para deletar itens, o pesquisador pôde matematicamente reconstruir como os resultados do questionário teriam ficado se nenhuma pergunta tivesse sido descartada. Isso permitiu que ele estimasse a verdadeira força do questionário antes de qualquer edição ocorrer.
A investigação abrangeu noventa e quatro estudos publicados que forneciam detalhes suficientes para serem analisados. O pesquisador descobriu que as categorias negativas, particularmente a que mede a "insegurança", foram de fato vítimas dessa exclusão seletiva. Os autores eram significativamente mais propensos a remover perguntas das categorias negativas do que das positivas. De fato, as categorias negativas eram cerca de doze por cento mais propensas a perder pelo menos uma pergunta. Quando o pesquisador restaurou essas perguntas deletadas aos dados, o quadro mudou dramaticamente. A qualidade das categorias negativas caiu, revelando que elas eram muito mais fracas do que os relatórios publicados sugeriam.
Especificamente, o pesquisador descobriu que a lacuna entre as categorias positivas e negativas, que parecia pequena nos relatórios publicados, quase dobrou quando os itens deletados foram contabilizados. Na literatura publicada, as categorias negativas pareciam passar no teste padrão de qualidade. No entanto, após a reconstrução, mais de um em cada cinco estudos que mediam a "insegurança" falhou nesse mesmo teste. A pergunta mais frequentemente deletada era uma sobre a confiança em fazer negócios com uma empresa que existe apenas online. Esta pergunta, juntamente com outra sobre a dependência da sociedade em relação à tecnologia, foi removida com tanta frequência que distorceu os resultados de todo o questionário no registro publicado.
Para garantir que seu método fosse sólido, o pesquisador realizou uma simulação de computador onde criou estudos falsos com respostas conhecidas. Ele programou os autores falsos para deletar perguntas fracas exatamente como os autores reais fazem, e então aplicou seu método de reconstrução aos resultados falsos. A simulação confirmou que sua técnica era precisa e conservadora; ela não inventava problemas onde eles não existiam, mas recuperava com sucesso a qualidade real e mais fraca das categorias negativas que havia sido escondida pela exclusão. O método funcionou mesmo quando as regras de exclusão eram rigorosas, provando que a lacuna entre os números publicados e os números reais era real.
Finalmente, o pesquisador testou sua teoria em dois conjuntos de dados brutos onde nenhuma pergunta havia sido deletada. Nesses conjuntos de dados não editados, as categorias negativas não atenderam aos padrões de qualidade por si só, confirmando que a fraqueza era inerente ao design do questionário e não apenas resultado de má sorte em alguns estudos. Quando o pesquisador aplicou a regra de exclusão típica a esses conjuntos de dados brutos, os escores de qualidade relatados saltaram, ultrapassando o limite para o sucesso. Isso demonstrou exatamente como a prática rotineira de deletar itens poderia transformar um questionário falho em um questionário bem-sucedido, simplesmente removendo a evidência de seu fracasso.
O estudo conclui que a literatura publicada sobre prontidão tecnológica tem sido moldada mais pelas escolhas dos autores do que pela realidade dos dados. Ao remover as perguntas mais fracas, os pesquisadores criaram uma versão do questionário que parece equilibrada e confiável, enquanto a ferramenta subjacente permanece falha em sua capacidade de medir o medo e a ansiedade em relação à tecnologia. O pesquisador argumenta que isso não é apenas um problema para este questionário específico, mas um aviso para todo o campo. Eles instam os cientistas a relatar cada pergunta que fazem, incluindo aquelas que posteriormente deletam, para que o quadro completo do desempenho de um questionário seja visível. Sem essa transparência, o registro científico pode continuar mostrando um mundo onde a prontidão tecnológica é perfeitamente medida, enquanto as ferramentas reais usadas para medi-la permanecem incompletas.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.