Multiverse Analyses and International Large-Scale Assessments: An example with TALIS 2018

Imagine que você é um detetive tentando resolver um mistério, mas em vez de uma única cena de crime, você tem um armazém enorme e cintilante cheio de milhões de pistas. É isso o que acontece no mundo da ciência de "big data", onde pesquisadores estudam grandes grupos de pessoas — como milhares de professores de todo o mundo — para entender como as coisas funcionam. Mas aqui está a parte complicada: quando você tem tantas pistas, pode organizá-las de um milhão de maneiras diferentes para contar uma história. Você pode decidir focar apenas nas pistas vermelhas, ou ignorar as que estão do lado esquerdo da sala, ou agrupá-las por tamanho em vez de cor. Cada uma dessas escolhas é como percorrer um caminho diferente em um jardim. Se você seguir um caminho, pode encontrar um tesouro escondido; se seguir outro, pode encontrar um beco sem saída. Essa ideia é chamada de "jardim de caminhos bifurcados" e sugere que, às vezes, a história que contamos depende mais de qual caminho o detetive escolheu percorrer do que das próprias pistas que ele encontrou.

Este artigo, escrito por Mark White, da Universidade de Oslo, mergulha profundamente nesse problema usando um conjunto de dados massivo chamado TALIS 2018, que pesquisou professores de muitos países. O autor queria ver se a "história" contada por um estudo famoso e altamente citado sobre o treinamento de professores (chamado de "indução") era realmente verdadeira, ou se era apenas o resultado de um caminho específico pelo jardim. O artigo não olha apenas para uma maneira de analisar os dados; em vez disso, ele testa quase meio milhão de maneiras diferentes de processar os números. É como pedir a 500.000 detetives diferentes para resolver o mesmo caso usando regras ligeiramente diferentes e ver se todos encontram o mesmo culpado. O objetivo não é dizer que o estudo original estava "errado", mas mostrar que os resultados podem mudar drasticamente dependendo das escolhas feitas ao longo do caminho, tornando difícil saber com certeza qual é a "resposta real".

O Jardim de um Milhão de Caminhos

Pense no estudo original que o autor está investigando como um mapa para um baú de tesouro. O mapa afirmava que certas atividades de treinamento docente — como o ensino colaborativo ou manter um diário — eram as chaves para tornar os professores mais felizes e melhores em seus trabalhos. Os pesquisadores que desenharam esse mapa usaram um conjunto específico de regras para encontrar o tesouro: eles observaram professores americanos, incluíram apenas trabalhadores em tempo integral e usaram uma fórmula matemática específica para conectar o treinamento aos resultados. Eles encontraram um baú de tesouro brilhante e disseram: "Olhem! O treinamento funciona!"

Mas Mark White se perguntou: "E se mudássemos as regras um pouco?" E se olhássemos para professores da Austrália ou da Nova Zelândia em vez de apenas da América? E se olhássemos apenas para professores em seu primeiríssimo ano de ensino? E se mudássemos a fórmula matemática ligeiramente? Para responder a isso, White não apenas adivinhou; ele construiu um "multiverso". Na ciência, uma análise de multiverso é como rodar uma simulação onde você testa todas as combinações razoáveis de regras de uma só vez.

Neste caso, White identificou 13 "botões" ou escolhas diferentes que um pesquisador poderia girar. Estas incluíam decisões como:

• Quem conta? (Devemos incluir apenas professores novos, ou todos os professores? Devemos olhar apenas para a América, ou para outros países de língua inglesa também?)
• Que números usamos? (Devemos ajustar a matemática para levar em conta quantas pessoas foram pesquisadas, ou apenas contar todos igualmente?)
• Como medimos o treinamento? (Devemos olhar para o programa de treinamento inteiro, ou dividi-lo em partes minúsculas?)

Quando você multiplica todas essas escolhas, obtém um número impressionante: 497.664 formas diferentes de analisar os dados. São quase meio milhão de caminhos diferentes pelo jardim. White executou a análise para cada um desses caminhos.

O Tesouro Mutável

Os resultados foram um choque. Quando White olhou para o "multiverso" de resultados, descobriu que o baú do tesouro não estava no mesmo lugar para todos os caminhos.

Em algumas das 497.664 análises, as atividades de treinamento pareciam uma varinha mágica que tornava os professores incrivelmente felizes e eficazes. Em outras análises, as mesmas atividades de treinamento pareciam estar, na verdade, prejudicando os professores, tornando-os menos eficazes. Em muitos outros caminhos, o treinamento parecia não fazer nada.

O artigo mostra isso com um gráfico gigante (Figura 1 no texto original). Imagine uma linha de pontos estendendo-se do extremo esquerdo ao extremo direito. Os pontos no extremo esquerdo representam análises onde o treinamento foi um desastre. Os pontos no extremo direito representam análises onde o treinamento foi um milagre. Os pontos no meio representam análises onde não importava. A parte assustadora é que existem pontos verdes (significando "estatisticamente significativos" ou "reais") em ambos os lados. Isso significa que, para quase toda atividade de treinamento específica e para cada resultado docente específico, um pesquisador poderia encontrar uma maneira "razoável" de provar que era um grande sucesso, e outra maneira "razoável" de provar que era um grande fracasso.

O estudo original havia escolhido um caminho específico através deste jardim e encontrado um resultado positivo. Mas a análise de multiverso de White sugere que esse resultado não era necessariamente a "verdade" absoluta. Era apenas uma entre centenas de milhares de verdades possíveis, e a escolha de qual caminho seguir era, de certa forma, arbitrária.

Por Que Isso Importa

Este artigo não diz que o treinamento de professores é inútil. Não diz que os autores originais estavam incorretos. Em vez disso, destaca um problema sutil, mas enorme, na forma como fazemos ciência. Quando uma pergunta de pesquisa é um pouco vaga — como "O treinamento ajuda os professores?" — existem tantas maneiras de responder que a resposta muitas vezes depende das escolhas que o pesquisador faz antes mesmo de começar a olhar para os dados.

O autor chama isso de "jardim de caminhos bifurcados". Se você não sabe em qual caminho está, não pode ter certeza se o tesouro que encontrou é real ou apenas um resultado do caminho específico escolhido. O artigo sugere que, quando vemos um estudo com um resultado único e claro, devemos ser um pouco mais curiosos. Devemos perguntar: "E se eles tivessem escolhido um caminho diferente?"

Ao executar quase meio milhão de análises, este artigo nos mostra que a "verdade" sobre o treinamento de professores é muito mais complexa e incerta do que uma única manchete sugere. Ele não nos dá uma resposta nova e melhor; em vez disso, nos dá uma imagem muito mais clara de quão incertos realmente estamos. É um lembrete de que, no jardim da ciência, existem muitos caminhos e, às vezes, a vista muda completamente dependendo de qual deles você escolhe percorrer.