Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

No mundo da educação e da terapia, os pesquisadores enfrentam um enigma persistente: como medir se um novo método realmente ajuda uma pessoa a aprender ou a se comportar melhor. Durante décadas, a comunidade científica dependeu de duas formas muito diferentes de reunir evidências. Uma abordagem, conhecida como delineamento de grupo, reúne um grande número de pessoas, divide-as em equipes e compara os resultados médios da equipe que recebe um novo tratamento contra uma equipe que recebe o cuidado padrão. Este método é poderoso para observar tendências amplas em populações. A outra abordagem, chamada delineamento experimental de caso único, foca intensamente em um único indivíduo por vez. Os pesquisadores observam cuidadosamente uma única pessoa, introduzem uma intervenção específica e acompanham como o comportamento dessa pessoa muda ao longo do tempo, muitas vezes procurando por mudanças imediatas em ações específicas, como fazer um pedido ou manter o foco na tarefa. Embora ambos os métodos sejam rigorosos, eles historicamente falaram língagens diferentes. Os estudos de grupo produzem números que descrevem como um grupo inteiro mudou, enquanto os estudos de caso único produzem números que descrevem como um indivíduo mudou. Como esses números são calculados de forma diferente, tornou-se difícil combiná-los em um quadro único e claro do que funciona melhor para estudantes com transtorno do espectro autista.

Essa dificuldade cria um ponto cego para educadores e formuladores de políticas. Se uma nova tecnologia ajuda um grupo de crianças a melhorar suas habilidades sociais em uma certa medida, mas ajuda um conjunto diferente de crianças a melhorar sua comunicação em uma medida diferente, como podemos saber se a tecnologia é verdadeiramente eficaz no geral? O problema não é apenas que os estudos parecem diferentes, mas que as ferramentas usadas para medir o sucesso são incompatíveis. As ferramentas tradicionais frequentemente confundem o tamanho da melhoria com o quanto os resultados variam de pessoa para pessoa, ou mudam seu significado dependendo de quanto tempo durou a observação. Para resolver isso, uma equipe de pesquisadores liderada por Wen Luo, da Texas A&M University, propôs-se a construir uma nova régua de medição. Eles queriam uma maneira de traduzir os resultados de indivíduos e grupos para a mesma linguagem, permitindo que fossem comparados lado a lado. Eles se concentraram em um tipo específico de medição chamado razão de taxa de incidência. Em termos simples, esta é uma comparação direta de taxas: pergunta quantas vezes um comportamento ocorreu durante o tratamento em comparação com quantas vezes ele ocorreu antes do tratamento começar. Ao usar essa razão, os pesquisadores puderam expressar o efeito de uma intervenção como um aumento ou diminuição percentual direto, em vez de uma pontuação estatística complexa que exige treinamento especializado para ser compreendida.

Os pesquisadores testaram essa nova abordagem revisitando uma grande coleção de estudos anteriores sobre instrução auxiliada por tecnologia para estudantes com autismo. Esta coleção original, compilada por outros cientistas em 2017, incluía dezenas de estudos usando tanto delineamentos de grupo quanto delineamentos de caso único. A equipe reexaminou os dados de trinta e seis resultados específicos, variando desde o quão bem as crianças reconheciam expressões faciais até a frequência com que pediam ajuda ou se engajavam em conversas. Eles aplicaram seu novo método baseado em razões aos estudos de caso único e um método de razão correspondente aos estudos de grupo. O objetivo era ver se os dois tipos de pesquisa contariam uma história consistente quando vistos através desta nova lente. Os resultados revelaram uma diferença clara e quantificável na forma como os dois delineamentos mediam o sucesso. Os estudos de grupo mostraram que as intervenções tecnológicas levaram a uma melhoria média de cerca de 23 por cento sobre as condições de controle. Em outras palavras, os alunos nos grupos de tratamento tiveram um desempenho aproximadamente um quarto melhor do que aqueles que não receberam o auxílio tecnológico específico.

No entanto, os estudos de caso único contaram uma história muito mais dramática. Quando os pesquisadores aplicaram a mesma lógica baseada em razões aos casos individuais, descobriram que as intervenções produziram um aumento de mais de quatro vezes nos resultados positivos em comparação com a linha de base. Isso significa que, para os estudantes individuais nesses estudos, o comportamento que se pretendia melhorar aconteceu mais de quatro vezes mais frequentemente após o início da intervenção. A diferença entre um aumento de 23 por cento e um aumento de quatro vezes é marcante, e inicialmente pareceu sugerir uma contradição. No entanto, os pesquisadores não descartaram essa lacuna como um erro ou uma falha nos dados. Em vez disso, eles usaram a nova métrica para explicar por que os números pareciam tão diferentes. Eles descobriram que os dois tipos de estudos estavam, essencialmente, partindo de lugares diferentes. Os estudos de grupo frequentemente comparavam a nova tecnologia contra um ambiente de sala de aula padrão ou um tipo diferente de instrução, onde os alunos já possuíam um nível moderado de habilidade. Os estudos de caso único, por outro lado, frequentemente começavam com alunos que tinham níveis muito baixos do comportamento alvo antes do início da intervenção. Como o ponto de partida era tão baixo, mesmo uma melhoria absoluta modesta resultava em um aumento percentual massivo.

Essa distinção é crucial porque altera a forma como interpretamos o sucesso dessas intervenções. O novo método mostrou que os números grandes vistos nos estudos de caso único não eram necessariamente um sinal de que o tratamento funcionava melhor para indivíduos do que para grupos, mas sim que os indivíduos partiam de uma linha de base muito mais baixa. A medida baseada em razão deixou isso claro ao focar na mudança relativa em vez da diferença absoluta. Também destacou uma fraqueza fundamental nos métodos antigos usados para comparar esses estudos. As ferramentas tradicionais frequentemente misturavam o tamanho da melhoria com a variabilidade dos dados, tornando difícil dizer se um grande efeito era real ou apenas o resultado de quão espalhadas estavam as pontuações. A nova abordagem de razão evitou essa armadilha inteiramente, oferecendo um resultado que permanecia estável independentemente de quanto as pontuações variavam ou de quanto tempo duravam as sessões de observação. Também forneceu um número que qualquer pessoa poderia entender: um aumento de quatro vezes é um conceito tangível, enquanto uma pontuação estatística complexa não é.

O estudo também abordou a questão de se esses resultados diferentes foram causados por um viés na forma como os estudos são publicados. É uma preocupação comum que os pesquisadores tenham maior probabilidade de publicar estudos de caso único que mostram melhorias enormes, ignorando aqueles com efeitos pequenos ou nulos. Embora os pesquisadores tenham reconhecido que esse viés pode existir, sua análise sugeriu que ele não era toda a história. Os dados indicaram que a diferença nos resultados devia-se, em grande parte, às diferenças fundamentais na forma como os estudos foram estruturados e o que estavam medindo. Os estudos de grupo estavam testando se a tecnologia era melhor do que o que já estava disponível, enquanto os estudos de caso único estavam testando se a tecnologia poderia criar uma mudança importante a partir de um estado de pouca ou nenhuma habilidade. Ambas as descobertas são válidas, mas respondem a perguntas diferentes. Os estudos de grupo sugerem que a tecnologia oferece uma vantagem modesta, mas significativa, sobre as práticas padrão, enquanto os estudos de caso único demonstram que a tecnologia pode ser transformadora para estudantes que partem de um nível de funcionamento muito baixo.

Ao unir esses dois mundos, os pesquisadores forneceram um caminho mais claro para a síntese de evidências. Eles mostraram que é possível combinar achados de diferentes tipos de pesquisa sem forçá-los em um único número enganoso. O novo método permite que os cientistas vejam o quadro completo: que a instrução auxiliada por tecnologia é eficaz, mas seu impacto parece diferente dependendo do contexto e do ponto de partida dos estudantes. O estudo conclui que nenhum número único pode capturar toda a verdade sobre a eficácia de uma intervenção. Em vez disso, pesquisadores e profissionais devem observar tanto a mudança relativa quanto a mudança absoluta para compreender todo o alcance do poder de uma intervenção. Essa abordagem garante que as decisões sobre educação e terapia sejam baseadas em uma compreensão completa e precisa das evidências, e não em uma visão parcial que possa perder as nuances de como diferentes estudantes respondem à ajuda. O trabalho demonstra que, quando usamos as ferramentas certas para medir a mudança, podemos ver não apenas que algo funciona, mas exatamente como e para quem funciona melhor.