Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

En el mundo de la educación y la terapia, los investigadores se enfrentan a un rompecabezas persistente: cómo medir si un nuevo método realmente ayuda a una persona a aprender o a comportarse mejor. Durante décadas, la comunidad científica ha dependido de dos formas muy diferentes de recopilar evidencia. Un enfoque, conocido como diseño de grupo, reúne a un gran número de personas, las divide en equipos y compara los resultados promedio del equipo que recibe un nuevo tratamiento frente a un equipo que recibe la atención estándar. Este método es poderoso para observar tendencias generales en las poblaciones. El otro enfoque, llamado diseño experimental de caso único, se centra intensamente en un solo individuo a la vez. Los investigadores observan cuidadosamente a una sola persona, introducen una intervención específica y rastrean cómo cambia el comportamiento de esa persona a lo largo del tiempo, buscando a menudo cambios inmediatos en acciones específicas como realizar una petición o mantenerse concentrado en la tarea. Aunque ambos métodos son rigurosos, históricamente han hablado lenguajes distintos. Los estudios de grupo producen números que describen cómo cambió un grupo entero, mientras que los estudios de caso único producen números que describen cómo cambió un individuo. Debido a que estos números se calculan de forma diferente, ha sido difícil combinarlos en una imagen única y clara de qué es lo que funciona mejor para los estudiantes con trastorno del espectro autista.

Esta dificultad crea un punto ciego para educadores y responsables de políticas. Si una nueva tecnología ayuda a un grupo de niños a mejorar sus habilidades sociales en cierta cantidad, pero ayuda a un conjunto diferente de niños a mejorar su comunicación en una cantidad distinta, ¿cómo podemos saber si la tecnología es verdaderamente efectiva en su conjunto? El problema no es solo que los estudios sean diferentes, sino que las herramientas utilizadas para medir el éxito son incompatibles. Las herramientas tradicionales suelen confundir el tamaño de la mejora con cuánto varían los resultados de persona a persona, o cambian su significado dependiendo de cuánto duró la observación. Para resolver esto, un equipo de investigadores liderado por Wen Luo en la Universidad Estatal de Texas A&M se propuso construir una nueva regla de medir. Querían una forma de traducir los resultados de individuos y grupos al mismo lenguaje, permitiendo que se compararan lado a lado. Se centraron en un tipo específico de medición llamada razón de incidencia. En términos sencillos, esta es una comparación simple de tasas: pregunta cuántas veces ocurrió un comportamiento durante el tratamiento en comparación con cuántas veces ocurrió antes de que comenzara el tratamiento. Al utilizar esta razón, los investigadores podían expresar el efecto de una intervención como un porcentaje directo de aumento o disminución, en lugar de una puntuación estadística compleja que requiere formación especializada para ser comprendida.

Los investigadores probaron este nuevo enfoque revisando una gran colección de estudios previos sobre la instrucción asistida por tecnología para estudiantes con autismo. Esta colección original, compilada por otros científicos en 2017, incluía docenas de estudios utilizando tanto diseños de grupo como de caso único. El equipo reexaminó los datos de treinta y seis resultados específicos, que iban desde qué tan bien los niños reconocían las expresiones faciales hasta con qué frecuencia pedían ayuda o participaban en una conversación. Aplicaron su nuevo método basado en razones a los estudios de caso único y un método de razón correspondiente a los estudios de grupo. El objetivo era ver si los dos tipos de investigación contarían una historia consistente cuando se vieran a través de este nuevo lente. Los resultados revelaron una diferencia clara y cuantificable en cómo los dos diseños medían el éxito. Los estudios de grupo mostraron que las intervenciones tecnológicas condujeron a una mejora promedio de aproximadamente un 23 por ciento sobre las condiciones de control. En otras palabras, los estudiantes en los grupos de tratamiento se desempeñaron aproximadamente un cuarto mejor que aquellos que no recibieron la ayuda tecnológica específica.

Sin embargo, los estudios de caso único contaron una historia mucho más dramática. Cuando los investigadores aplicaron la misma lógica basada en razones a los casos individuales, encontraron que las intervenciones produjeron un aumento de más de cuatro veces en los resultados positivos en comparación con la línea base. Esto significa que, para los estudiantes individuales en estos estudios, el comportamiento que se intentaba mejorar ocurrió más de cuatro veces con más frecuencia después de que comenzó la intervención. La diferencia entre un aumento del 23 por ciento y un aumento de cuatro veces es sorprendente, y al principio parecía sugerir una contradicción. No obstante, los investigadores no descartaron esta brecha como un error o un fallo en los datos. En su lugar, utilizaron la nueva métrica para explicar por qué los números se veían tan diferentes. Encontraron que los dos tipos de estudios estaban, esencialmente, partiendo de lugares diferentes. Los estudios de grupo a menudo comparaban la nueva tecnología contra un entorno de aula estándar o un tipo diferente de instrucción, donde los estudiantes ya tenían un nivel de habilidad moderado. Los estudios de caso único, por el contrario, a menudo partían de estudiantes que tenían niveles muy bajos de la conducta objetivo antes de que comenzara la intervención. Debido a que el punto de partida era tan bajo, incluso una mejora absoluta modesta resultaba en un aumento porcentual masivo.

Esta distincción es crucial porque cambia la forma en que interpretamos el éxito de estas intervenciones. El nuevo método mostró que los números grandes vistos en los estudios de caso único no eran necesariamente una señal de que el tratamiento funcionara mejor para los individuos que para los grupos, sino que los individuos partían de una línea base mucho más baja. La medida basada en la razón hizo esto claro al centrarse en el cambio relativo en lugar del cambio absoluto. También resaltó una debilidad clave de los métodos antiguos utilizados para comparar estos estudios. Las herramientas tradicionales a menudo mezclaban el tamaño de la mejora con la variabilidad de los datos, lo que dificultaba distinguir si un gran efecto era real o simplemente un resultado de qué tan dispersas estaban las puntuaciones. El nuevo enfoque de razón evitó esta trampa por completo, ofreciendo un resultado que permanecía estable independientemente de cuánto variaran las puntuaciones o cuánto duraran las sesiones de observación. También proporcionó un número que cualquiera podía entender: un aumento de cuatro veces es un concepto tangible, mientras que una puntuación estadística compleja no lo es.

El estudio también abordó la cuestión de si estos diferentes resultados eran causados por un sesgo en la forma en que se publican los estudios. Es una preocupación común que los investigadores tengan más probabilidades de publicar estudios de caso único que muestran mejoras enormes, mientras ignoran aquellos con efectos pequeños o nulos. Aunque los investigadores reconocieron que este sesgo podría existir, su análisis sugirió que no era toda la historia. Los datos indicaron que la diferencia en los resultados se debía en gran medida a las diferencias fundamentales en cómo se configuraron los estudios y qué estaban midiendo. Los estudios de grupo estaban probando si la tecnología era mejor que lo que ya estaba disponible, mientras que los estudios de caso único estaban probando si la tecnología podía crear un cambio importante desde un estado de poca o nula capacidad. Ambos hallazgos son válidos, pero responden preguntas diferentes. Los estudios de grupo sugieren que la tecnología ofrece una ventaja modesta pero significativa sobre las prácticas estándar, mientras que los estudios de caso único demuestran que la tecnología puede ser transformadora para los estudiantes que parten de un nivel de funcionamiento muy bajo.

Al tender un puente entre estos dos mundos, los investigadores proporcionaron un camino más claro para la síntesis de la evidencia. Demostraron que es posible combinar los hallazgos de diferentes tipos de investigación sin forzarlos a entrar en un único número engañoso. El nuevo método permite a los científicos ver el panorama completo: que la instrucción asistida por tecnología es efectiva, pero su impacto se ve diferente dependiendo del contexto y el punto de partida de los estudiantes. El estudio concluye que ningún número único puede capturar la verdad completa de la efectividad de una intervención. En su lugar, los investigadores y profesionales deben observar tanto el cambio relativo como el cambio absoluto para comprender el alcance total de una intervención. Este enfoque asegura que las decisiones sobre educación y terapia se basen en una comprensión completa y precisa de la evidencia, en lugar de una visión parcial que podría perderse los matices de cómo diferentes estudiantes responden a la ayuda. El trabajo demuestra que, cuando utilizamos las herramientas adecuadas para medir el cambio, podemos ver no solo que algo funciona, sino exactamente cómo y para quién funciona mejor.