From Assessment to Action: An Evidence-To-Reform Translation Framework applied to PISA 2022 data from Uzbekistan

Resumen Técnico: De la Evaluación a la Acción: Un Marco de Traducción de la Evidencia a la Reforma aplicado a los datos de PISA 2022 de Uzbekistán

Planteamiento del Problema
Las evaluaciones internacionales de aprendizaje a gran escala (como PISA) han generado una extensa evidencia empírica sobre los determinantes del rendimiento estudiantil. Sin embargo, persiste una brecha persistente entre la "evidencia y la acción": mientras que los gobiernos poseen hallazgos estadísticos sobre la calidad docente, el clima escolar y las desigualdades socioeconómicas, carecen de metodologías estructuradas para convertir estos hallazgos en estrategias de reforma priorizadas, implementables y monitoreadas continuamente. Este desafío es agudo para los países de ingresos medios-bajos que participan en PISA por primera vez, como Uzbekistán, el cual debe interpretar datos desconocidos dentro de sus restricciones institucionales y ciclos presupuestarios existentes. El artículo aborda la dificultad específica de decidir qué uno de los múltiples determinantes identificados debe recibir prioridad política y cómo expresar esas prioridades como indicadores mensurables para el seguimiento del progreso.

Metodología
El estudio emplea un diseño explicativo secuencial que combina el análisis econométrico avanzado con un proceso estructurado de traducción de políticas.

• Fuente de Datos: El análisis utiliza los datos de PISA 2022 de Uzbekistán, la primera participación del país. La muestra analítica consiste en 4,851 estudiantes de 196 escuelas (un subconjunto de la muestra nacional completa de 7,293 estudiantes), seleccionados según la disponibilidad de datos completos para todas las variables del modelo.
• Modelos Econométricos:
  • Modelado Lineal Jerárquico (HLM): Se utilizó un HLM de dos niveles para dar cuenta de la estructura anidada de los estudiantes dentro de las escuelas. El estudio estimó primero un modelo nulo para calcular el Coeficiente de Correlación Intraclase (ICC). Los modelos subsecuentes incluyeron predictores a nivel de estudiante (ESCS, género, autoeficacia, apoyo docente, sentido de pertenencia, clima disciplinario) y predictores a nivel de escuela (calificación del personal, escasez de personal, certificación, ubicación, relación estudiante-docente, media de ESCS de la escuela).
  • Regresión de Cuantiles: Se aplicó una regresión de cuantiles simultánea (usando sqreg con 100 replicaciones de bootstrap) en cinco cuantiles condicionales (10, 25, 50, 75, 90) para examinar si los efectos de los determinantes varían a través de la distribución del rendimiento.
  • Pruebas de Robustez: Los análisis se realizaron en los diez valores plausibles para todos los resultados de matemáticas. La robustez se probó además sustituyendo los resultados de lectura y ciencias, excluyendo la autoeficacia para ampliar la muestra y verificando la multicolinealidad.
• El Marco de Traducción de la Evidencia a la Reforma (ERTF): La contribución metodológica central es el ERTF, un proceso de apoyo a la decisión de siete etapas:
  1. Generación de evidencia y análisis econométrico.
  2. Evaluación de la Evidencia: Los hallazgos se someten a una verificación de validez (asegurando que las variables midan los constructos que pretenden medir) y se evalúan frente a cuatro criterios: robustez estadística (consistencia a través de valores y modelos plausibles), magnitud del efecto, relevancia de equidad (beneficio para estudiantes desfavorecidos) y factibilidad de implementación.
  3. Priorización de políticas.
  4. Diseño de la reforma.
  5. Arquitectura de monitoreo (definición de indicadores, líneas base y metas).
  6. Aprendizaje de política adaptativa (utilizando futuros ciclos de evaluación para revisar la política).

Resultados Clave

• Varianza a Nivel de Escuela: El modelo nulo arrojó un ICC de 0.229, lo que indica que aproximadamente el 23% de la varianza en el rendimiento de matemáticas se encuentra entre las escuelas, confirmando que las condiciones a nivel de escuela son un determinante significativo y accionable.
• Calificación Docente: El "personal docente insuficientemente calificado" (una medida reportada por el director sobre si las calificaciones obstaculizan la instrucción) surgió como la principal restricción a nivel de escuela. Se asoció significativamente con un menor rendimiento ($\beta = -11.42$, significativo en 8 de 10 valores plausibles). Crucialmente, esta penalización fue aproximadamente cuatro veces mayor en escuelas urbanas ($\beta = -19.57$) que en escuelas rurales, donde fue estadísticamente indetectable.
• Certificación Docente: Las tasas de certificación docente formal no mostraron una asociación significativa con el rendimiento en ninguna especificación. El estudio señala que la variable de certificación falló una verificación de validez debido a una distribución bimodal (las escuelas se agrupaban en 0% o 100% de certificación), lo que sugiere una interpretación inconsistente por parte de los directores más que una falta de efecto.
• Clima Escolar y Equidad: La regresión de cuantiles reveló que el apoyo docente y el sentido de pertenencia tienen sus asociaciones positivas más grandes con el rendimiento entre los estudiantes más débiles (cuantiles más bajos). Por el contrario, el gradiente socioeconómico se vuelve más pronunciado hacia la parte superior de la distribución, lo que significa que el trasfondo familiar distingue a los de alto rendimiento más que a los de bajo rendimiento.
• Brecha Rural-Urbana: El aparente déficit de rendimiento rural ($\beta = -13.52$ en el modelo base) desapareció por completo ($\beta = -1.21$, no significativo) una vez que se controló la composición socioeconómica media de la escuela. La brecha rural es de composición (debido a una población estudiantil más pobre) en lugar de institucional.
• Escasez de Personal: Contrario a la intuición, la escasez de personal y las relaciones estudiante-docente no fueron predictores significativos del rendimiento en los modelos multinivel.

Contribuciones Clave

1. Innovación Metodológica (ERTF): El artículo introduce un marco estructurado para traducir la evidencia estadística en prioridades de reforma. A diferencia de los estudios estándar de PISA que concluyen con recomendaciones generales, el ERTF evalúa explícitamente los hallazgos frente a criterios de robustez, magnitud, equidad y factibilidad antes de elevarlos al estatus de política.
2. Especificidad Empírica para Uzbekistán: Este es el primer análisis combinado de HLM y regresión de cuantiles de los datos de PISA 2022 para Uzbekistán con controles composicionales. Identifica que la suficiencia de la calificación docente (no la cantidad o la certificación formal) es la restricción vinculante, particularmente en las escuelas urbanas.
3. Operacionalización de la Reforma: El estudio traduce los hallazgos empíricos en una "arquitectura de monitoreo de nueve indicadores" con líneas base de PISA 2022 y metas para 2030. Alinea estas prioridades con los instrumentos legislativos existentes (por ejemplo, el Decreto Presidencial No. DP-79) en lugar de proponer nuevas instituciones.
4. Tamizaje de Validez: El marco incluye un "filtro de validez" que identificó la medida de certificación docente como inutilizable en su forma actual, convirtiendo un fallo de medición en una prioridad de reforma específica (reconstruir el indicador) en lugar de un resultado estadístico nulo.

Significancia y Reivindicaciones
El artículo afirma contribuir a tres cuerpos de literatura:

• Investigación de la Efectividad Educativa: Al extender la identificación de los determinantes hacia una metodología para convertir esos hallazgos en prioridades de reforma.
• Gobernanza Basada en la Evidencia: Al proporcionar un procedimiento de decisión transparente y reproducible que reduce la dependencia del juicio experto ad hoc. Aborda la brecha entre "saber qué importa" y "saber qué hacer".
• Ciencia de la Implementación: Al integrar el aprendizaje adaptativo y el monitoreo como componentes estructurales del ciclo de reforma, posicionando la evaluación como el motor de la mejora continua en lugar de un capítulo final.

El estudio concluye que el ERTF es transferible a otros contextos (TIMSS, PIRLS, evaluaciones nacionales) y que el mayor retorno de la reforma para Uzbekistán radica en profundizar la implementación de los mandatos existentes (dirigiéndose específicamente a la calificación docente urbana y al clima escolar para los estudiantes de bajo rendimiento) en lugar de introducir nuevas iniciativas. El artículo señala modestamente que su diseño transversal impide realizar afirmaciones causales y que la muestra analítica excluye a los estudiantes más débiles, lo que hace que los hallazgos de equidad sean estimaciones conservadoras.