Cross-construct Optimization of TIMSS Mathematics Affective Scales

Resumen Técnico: Optimización de Constructos Cruzados de las Escalas Afectivas de Matemáticas de TIMSS

Planteamiento del Problema
Las evaluaciones internacionales a gran escala, como el Estudio Internacional de Tendencias en Matemática y Ciencia (TIMSS), utilizan extensos cuestionarios para medir el compromiso afectivo de los estudiantes con las matemáticas. Específicamente, TIMSS 2023 evalúa tres dimensiones distintas para estudiantes de 8.º grado: A los Estudiantes les Gusta Aprender Matemáticas (SLM), los Estudiantes tienen Confianza en las Matemáticas (SCM) y los Estudiantes Valoran las Matemáticas (SVM). Estas escalas comprenden colectivamente 26 ítems. Aunque estas dimensiones están teóricamente vinculadas dentro del Modelo de Actitud Tridimensional (TMA) y la Teoría de Expectativa-Valor, suelen administrarse y analizarse como constructos independientes. Este enfoque impone una carga de encuesta sustancial a estudiantes y educadores. El estudio aborda una pregunta de medición fundamental: si estas escalas operan como una red afectiva integrada donde los ítems de una dimensión pueden predecir clasificaciones en otra, permitiendo así una "optimización de constructos cruzados" que reduce el recuento de ítems sin sacrificar la precisión predictiva.

Metodología
El estudio utilizó datos de 232,970 estudiantes de 8.º grado de 44 países de la base de datos internacional TIMSS 2023. El enfoque analítico empleó un marco de optimización de diagnóstico cruzado adaptado de la literatura de detección psiquiátrica, aplicado aquí a la evaluación educativa.

1. Modelado de Redes: Todos los 26 ítems de las escalas SLM, SCM y SVM fueron agrupados y analizados mediante un Modelo Gráfico Gaussiano (GGM). El GGM, estimado mediante LASSO gráfico con sintonización de Criterio de Información Bayesiano Extendido (EBIC), modeló la estructura de dependencia condicional entre los ítems. Cada nodo representaba un ítem y las aristas representaban correlaciones parciales controlando por todos los demás ítems.
2. Análisis de Centralidad de Puente: Se calculó la centralidad de intermediación (betweenness centrality) para cada ítem con el fin de identificar "ítems puente": nodos que se encuentran en las rutas más cortas entre otros nodos, particularmente aquellos que cruzan los límites de las escalas. Los ítems fueron clasificados según esta métrica de centralidad.
3. Selección Secuencial de Ítems: Se llevó a cabo un proceso de selección secuencial para determinar el conjunto mínimo de ítems necesarios para predecir las clasificaciones oficiales de tres niveles de TIMSS (Alto, Intermedio, Bajo) para cada escala. Los ítems se añadieron uno a uno en orden de su centralidad de intermediación (priorizando los puentes).
   • Predicción de Constructos Cruzados: Crucialmente, se permitió que los ítems de una escala predijeran la clasificación de otra escala (por ejemplo, ítems de SVM prediciendo SLM).
   • Detección de Meseta: El proceso se detuvo cuando el rendimiento predictivo (medido por el AUROC promedio macro) alcanzó el 99% del mayor nivel base de un solo ítem alcanzable dentro de la escala objetivo. Este umbral permitió una pérdida de precisión insignificante (<1%) a cambio de un instrumento parsimonioso.
4. Validación: El procedimiento se replicó independientemente para cada uno de los 44 países para evaluar la consistencia transnacional de la estructura de los ítems puente. El desempeño se evaluó mediante divisiones de entrenamiento-prueba estratificadas de 80/20 y validación cruzada de 5 pliegues.

Resultos Clave

• Identificación de Hubs Estructurales: El análisis GGM reveló que los ítems de la escala Los Estudiantes Valoran las Matemáticas (SVM) ocupaban las posiciones de puente más centrales en la red afectiva. El ítem "Me gustaría tener un trabajo que involucre el uso de las matemáticas" (BSBM23E) exhibió la mayor centralidad de intermediación y fue el primer ítem seleccionado para predecir las tres dimensiones.
• Conjuntos de Ítems Optimizados:
  • SLM: Requirió 7 ítems para alcanzar la meseta de desempeño. Notablemente, 5 de estos (71%) eran ítems de escalas cruzadas (de SVM o SCM).
  • SCM: Requirió 6 ítems. Los primeros cuatro ítems añadidos fueron todos de escalas cruzadas (de SVM o SLM), sin que entraran ítems de su propia escala hasta el quinto paso.
  • SVM: Alcanzó la meseta con solo 2 ítems, ambos extraídos de la propia escala SVM (BSBM23E y BSBM23A).
• La Batería Compacta: Las soluciones SLM y SCM compartían un núcleo común de seis ítems. Combinado con un ítem adicional único para SLM, se derivó una batería de 7 ítems capaz de realizar el cribado simultáneo de las tres dimensiones. Esto representa una reducción del 73% del instrumento original de 26 ítems.
• Desempeño Predictivo: La batería de 7 ítems logró una alta precisión predictiva en todas las dimensiones, con valores de AUROC que oscilaron entre .889 (SVM) y .939 (SLM).
• Consistencia Transnacional: Aunque los ítems puente específicos variaron, la utilidad predictiva del marco fue robusta. El índice de consistencia de los ítems puente (proporción de los 5 principales ítems puente globales reproducidos localmente) promedió .509. Sin embargo, la precisión predictiva (AUROC) se mantuvo alta y estable (mediana .87–.95) en todos los 44 países, incluso en naciones con menor consistencia estructural (por ejemplo, Arabia Saudita, Rumania, Turquía, Uzbekistán).

Contribuciones Clave

1. Caracterización Empírica de la TMA: El estudio proporciona el primer mapeo a nivel de ítem de la estructura de dependencia condicional a través de las escalas afectivas de TIMSS en una amplia muestra internacional. Identifica empíricamente la dimensión "Visión de las Matemáticas" (SVM) como el hub estructural de la red, extendiendo el marco teórico de la TMA al especificar el papel integrador de las creencias de valor.
2. Innovación Metodológica: Introduce la optimización de constructos cruzados en la evaluación educativa a gran escala. Al aprovechar la centralidad de puente en los GGM, el estudio demuestra que los ítems de un constructo pueden predecir eficientemente las clasificaciones de otro, desafiando la convención de tratar las escalas como depósitos aislados.
3. Instrumento Práctico: El estudio entrega un instrumento compacto de 7 ítems validado que reemplaza la batería oficial de 26 ítems. Para facilitar su adopción, los autores proporcionan recursos de acceso abierto, incluyendo un módulo de Python para la predicción por lotes y una herramienta basada en navegador para la autoevaluación individual de los estudiantes.

Significancia y Reivindicaciones
El artículo sostiene que las creencias de valor sobre las matemáticas funcionan como el nodo integrador primario en la red afectiva, portando una información desproporcionada de constructos cruzados. Este hallazgo respalda la afirmación de la teoría de Expectativa-Valor de que las creencias de valor median la relación entre competencia e interés.

El estudio concluye que una batería de 7 ítems puede realizar un cribado efectivo de los estudiantes en las tres dimensiones de la TMA con alta precisión, reduciendo significativamente la carga de la encuesta. Esto permite el monitoreo periódico del afecto estudiantil (por ejemplo, al inicio de cada trimestre) sin las limitaciones logísticas de la administración de la escala completa. Los autores señalan que, si bien el marco es robusto globalmente, los países con menor consistencia de ítems puente (específicamente Arabia Saudita, Rumania, Turquía y Uzbekistán) deben tratar la batería como un punto de partida que requiere validación local, ya que los factores culturales e institucionales pueden alterar las dependencias condicionales entre los ítems afectivos. Los hallazgos ofrecen un enfoque basado en principios para el monitoreo afectivo eficiente tanto en la investigación como en entornos de aula.