Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

En el vasto mundo de la investigación educativa, los científicos suelen confiar en encuestas masivas para comprender cómo aprenden los estudiantes, qué los motiva y dónde residen las desigualdades. Uno de los más famosos de estas encuestas es el Programa para la Evaluación Internacional de Estudiantes, o PISA, que evalúa a estudiantes de docenas de países cada pocos años. Junto con las pruebas de matemáticas y lectura, los estudiantes completan cuestionarios extensos sobre sus vidas, sus hábitos y cómo estudian. Estos cuestionarios son cruciales porque proporcionan el contexto necesario para dar sentido a las puntuaciones de las pruebas. Sin embargo, un problema persistente en encuestas tan largas es que los estudiantes a veces dejan de responder. Pueden saltarse las preguntas finales, o pueden dejar de proporcionar respuestas útiles mucho antes de abandonar oficialmente la encuesta. Tradicionalmente, los investigadores han tratado esta información faltante como un evento repentino: un estudiante responde una pregunta y luego, de repente, no lo hace. Pero esta visión asume que el momento en que un estudiante deja de responder es el momento en que dejó de interesarse, ignorando la posibilidad de que su comportamiento haya estado cambiando silenciosamente durante mucho tiempo antes de que apareciera la primera casilla en blanco.

Un nuevo estudio de Jorge Eliécer Villarreal-Fernández desafía esta suposición al observar el comportamiento de los estudiantes en trece países latinoamericanos durante el ciclo 2025 de PISA. En lugar de esperar a que un estudiante deje de responder, el investigador observó qué tan rápido respondían a medida que avanzaban por el cuestionario. El estudio se centra en un comportamiento específico llamado "respuesta rápida", donde un estudiante avanza por las preguntas tan rápidamente que sugiere que ya no las está leyendo con atención, sino simplemente haciendo clic para terminar. La pregunta central era si este apresuramiento hacia la meta ocurre antes de que un estudiante deje de responder realmente y, de ser así, qué factores lo predicen. El investigador también quería saber si este comportamiento cambiaba los resultados de la encuesta. Específicamente, el estudio analizó dos escalas importantes ubicadas cerca del final del cuestionario: una que mide qué tan bien los estudiantes planifican y monitorean su propio estudio, y otra que mide con qué frecuencia piden ayuda a profesores y compañeros. Al analizar los datos de tiempo de más de 116,000 estudiantes, el estudio revela que la pérdida de la voz de un estudiante en una encuesta rara vez es un silencio repentino, sino el final de un proceso gradual que puede verse y medirse mucho antes de que los datos desaparezcan.

La investigación comenzó tratando el cuestionario no solo como una lista de preguntas, sino como una línea de tiempo de comportamiento. El investigador examinó el tiempo que le tomó a cada estudiante completar pequeños bloques de preguntas. Si un estudiante respondía significativamente más rápido que el ritmo típico para ese bloque, se marcaba como respuesta rápida. Para asegurar que esto no fuera solo un acierto de suerte o una aceleración momentánea, el estudio requirió que este comportamiento rápido persistiera a través de una secuencia de varios bloques. Solo cuando un estudiante mantenía este ritmo apresurado durante un período sostenido se consideraba que había "transicionado" a un estado de desinterés. Esta distinción es vital porque separa a los estudiantes que son simplemente rápidos de aquellos que han dejado de esforzarse. El análisis mostró que esta transición no es aleatoria. Aproximadamente tres cuartas partes de los estudiantes que finalmente no proporcionaron una puntuación para las escalas de planificación del estudio o de búsqueda de ayuda ya habían entrado en esta fase de respuesta rápida sostenida antes de llegar a la sección que contenía esas preguntas específicas. En otras palabras, las señales de advertencia eran visibles mucho antes de que los datos se perdieran realmente.

¿Qué impulsa a un estudiante a atravesar un cuestionario a toda prisa? El estudio encontró que la respuesta reside, en parte, en cómo el ritmo de un estudiante se compara con el de los estudiantes sentados junto a ellos en la misma escuela. El investigador calculó un "retraso relativo", que mide qué tan lento o rápido es un estudiante en comparación con sus compañeros en la misma clase o escuela. Los resultados fueron sorprendentes: por cada cinco minutos que un estudiante se queda atrás del ritmo promedio de sus compañeros de escuela, sus probabilidades de entrar en ese estado de respuesta rápida sostenida aumentan aproximadamente un 41 por ciento. Esto sugiere que el entorno social de la sala de pruebas importa. Un estudiante que siente que se está quedando atrás respecto a sus compañeros puede sentir la presión de alcanzar el ritmo, lo que lo lleva a abandonar la lectura cuidadosa en favor de la velocidad. Este efecto varió ampliamente entre los diferentes países, pero el patrón se mantuvo constante en general. Curiosamente, el origen socioeconómico de un estudiante no predijo este comportamiento cuando se comparaba con sus compañeros de clase inmediatos. En cambio, la composición socioeconómica de la escuela misma fue el factor más fuerte. Los estudiantes en escuelas con un estatus socioeconómico promedio más alto eran menos propensos a apresurarse en las preguntas, independientemente de la riqueza de su propia familia. Esto apunta a la idea de que el entorno institucional —quizás los recursos disponibles, la atmósfera de la prueba o la forma en que se administra la encuesta— juega un papel más importante en el compromiso del estudiante que las circunstancias individuales.

El estudio planteó entonces una pregunta crítica: ¿cambia este comportamiento realmente los resultados que obtenemos de la encuesta? Si los estudiantes que se apresuran son diferentes de los que se toman su tiempo, entonces los promedios que calculamos podrían estar equivocados. Para averiguarlo, el investigador comparó las respuestas de los estudiantes que se mantuvieron comprometidos con aquellas de los que habían transicionado hacia la respuesta rápida pero que aún lograban terminar las escalas específicas. La buena noticia fue que, para los estudiantes que terminaron, la forma en que respondieron a las preguntas fue muy similar. Las preguntas sobre la planificación del estudio y la búsqueda de ayuda parecían medir lo mismo para ambos grupos. Sin embargo, la mala noticia fue que el grupo de estudiantes que permaneció observable no era un espejo perfecto de la población total. Debido a que los estudiantes que se apresuraron tenían más probabilidades de abandonar la encuesta por completo antes de llegar al final, el grupo final de encuestados era ligeramente diferente del grupo original de todos los estudiantes.

Cuando el investigador ajustó los datos para tener en cuenta a este grupo faltante, los resultados cambiaron de una manera específica y sorprendente. El promedio estimado para la escala de planificación del estudio bajó ligeramente. Esto significa que los estudiantes que se quedaron para responder las preguntas eran, en promedio, ligeramente mejores en la planificación de sus estudios que la población total de estudiantes, porque los estudiantes que se apresuraron y abandonaron la encuesta tenían menos probabilidades de ser buenos planificadores. Sin embargo, la estimación para la escala de búsqueda de ayuda apenas cambió. Aunque ambas escalas estaban ubicadas al final del cuestionario y eran igualmente vulnerables a que los estudiantes abandonaran, el impacto de los datos faltantes fue diferente para cada una. Esto demuestra que las consecuencias de los datos faltantes no son uniformes; dependen enteramente de lo que se está midiendo. Una encuesta puede perder un tipo específico de estudiante sin cambiar el promedio de un tema, mientras que sesga significativamente el promedio de otro.

Los hallazgos de este estudio ofrecen una nueva forma de pensar sobre los datos de las encuestas. Sugiere que cuando un estudiante deja de responder un cuestionario largo, a menudo es la culminación de un proceso que comenzó mucho antes. La transición de responder con cuidado a la respuesta rápida, y finalmente al silencio, es un camino visible que puede rastrearse utilizando los datos de tiempo recopilados por la computadora. Esto cambia la forma en que los investigadores deben interpretar la información faltante. En lugar de asumir que los datos faltantes son solo un vacío aleatorio, pueden buscar las señales conductuales que los preceden. Para los diseñadores de futuras encuestas, esto significa que la información de tiempo podría utilizarse como un sistema de alerta temprana. Si un estudiante comienza a quedarse atrás en velocidad respecto a sus compañeros, podría ser posible intervenir o ajustar la encuesta antes de que el estudiante deje de responder por completo. El estudio no pretende haber resuelto el problema de los datos faltantes, ni sugiere que todas las encuestas tendrán exactamente estos mismos resultados. Pero sí muestra que la pérdida de la voz de un estudiante es a menudo un desvanecimiento gradual, no un corte repentino, y que comprender este proceso es clave para obtener una imagen real de los estudiantes que intentamos estudiar.