Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

No vasto mundo da pesquisa educacional, os cientistas frequentemente dependem de grandes questionários para entender como os alunos aprendem, o que os motiva e onde residem as desigualdades. Um dos mais famosos desses levantamentos é o Programa para a Avaliação Internacional de Estudantes, ou PISA, que testa alunos de dezenas de países a cada poucos anos. Além dos testes de matemática e leitura, os alunos preenchem longos questionários sobre suas vidas, seus hábitos e como estudam. Esses questionários são cruciais porque fornecem o contexto necessário para dar sentido aos resultados dos testes. No entanto, um problema persistente em tais pesquisas longas é que os alunos às vezes param de responder. Eles podem pular as perguntas finais ou podem parar de fornecer respostas úteis muito antes de desistirem oficialmente. Tradicionalmente, os pesquisadores têm tratado essa informação ausente como um evento súbito: um aluno responde a uma pergunta e, de repente, ele não responde mais. Mas essa visão assume que o momento em que o aluno para de responder é o momento em que ele deixou de se importar, ignorando a possibilidade de que seu comportamento possa ter estado mudando silenciosamente por um longo tempo antes da primeira caixa em branco aparecer.

Um novo estudo de Jorge Eliécer Villarreal-Fernández desafia essa suposição ao observar o comportamento de estudantes de treze países latino-americanos durante o ciclo de 2025 do PISA. Em vez de esperar que um aluno pare de responder, o pesquisador observou a rapidez com que eles respondiam conforme avançavam pelo questionário. O estudo foca em um comportamento específico chamado "resposta rápida", onde um aluno avança pelas perguntas tão rapidamente que sugere que ele não está mais lendo-as cuidadosamente, mas apenas clicando para terminar. A questão central era se essa pressa para a linha de chegada acontece antes de um aluno realmente parar de responder e, se sim, quais fatores a predizem. O pesquisador também queria saber se esse comportamento alterava os resultados da pesquisa. Especificamente, o estudo analisou duas escalas importantes localizadas perto do final do questionário: uma que mede quão bem os alunos planejam e monitoram seus próprios estudos, e outra que mede a frequência com que pedem ajuda a professores e colegas. Ao analisar os dados de tempo de mais de 116.000 alunos, o estudo revela que a perda da voz de um aluno em uma pesquisa é raramente um silêncio repentino, mas sim o fim de um processo gradual que pode ser visto e medido muito antes de os dados desaparecerem.

A investigação começou tratando o questionário não apenas como uma lista de perguntas, mas como uma linha do tempo de comportamento. O pesquisador examinou o tempo que cada aluno levou para completar pequenos blocos de perguntas. Se um aluno estava respondendo significativamente mais rápido do que o ritmo típico para aquele bloco, isso era sinalizado como resposta rápida. Para garantir que isso não fosse apenas um palpite sortudo ou uma aceleração momentânea, o estudo exigiu que esse comportamento rápido persistisse através de uma sequência de vários blocos. Somente quando um aluno mantinha esse ritmo apressado por um período sustentado é que ele era considerado como tendo "transicionado" para um estado de desengajamento. Essa distinção é vital porque separa alunos que são simplesmente rápidos daqueles que pararam de se esforçar. A análise mostrou que essa transição não é aleatória. Cerca de três quartos dos alunos que eventualmente falharam em fornecer uma pontuação para as escalas de planejamento de estudo ou busca de ajuda já haviam entrado nessa fase de resposta rápida sustentada antes mesmo de chegarem à seção contendo essas perguntas específicas. Em outras palavras, os sinais de alerta eram visíveis muito antes de os dados serem de fato perdidos.

O que leva um aluno a passar rapidamente por um questionário? O estudo descobriu que a resposta reside, em parte, em como o ritmo de um aluno se compara aos alunos sentados ao seu lado na mesma escola. O pesquisador calculou um "atraso relativo", que mede o quanto um aluno é mais lento ou mais rápido em comparação com seus colegas na mesma sala de aula ou escola. Os resultados foram impressionantes: para cada cinco minutos que um aluno fica atrás do ritmo médio de seus colegas de escola, suas chances de entrar nesse estado de resposta rápida sustentada aumentam cerca de 41 por cento. Isso sugere que o ambiente social da sala de teste importa. Um aluno que sente que está ficando para trás de seus colegas pode sentir pressão para alcançar o ritmo deles, levando-o a abandonar a leitura cuidadosa em favor da velocidade. Esse efeito variou amplamente entre os diferentes países, mas o padrão se manteve no geral. Curiosamente, o contexto socioeconômico do próprio aluno não predisse esse comportamento quando comparado aos seus colegas imediatos. Em vez disso, a composição socioeconômica da própria escola foi o fator mais forte. Alunos em escolas com nível socioeconômico médio mais alto eram menos propensos a correr com as perguntas, independentemente da riqueza de sua própria família. Isso aponta para a ideia de que o ambiente institucional — talvez os recursos disponíveis, a atmosfera de teste ou a forma como a pesquisa é administrada — desempenha um papel maior no engajamento do aluno do que as circunstâncias individuais.

O estudo então fez uma pergunta crítica: esse comportamento realmente altera os resultados que obtemos da pesquisa? Se os alunos que correm através das questões são diferentes daqueles que levam o tempo necessário, então as médias que calculamos podem estar erradas. Para descobrir, o pesquisador comparou as respostas dos alunos que permaneceram engajados com aqueles que haviam transicionado para a resposta rápida, mas ainda assim conseguiram terminar as escalas específicas. A boa notícia foi que, para os alunos que terminaram, a forma como responderam às perguntas foi muito semelhante. As perguntas sobre planejamento de estudo e busca de ajuda pareciam medir as mesmas coisas para ambos os grupos. No entanto, a má notícia foi que o grupo de alunos que permaneceram observáveis não era um espelho perfeito de toda a população. Como os alunos que correram através das questões tinham maior probabilidade de abandonar a pesquisa totalmente antes de chegar ao fim, o grupo final de respondentes era ligeiramente diferente do grupo original de todos os alunos.

Quando o pesquisador ajustou os dados para levar em conta esse grupo ausente, os resultados mudaram de uma forma específica e surpreendente. A média estimada para a escala de planejamento de estudo caiu ligeiramente. Isso significa que os alunos que permaneceram para responder às perguntas eram, em média, um pouco melhores em planejar seus estudos do que a população total de alunos, porque os alunos que correram e desistiram tinham menor probabilidade de serem bons planejadores. No entanto, a estimativa para a escala de busca de ajuda quase não mudou. Embora ambas as escalas estivessem localizadas no final do questionário e fossem igualmente vulneráveis ao abandono dos alunos, o impacto dos dados ausentes foi diferente para cada uma. Isso prova que as consequências dos dados ausentes não são uniformes; elas dependem inteiramente do que está sendo medido. Uma pesquisa pode perder um tipo específico de aluno sem alterar a média de um tópico, enquanto distorce significativamente a média de outro.

As descobertas deste estudo oferecem uma nova maneira de pensar sobre os dados de pesquisa. Sugere que, quando um aluno para de responder a um questionário longo, isso é frequentemente a culminação de um processo que começou muito antes. A transição da resposta cuidadosa para a pressa e, finalmente, para o silêncio, é um caminho visível que pode ser rastreado usando os dados de tempo coletados pelo computador. Isso muda a forma como os pesquisadores devem interpretar a informação ausente. Em vez de assumir que os dados ausentes são apenas uma lacuna aleatória, eles podem procurar os sinais comportamentais que precedem o desaparecimento. Para os designers de futuras pesquisas, isso significa que a informação de tempo poderia ser usada como um sistema de alerta precoce. Se um aluno começa a ficar para trás de seus colegas em velocidade, pode ser possível intervir ou ajustar a pesquisa antes que o aluno pare de responder completamente. O estudo não afirma ter resolvido o problema dos dados ausentes, nem sugere que todas as pesquisas terão exatamente esses mesmos resultados. Mas ele mostra que a perda da voz de um aluno é frequentemente um desvanecimento gradual, não um corte súbito, e que compreender esse processo é fundamental para obter um retrato verdadeiro dos alunos que estamos tentando estudar.