Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

In der weiten Welt der Bildungsforschung verlassen sich Wissenschaftler oft auf massive Umfragen, um zu verstehen, wie Schüler lernen, was sie motiviert und wo Ungleichheiten liegen. Eine der bekanntesten dieser Umfragen ist das Programm für Internationale Schülerbewertung, auch PISA genannt, das alle paar Jahre Schüler aus Dutzenden von Ländern testet. Neben den Mathematik- und Lesetests füllen die Schüler lange Fragebögen über ihr Leben, ihre Gewohnheiten und ihre Lernmethoden aus. Diese Fragebögen sind entscheidend, da sie den Kontext liefern, der notwendig ist, um die Testergebnisse einzuordnen. Ein hartnäckiges Problem bei solch langen Umfragen besteht jedoch darin, dass Schüler manchmal aufhören zu antworten. Sie lassen vielleicht die letzten Fragen aus oder hören schon lange vor dem offiziellen Abbruch auf, nützliche Antworten zu geben. Traditionell behandeln Forscher diese fehlenden Informationen als ein plötzliches Ereignis: Ein Schüler beantwortet eine Frage, und dann hört er plötzlich auf. Doch diese Sichtweise setzt voraus, dass der Moment, in dem ein Schüler aufhört zu antworten, auch der Moment ist, in dem er aufhört, sich zu bemühen – und ignoriert dabei die Möglichkeit, dass sich sein Verhalten schon lange vor dem ersten leeren Feld schleichend verändert hat.

Eine neue Studie von Jorge Eliécer Villarreal-Fernández stellt diese Annahme infrage, indem sie das Verhalten von Schülern in dreizehn lateinamerikanischen Ländern während des PISA-Zyklus 2025 untersucht. Anstatt darauf zu warten, dass ein Schüler aufhört zu antworten, beobachtete der Forscher, wie schnell die Schüler die Fragebögen bearbeiteten, während sie sich durch die Fragen bewegten. Die Studie konzentriert sich auf ein spezifisches Verhalten namens „Rapid Responding“ (schnelles Antworten), bei dem sich ein Schüler so schnell durch die Fragen bewegt, dass dies darauf hindeutet, dass er sie nicht mehr sorgfältig liest, sondern lediglich klickt, um fertig zu werden. Die zentrale Frage war, ob dieser Wettlauf gegen die Zeit eintritt, bevor ein Schüler tatsächlich aufhört zu antworten, und falls ja, welche Faktoren dies vorhersagen. Der Forscher wollte auch wissen, ob dieses Verhalten die Ergebnisse der Umfrage veränderte. Konkret untersuchte die Studie zwei wichtige Skalen, die sich ganz am Ende des Fragebogens befinden: eine, die misst, wie gut Schüler ihr Lernen planen und überwachen, und eine weitere, die misst, wie oft sie um Hilfe von Lehrkräften und Mitschülern bitten. Durch die Analyse der Zeitdaten von über 116.000 Schülern zeigt die Studie, dass der Verlust der Stimme eines Schülers in einer Umfrage selten ein plötzliches Verstummen ist, sondern das Ende eines graduellen Prozesses, der lange vor dem Verschwinden der Daten sichtbar und messbar ist.

Die Untersuchung begann damit, den Fragebogen nicht nur als eine Liste von Fragen, sondern als eine zeitliche Abfolge von Verhalten zu betrachten. Der Forscher untersuchte die Zeit, die jeder Schüler benötigte, um kleine Blöcke von Fragen zu bearbeiten. Wenn ein Schüler signifikant schneller antwortete als das typische Tempo für diesen Block, wurde dies als „Rapid Responding“ markiert. Um sicherzustellen, dass es sich nicht bloß um ein glückliches Raten oder eine vorübergehende Beschleunigung handelte, verlangte die Studie, dass dieses schnelle Verhalten über eine Sequenz mehrerer Blöcke hinweg anhielt. Erst wenn ein Schüler dieses hastige Tempo über einen längeren Zeitraum beibehielt, wurde er als in einen Zustand der Desengagement (Entrückung/Nicht-Engagement) „übergetreten“ betrachtet. Diese Unterscheidung ist wichtig, da sie Schüler, die einfach nur schnell sind, von jenen trennt, die aufgehört haben, sich zu bemühen. Die Analyse zeigte, dass dieser Übergang nicht zufällig geschieht. Etwa drei Viertel der Schüler, die letztlich keinen Wert für die Skalen zur Lernplanung oder Hilfesuche lieferten, befanden sich bereits in dieser Phase des anhaltenden schnellen Antwortens, noch bevor sie den Abschnitt erreichten, der diese spezifischen Fragen enthielt. Mit anderen Worten: Die Warnsignale waren lange vor dem tatsächlichen Verlust der Daten sichtbar.

Was treibt einen Schüler dazu, einen Fragebogen schnell durchzuziehen? Die Studie fand heraus, dass die Antwort teilweise darin liegt, wie das Tempo eines Schülers im Vergleich zu den Schülern neben ihm in derselben Schule steht. Der Forscher berechnete eine „relative Verzögerung“, die misst, wie viel langsamer oder schneller ein Schüler im Vergleich zu seinen Mitschülern in derselben Klasse oder Schule ist. Die Ergebnisse waren frappierend: Für alle fünf Minuten, die ein Schüler hinter dem Durchschnittstempo seiner Mitschüler zurücklag, stieg die Wahrscheinlichkeit, in den Zustand des anhaltenden schnellen Antwortens überzugehen, um etwa 41 Prozent. Dies deutet darauf hin, dass das soziale Umfeld des Prüfungsraums eine Rolle spielt. Ein Schüler, der das Gefühl hat, seinen Mitschülern hinterherzuhaken, verspürt möglicherweise Druck, aufzuholen, was dazu führt, dass er das sorgfältige Lesen zugunsten der Geschwindigkeit aufgibt. Dieser Effekt variierte stark zwischen den verschiedenen Ländern, aber das Muster blieb insgesamt bestehen. Interessanterweise sagte der sozioökonomische Hintergrund eines Schülers dieses Verhalten nicht voraus, wenn man ihn mit seinen unmittelbaren Mitschülern verglich. Stattdessen war die sozioökonomische Zusammensetzung der Schule der stärkere Faktor. Schüler in Schulen mit einem höheren durchschnittlichen sozioökonomischen Status neigten seltener dazu, die Fragen zu überstürzen, unabhängig vom eigenen Wohlstand ihrer Familien. Dies deutet darauf hin, dass das institutionelle Umfeld – vielleicht die verfügbaren Ressourcen, die Atmosphäre bei der Testdurchführung oder die Art und Weise, wie die Umfrage verwaltet wird – eine größere Rolle für das Engagement der Schüler spielt als individuelle Umstände.

Die Studie stellte dann eine kritische Frage: Verändert dieses Verhalten tatsächlich die Ergebnisse, die wir aus der Umfrage erhalten? Wenn die Schüler, die sich beeilen, sich von denen unterscheiden, die sich Zeit lassen, könnten die berechneten Durchschnittswerte falsch sein. Um dies herauszufinden, verglich der Forscher die Antworten der Schüler, die engagiert blieben, mit denen, die in das schnelle Antworten übergegangen waren, aber die spezifischen Skalen dennoch erfolgreich abgeschlossen hatten. Die gute Nachricht war, dass die Art und Weise, wie die Schüler, die durchhielten, die Fragen beantworteten, sehr ähnlich war. Die Fragen zur Lernplanung und zum Hilfesuchen schienen für beide Gruppen dasselbe zu messen. Die schlechte Nachricht war jedoch, dass die Gruppe der beobachtbaren Schüler kein perfektes Spiegelbild der gesamten Population war. Da die Schüler, die durch das schnelle Antworten übergingen, eher dazu neigten, vor Erreichen des Endes vollständig auszuscheiden, war die endgültliche Gruppe der Befragten etwas anders als die ursprüngliche Gruppe aller Schüler.

Als der Forscher die Daten anpasste, um diese fehlende Gruppe zu berücksichtigen, änderten sich die Ergebnisse auf eine spezifische und überraschende Weise. Der geschätzte Durchschnitt für die Skala zur Lernplanung sank leicht. Das bedeutet, dass die Schüler, die blieben, um die Fragen zu beantworten, im Durchschnitt etwas besser darin waren, ihr Lernen zu planen, als die gesamte Population der Schüler, da die Schüler, die durch das schnelle Antworten ausschieden, weniger wahrscheinlich gute Planer waren. Der Schätzwert für die Skala zur Hilfesuche änderte sich jedoch kaum. Obwohl beide Skalen ganz am Ende des Fragebogens lagen und gleichermaßen anfällig dafür waren, dass Schüler ausfielen, war die Auswirkung der fehlenden Daten für jede Skala unterschiedlich. Dies beweist, dass die Folgen fehlender Daten nicht einheitlich sind; sie hängen vollständig davon ab, was gemessen wird. Eine Umfrage kann einen bestimmten Typus von Schüler verlieren, ohne den Durchschnitt für ein Thema zu verändern, während sie den Durchschnitt für ein anderes Thema erheblich verzerrt.

Die Ergebnisse dieser Studie bieten eine neue Art, über Umfragedaten nachzudenken. Sie legt nahe, dass wenn ein Schüler einen langen Fragebogen nicht mehr beantwortet, dies oft die Kulmination eines Prozesses ist, der viel früher begonnen hat. Der Übergang vom sorgfältigen Beantworten zum schnellen Antworten und schließlich zum Schweigen ist ein sichtbarer Pfad, der mithilfe der von den Computern gesammelten Zeitdaten verfolgt werden kann. Dies ändert die Art und Weise, wie Forscher fehlende Informationen interpretieren sollten. Anstatt anzunehmen, dass fehlende Daten einfach eine zufällige Lücke sind, können sie nach den Verhaltenssignalen suchen, die diesem Zustand vorausgehen. Für die Gestalter zukünftiger Umfragen bedeutet dies, dass Zeitinformationen als Frühwarnsystem genutzt werden könnten. Wenn ein Schüler beginnt, hinter dem Tempo seiner Mitschüler zurückzufallen, könnte es möglich sein, einzugreifen oder die Umfrage anzupassen, bevor der Schüler die Beantwortung ganz abbricht. Die Studie behauptet nicht, das Problem der fehlenden Daten gelöst zu haben, noch legt sie nahe, dass jede Umfrage genau diese Ergebnisse liefern wird. Aber sie zeigt, dass der Verlust der Stimme eines Schülers oft ein graduelles Verblassen ist und kein plötzlicher Schnitt, und dass das Verständnis dieses Prozesses der Schlüssel zu einem wahren Bild der Schüler ist, die wir zu studieren versuchen.