Before Nonresponse: School-Relative Response Timing and Selective Observability in PISA 2025 Context Questionnaires in Latin America

교육 연구의 광활한 세계에서 과학자들은 학생들이 어떻게 배우는지, 무엇이 그들을 동기 부여하는지, 그리고 어디에 불평등이 존재하는지를 이해하기 위해 거대한 설문조사에 의존하곤 합니다. 이 중 가장 유명한 설문 중 하나는 PISA(국제 학생 평가 프로그램)로, 이는 몇 년마다 수십 개국의 학생들을 테스트합니다. 수학과 독해 테스트와 더불어, 학생들은 자신의 삶, 습으로, 그리고 공부하는 방식에 대한 긴 설문지에 답합니다. 이러한 설문지는 테스트 점수를 이해하는 데 필요한 맥락을 제공하기 때문에 매우 중요합니다. 그러나 이러한 긴 설문 조사에서 지속적인 문제는 학생들이 때때로 답변을 멈춘다는 것입니다. 그들은 마지막 질문을 건너뛰거나, 공식적으로 그만두기 훨씬 전부터 유용한 답변을 제공하는 것을 멈출 수도 있습니다. 전통적으로 연구자들은 이러한 누락된 정보를 갑작스러운 사건으로 취급해 왔습니다. 즉, 학생이 질문에 답하다가 갑자기 답하지 않게 된다는 것입니다. 하지만 이러한 관점은 학생이 답변을 멈춘 순간이 그들이 관심을 잃은 순간이라고 가정하며, 첫 번째 빈 칸이 나타나기 훨씬 전부터 그들의 행동이 조용히 변해왔을 가능성을 간과합니다.

호르헤 엘리에세르 비야레알-페르난데스(Jorge Eliécer Villarreal-Fernández)의 새로운 연구는 2025년 PISA 사이클 동안 13개 라틴 아메리카 국가의 학생 행동을 조사함으로써 이 가설에 도전합니다. 연구자는 학생들이 답변을 멈추기를 기다리는 대신, 설문지를 진행하면서 얼마나 빨리 답변하는지를 관찰했습니다. 이 연구는 "신속 응답(rapid responding)"이라고 불리는 특정 행동에 초점을 맞추고 있는데, 이는 학생이 질문을 주의 깊게 읽는 것이 아니라 단순히 끝내기 위해 클릭하며 지나가는 것처럼 매우 빠르게 이동하는 것을 의미합니다. 핵심 질문은 이러한 결승선을 향한 질주가 학생이 실제로 답변을 멈추기 전에 발생하는지, 만약 그렇다면 어떤 요인이 이를 예측하는가 하는 것이었습니다. 또한 연구자는 이 행동이 설문 결과에 영향을 미치는지 알고 싶어 했습니다. 구체적으로, 이 연구는 설문지의 맨 끝부분에 위치한 두 가지 중요한 척도를 살펴보았습니다. 하나는 학생들이 자신의 학습을 얼마나 잘 계획하고 모니터링하는지를 측정하는 척도이고, 다른 하나는 교사와 급우에게 얼마나 자주 도움을 요청하는지를 측정하는 척도입니다. 116,000명 이상의 학생으로부터 얻은 타이밍 데이터를 분석함으로써, 이 연구는 설문에서 학생의 목소리가 사라지는 것은 결코 갑작스러운 침묵이 아니라, 데이터가 사라지기 훨씬 전부터 관찰되고 측정될 수 있는 점진적인 과정의 끝이라는 사실을 밝혀냈습니다.

이 조사는 설문지를 단순한 질문 목록이 아니라 행동의 타임라인으로 취급하며 시작되었습니다. 연구자는 각 학생이 작은 질문 블록을 완료하는 데 걸린 시간을 조사했습니다. 만약 어떤 학생이 해당 블록의 일반적인 속도보다 현저히 빠르게 답변하고 있다면, 이를 신속 응답으로 분류했습니다. 이것이 단순히 운 좋은 추측이나 일시적인 속도 향상이 아니라는 것을 보장하기 위해, 연구는 이 빠른 행동이 여러 블록의 연속된 구간 동안 지속될 것을 요구했습니다. 학생이 지속적으로 서두르는 속도를 유지했을 때만 그들이 "전이(transitioned)"되어 몰입도가 떨어진 상태가 되었다고 간주했습니다. 이러한 구분은 매우 중요한데, 왜냐하면 단순히 빠른 학생과 노력을 멈춘 학생을 구분해주기 때문입니다. 분석 결과, 이 전이는 무작위가 아니었습니다. 학습 계획 또는 도움 요청 척도에 대해 점수를 제공하지 못한 학생 중 약 4분의 3은 해당 특정 질문들이 포함된 섹션에 도달하기도 전에 이미 지속적인 신속 응답 단계에 진입해 있었습니다. 즉, 경고 신호는 데이터가 실제로 손실되기 훨씬 전부터 눈에 띄게 나타났습니다.

무엇이 학생을 설문지를 빠르게 통과하게 만드는가? 연구는 그 답이 부분적으로 학생이 같은 학교의 옆에 앉아 있는 학생들과 비교하여 어떻게 행동하는지에 달려 있다는 것을 발견했습니다. 연구자는 "상대적 지연(relative delay)"을 계산했는데, 이는 한 학생이 같은 교실이나 학교의 동료들에 비해 얼마나 느리거나 빠른지를 측정하는 것입니다. 결과는 놀라웠습니다. 학생이 학교 친구들의 평균 속도보다 5분 늦어질 때마다, 지속적인 신속 응답 상태에 진입할 확률은 약 41% 증가했습니다. 이는 테스트실의 사회적 환경이 중요하다는 것을 시사합니다. 자신의 학급 친구들보다 뒤처지고 있다고 느끼는 학생은 따라잡아야 한다는 압박감을 느껴, 주의 깊은 독해 대신 속도를 택하며 질문을 건너뛸 수 있습니다. 이 효과는 국가마다 크게 달랐지만, 전반적인 패턴은 동일하게 나타났습니다. 흥미롭게도, 학생 자신의 사회경제적 배경은 즉각적인 급우들과 비교했을 때 이 행동을 예측하지 못했습니다. 대신, 학교 자체의 사회경제적 구성이 더 강력한 요인이었습니다. 평균 사회경제적 지위가 높은 학교의 학생들은 자신의 가족의 부와 상관없이 질문을 서둘러 처리할 가능성이 낮았습니다. 이는 개인의 상황보다 제도적 환경—아마도 가용 자원, 테스트 분위기, 또는 설문이 실시되는 방식—이 학생의 참여에 더 큰 역할을 한다는 아이디어를 뒷받가합니다.

그 후 연구는 결정적인 질문을 던졌습니다. 이 행동이 실제로 우리가 얻는 설문 결과를 바꾸는가? 만약 서둘러서 답변하는 학생들이 시간을 들여 답변하는 학생들과 다르다면, 우리가 계산한 평균값은 틀릴 수 있습니다. 이를 알아내기 위해 연구자는 몰입 상태를 유지한 학생들과, 신속 응답 상태로 전이되었으나 특정 척도를 간신히 마친 학생들의 답변을 비교했습니다. 좋은 소식은, 질문을 마친 학생들의 경우 답변 방식이 매우 유사했다는 것입니다. 학습 계획과 도움 요청에 관한 질문들은 두 집단 모두에 대해 동일한 것을 측정하는 것처럼 보였습니다. 그러나 나쁜 소식은, 관찰 가능한 상태로 남아 있던 집단이 전체 인구의 완벽한 거울은 아니었다는 점입니다. 서둘러 답변하던 학생들이 특정 척도에 도달하기 전에 완전히 중단할 가능성이 더 높았기 때문에, 최종 응답자 집단은 원래의 전체 학생 집단과는 약간 달랐습니다.

연구자가 이 누락된 집단을 고려하여 데이터를 조정했을 때, 결과는 구체적이고 놀라운 방식으로 변했습니다. 학습 계획 척도의 추정 평균값이 약간 하락했습니다. 이는 질문에 끝까지 답한 학생들이 전체 인구의 학생들보다 평균적으로 학습 계획을 세우는 능력이 약간 더 나았음을 의미하는데, 왜냐냐 하면 서둘러 답변하다가 중단한 학생들은 계획을 잘 세울 가능성이 낮았기 때문입니다. 그러나 도움 요청 척도에 대한 추정치는 거의 변하지 않았습니다. 두 척도 모두 설문지의 맨 끝에 위치했고 학생들이 중단하기에 똑같이 취약했음에도 불구하고, 누락된 데이터의 영향은 각각 달랐습니다. 이는 누락된 데이터의 결과가 균일하지 않으며, 무엇을 측정하느냐에 따라 전적으로 달라진다는 것을 증명합니다. 어떤 설문은 특정 유형의 학생을 잃으면서도 한 주제에 대한 평균은 바꾸지 않는 반면, 다른 주제에 대해서는 평균을 크게 왜곡할 수 있습니다.

이 연구의 결과는 설문 데이터에 대한 새로운 사고방식을 제시합니다. 학생이 긴 설문지에 답변을 멈출 때, 그것은 종종 훨씬 이전에 시작된 과정의 정점임을 시사합니다. 주의 깊은 답변에서 서두르는 것으로, 그리고 최종적으로 침묵으로 이어지는 전이는 컴퓨터에 의해 수집된 타이밍 데이터를 통해 추적할 수 있는 가시적인 경로입니다. 이는 연구자들이 누락된 정보를 어떻게 해석해야 하는지에 대한 변화를 가져옵니다. 누락된 데이터를 단순히 무작위적인 공백으로 가정하는 대신, 연구자들은 그 이전에 나타나는 행동 신호를 찾아낼 수 있습니다. 미래의 설문 설계자들에게 이는 타이밍 정보가 조기 경보 시스템으로 사용될 수 있음을 의미합니다. 만약 학생이 자신의 동료들에 비해 속도가 뒤처지기 시작한다면, 학생이 완전히 답변을 멈추기 전에 개입하거나 설문을 조정하는 것이 가능할 수도 있습니다. 이 연구는 누락된 데이터 문제를 해결했다고 주장하거나 모든 설문에서 정확히 이와 같은 결과가 나올 것이라고 제안하는 것은 아닙니다. 하지만 연구는 학생의 목소리가 사라지는 것은 흔히 갑작스러운 절단이 아니라 점진적인 흐로가며, 이 과정을 이해하는 것이 우리가 연구하고자 하는 학생들의 진정한 모습을 파악하는 핵심임을 보여줍니다.