Assessing Science for Citizenship on High School Science Tests: An Exploratory Study in Seven States

기술 요약: 고등학교 과학 시험에서의 시민 의식을 위한 과학 평가

문제 제정
본 연구는 미국 K-12 과학 교육의 목표와 관련하여 발생하는 중대한 불일치 문제를 다룬다. 차세대 과학 표준(NGSS)의 기초가 되는 *K-12 과학 교육을 위한 프레임워크(A Framework for K-12 Science Education)*는 다섯 가지 "포괄적 목표"를 설정하고 있으며, 그중 세 가지는 "시민 의식을 위한 과학 학습"에 초점을 맞추고 있다. 이 목표들은 학생들이 공적 토론에 참여하고, 일상생활에서 과학 정보를 신중하게 소비하며, 학교 밖에서도 과학 학습을 지속할 수 있는 충분한 지식을 갖출 것을 요구한다. 이러한 목표들이 국가 및 주 정책 문서에 명시되어 있음에도 불구하고, 고부담 주 단위 평가(high-stakes state assessments)가 실제로 이러한 역량을 측정하고 있는지에 대한 실증적 증거는 부족한 실정이다. 저자들은 만약 평가가 이러한 목표를 반영하지 못한다면, 목표, 표준, 커리큘럼, 교수법, 그리고 평가의 정렬(alignment)에 기반한 '체계적 학교 개혁'의 이론이 과학 교육 영역에서는 실패하고 있는 것이라고 주장한다.

연구 방법론
본 탐색적 연구는 캘리포니아, 플로리다, 일리노이, 매사추세츠, 뉴욕, 노스캐롤라이나, 텍사스 등 7개 주의 고등학교 과학 시험 문항을 조사하기 위해 내용 분석법을 활용하였다. 이 주들은 미국 전체 공립학교 학생의 약 44%를 담당하고 있다. 표본은 전체 공개 평가(매사추세츠, 뉴욕, 노스캐롤라이나, 텍사스)와 전체 연습 평가 또는 샘플 문항(캘리포니아, 플로리다, 일리노이)이 혼합된 총 365개의 시험 문항으로 구성되었다.

연구진은 K-12 과학 교육을 위한 프레임워크의 다섯 가지 포괄적 목표를 바탕으로 코딩 체계를 개발하였으며, 평가가 불가능한 목표 1(아름다움/경이로움에 대한 감상)은 제외하였다. 코딩 범주는 다음과 같다:

• 목표 2: 공공 정책 이슈 (예: 법률, 규제).
• 목표 의 3: 개인적 삶에서의 과학 적용.
• 목표 4: 학교 밖에서의 과학적 주장 평가 역량 (미디어 리터러시).
• 목표 5: 대학 및 직업 준비 (학문적 핵심 개념).
• 창출된 범주: "데이터 시각화/해석"(D) 및 "텍스트 읽기"(R). 이는 특정 과학적 사전 지식 없이 그래프를 해석하거나 독해력을 요구하는 문항들이다.

경험이 풍부한 세 명의 과학 교육자가 독립적으로 문항을 코딩하였다. 초기 검사자 간 일치도는 평균 81.2%였으며, 합의 논의를 통해 99%까지 정교화되었다. 본 연구는 가장 널리 선택되는 고등학교 과학 과목인 생물학 시험을 중심으로 진행되었으나, 일부 주는 지구과학 및 물리 과학을 포함하였다.

주요 결과
분석 결과, 주 단위 평가에서 "시민 의식을 위한 과학" 목표가 현저히 과소 대표되고 있음이 드러났다:

• 전반적인 출현 빈도: 365개 문항 중 시민 의식을 위한 과학 학습(목표 2, 3, 또는 4)을 주로 다룬 것으로 코딩된 문항은 단 10개(2.7%)에 불과했다.
• 주별 차이: 세 개 주(캘리포니아, 뉴욕, 노스캐롤라이나)는 소수의 시민 의식 중심 문항(시험당 1~5개)을 포함하고 있었다. 나머지 네 개 주(플로리다, 일리노이, 매사추세츠, 텍사스)는 시민 의식을 위한 과학 학습을 주로 다루는 문항을 단 하나도 포함하지 않았다.
• 목표별 세부 사항:
  • 목표 2 (공공 정책): 7개 문항 (전체의 1.9%).
  • 목표 3 (개인적 삶): 3개 문항 (전체의 0.8%).
  • 목표 4 (주장 평가): 0개 문항.
• 목표 5의 지배력: 전체 문항의 82.5%가 전문적인 학문적 지식에 초점을 맞춘 목표 5(대학 및 직업 준비)로 코딩되었다.
• 창출된 범주: 13.7%의 문항이 "데이터" 범주에 해당하였고, 0.3%가 "읽기" 범주에 해당하였다. 일리노이와 같은 일부 주에서는 문항의 과반수(60%)가 "데이터" 범주에 속하여, 과학적 사실의 회상이 아닌 제공된 정보의 해석을 요구하였다.

핵심 기여
본 연구는 고부담 주 단위 과학 평가가 NGSS 및 K-12 과학 교육을 위한 프레임워크의 "시민 의식" 목표와 얼마나 일치하는지를 정량화한 최초의 실증적 근거를 제공한다. 미국 학생 인구의 거의 절반을 대표하는 표본을 분석함으로써, 저자들은 명시된 교육 목표와 실제 평가 관행 사이의 체계적 정렬이 깨져 있음을 입증하였다. 본 연구는 정책 문서가 시민 참여와 미디어 리터러시를 강조함에도 불구하고, 운영상의 현실인 시험은 대학 및 직업 준비를 위한 학문적 지식을 우선시하고 있다는 점을 부각한다.

의의 및 주장
저자들은 자신들의 연구 결과가 주 단위 평가의 정렬 문제에 대한 교육자들의 회의론을 입증한다고 주장한다. 그들은 이러한 불일치가 단순히 시험의 문제가 아니라 표준 자체에서 비롯된 것이라고 주장한다. 저자들은 NGSS와 대부분의 주 표준이 "비전 I"(과학자를 보는 방식으로서의 과학)을 지나치게 강조하고, 프레임워크의 더 넓은 비전인 "비전 II"(과학-기술-사회 연결)를 과소 강조하고 있다고 지적한다. 구체적으로, 본 논문은 다음과 같이 주장한다:

1. 평가가 수업을 주도한다: 교사와 정책 입안자들이 무엇이 시험에 나오는지를 주목하기 때문에, 시민 의식 중심 문항의 부재는 교실 내에서 이러한 역량이 경시되는 결과로 이어질 가능성이 높다.
2. 표준의 불일치: 이러한 불일치는 단순한 테스트 문제가 아니라 표준 자체에서 기인한다. 저자들은 NGSS와 대부분의 주 표준이 "비전 I"을 지나치게 강조하는 반면, 프레임워크의 광범위한 비전인 "비전 II"는 과소 강조하고 있다고 언급한다.
3. 정책적 시사점: 시민 의식을 위한 과학 학습이라는 목표를 실현하기 위해서는, 공공 정책 참여, 개인적 적용, 그리고 과학적 주장을 평가할 수 있는 능력을 측정하도록 주 단위 평가를 조정해야 한다고 제안한다. 저자들은 PISA의 사례와 캘리포니아 및 뉴욕 시험에서 발견된 특정 문항들을 인용하며, 이러한 문항들이 구현 가능하다는 점을 밝힌다.

본 논문은 대학 및 직업 준비가 중요하지만, 시민 의식 목표를 희생시키면서 발생하는 현재의 과도한 강조는 학생들이 시민으로서 직면하게 될 복잡한 과학적·사회적 결정에 대비하는 데 있어 불균형을 초래한다는 결론을 내리며 겸허하게 마무리된다.