Read, Critique, or Sketch? Investigating Alternative Visualization Literacy Assessment Modalities

기술 요약: 읽기, 비평하기, 또는 스케치하기? 대안적 시각화 리터러시 평가 양식에 관한 연구

문제 제기
시각화 리터러시는 해독(decoding), 구축(constructing), 그리고 비평(critiquing) 기술을 포함하는 다면적인 구성 개념이다. 그러나 기존의 평가 방식(예: VLAT, Mini-VLAT, CALVI)은 주로 차트 이해 및 사실 추출과 같은 저차원 기술에 초점을 맞춘 객관식 형식에 치중되어 있다. 이러한 정량적 방법들은 숙련도가 어느 정도 있는 개인조차도 만점에 가까운 점수를 기록하여 다양한 전문성 수준을 구분해내지 못하는 "천장 효과(ceiling effects)"를 겪는 경우가 많다. 또한, 외부 지식을 적용하거나, 비평을 구성하거나, 처음부터 시각화를 설계하는 것과 같은 고차원 기술을 평가하기에는 정교함이 부족하다. 저자들은 텍스트 리터러시를 위한 SAT나 GRE와 같은 표준화된 시험에 에세이가 포함되는 것과 유사하게, 시각화 커뮤니티에도 리터러시 기술의 범위를 완전히 평가하기 위한 무제한적이고 생성 중심적인 질적 평가가 필요하다고 주장한다.

방법론
저자들은 두 가지 새로운 질적 평가 양식인 **스케치(Sketching)**와 **비평(Critique)**을 개발하고 검증하기 위해 피험자 내 설계(within-subjects) 사용자 연구($N=80$)를 수행하였다.

• 참가자: 전문성 수준을 나타내는 세 가지 뚜렷한 그룹을 모집하였다:
  • 크라우드워커(Crowdworkers) ($n=42$): Prolific을 통해 모집되었으며, 공식적인 시각화 교육을 거의 받지 않은 것으로 간주된다.
  • 학생(Students) ($n=21$): 시각화 과정을 이수한 학부생 또는 대학원생.
  • 전문가(Experts) ($n=17$): 시각화 연구자(박사 학위 소지자 또는 연구 논문을 검토할 수 있는 역량을 갖춘 자).
• 평가 과업:
  • 스케치(Sketching): 참가자들에게 다섯 가지 다양한 데이터셋(예: 사회적 네트워크, 파일 계층 구조, 강수량 데이터)을 제시하고, "이 데이터를 가장 잘 나타낸다고 생각하는 시각화를 스케치하라"고 요청하며 사고 구술(think aloud)을 병행하게 하였다. 참가자들은 프로비넌스(provenance) 추적이 가능한 웹 기반 캔버스(TLDraw)를 사용하였다.
  • 비평(Critique): 참가자들에게 의도적인 디자인 결함(예: 부적절한 색상 척도를 가진 3D 트리맵, 오도하는 로그 스케일 투영이 적용된 선 차트, 빈닝(binning)이 잘못된 지도)이 포함된 세 가지 시각화를 보여주었다. 참가자들은 사고 구술을 수행하며 해당 시각화들을 비평하도록 요청받았다.
  • 통제 변수: 참가자들은 기존의 객관식 평가인 Mini-VLAT(이해력) 및 CALVI(비판적 사고)도 함께 완료하였다.
• 채점 및 분석:
  • 루브릭(Rubrics): 스케치와 비평 양식을 위한 총체적 루브릭이 개발되었다. 스케치 루브릭은 시각화 디자인/계층 구조, 기본 인코딩 선택, 의미론적 타당성, 가이드/텍스트를 평가하였다. 비평 루브릭은 읽기, 맥락화, 판단을 평가하였다. 점수는 "없음"에서 "우수함"까지 5점 척도로 산정되었다.
  • 통계 분석: 저자들은 잠재적 능력과 문항 변별도를 추정하기 위해 2PL 서수 회귀 모델을 사용하는 베이지안 문항 반응 이론(Bayesian IRT)을 활용하였다. 그룹 간 평균 비교를 위해 Welch의 t-검정을 실시하였으며, 네 가지 평가 간의 잠재 능력 점수 사이의 피어슨 상관계수를 계산하였다.

주요 기여

1. 새로운 평가 양식: 본 논문은 기존의 객관식 테스트가 놓치는 고차원 시각화 리터시 기술을 측정하기 위해 설계된 두 가지 질적, 개방형 평가 양식(스케치 및 비평)을 도입하고 검증하였다.
2. 총체적 루브릭: 단순한 정답 여부를 넘어 디자인 근거와 추론을 평가하기 위해 자유 형식의 스케치와 사고 구술 비평을 평가하는 상세한 총체적 루브릭을 제공한다.
3. 경험적 검증: 기존 테스트와의 비교 연구를 통해, 본 연구의 질적 양식들이 전통적인 테스트가 실패하는 지점(전문가, 학생, 크라우드워커 간의 차이)에서 전문성 수준을 성공적으로 구분해낸다는 것을 입증하였다.

결과

• 전문성 차별화: 스케치 및 비평 평가는 전문성의 차이에 대한 강력한 민감도를 보였다.
  • 스케치: 세 그룹 모두를 유의미하게 구분하였다 (전문가 vs 크라우드워커, 학생 vs 크라우드워커, 전문가 vs 학생).
  • 비평: 전문가와 크라우드워커, 그리고 전문가와 학생 사이를 유의미하게 구분하였으나, 학생과 크라우드워커 사이의 구분은 덜 뚜렷했다.
  • 비교: 이와 대조적으로, Mini-VLAT는 강한 천장 효과를 보였으며 그룹 간 유의미한 차이가 나타나지 않았다. CALVI는 일부 차별화(전문가 vs 크라우드워커)를 보였으나, 질적 측정치보다는 민감도가 낮았다.
• 문항 변별도: 베이지안 IRT 분석 결과, 스케치와 비평 문항은 높은 변별도 값(비평 중간값 ~1.92, 스케치 ~1.52)을 가졌으며, 이는 참가자의 다양한 능력 수준을 효과적으로 구분함을 나타낸다.
• 상관관계: 질적 평가(스케치 및 비평)는 서로 간에($r \approx 0.59$), 그리고 CALVI와도($r \approx 0.52-0.57$) 중간 정도의 상관관계를 보였으나, Mini-VLAT와는 약한 상관관계($r \approx 0.30$)를 보였다. 이는 이 평가들이 서로 연관되어 있으면서도 서로 다른 기술 세트를 포착하고 있음을 시사한다.
• 질적 관찰:
  • 크라우드워커들은 수동 스케치에 대한 불만을 자주 표현했으며, 익숙하지만 부적절한 차트 유형(예: 모든 데이터에 바 차트 사용)에 의존하는 경 경향을 보였다.
  • 전문가들은 정교한 디자인 선택(예: 노드-링크 다이어그램에서 엣지 교차 방지)과 더 깊은 맥락적 추론을 보여주었다.
  • 크라우드워커들은 디자인 공감이나 데이터 리터러시 문제보다는 기본적인 규칙(예: "제목이 필요함")에 집중하는 "얕은 비평"을 주로 수행했다.

의의 및 주장
저자들은 질적, 다중 양식(multimodal) 평가가 특히 시각화 훈련을 받은 사람과 그렇지 않은 사람을 구분해야 하는 경우, 기존의 시각화 리터러시 평가를 보완할 수 있는 유망한 도구라고 주장한다. 저자들은 객관식 테스트가 기초적인 이해력을 측정하는 데는 효율적이지만, 고급 시각화 작업을 수행하는 데 필수적인 구축 및 비평 기술을 평가하기에는 불충분하다고 주장한다.

본 논문은 이러한 도구들을 모든 테스트를 대체하기 위한 것이 아니라, 높은 수준의 기술 차별화가 필요한 맥락(예: 시각화 디자인이 포함된 실험의 참가자 선정)을 위한 도구 상의 필수적인 추가 요소로 겸허히 위치시킨다. 저자들은 관리 및 채점의 부담이 증가한다는 점을 한계로 인정하면서도, 고차원 기술로부터 얻는 통찰이 그 노력을 정당화한다고 제언한다. 또한, 향-후 연구에서 LLM(대규모 언어 모델)을 활용한 채점 가능성을 탐색할 수 있음을 언급하면서도, 현재의 모델이 총체적 루브릭을 처리하는 능력과 편향 문제에 대해 주의를 기울여야 한다고 덧붙였다.