Read, Critique, or Sketch? Investigating Alternative Visualization Literacy Assessment Modalities

技術要約：読み、批判するか、それとも描くか？代替的な可視化リテラシー評価モダリティの調査

問題提起
可視化リテラシーは、デコード（解読）、構築、および可視化の批判というスキルを含む多面的な構成概念である。しかし、既存の評価法（例：VLAT、Mini-VLAT、CALVI）は、主にチャートの理解や事実の抽出といった低次のスキルに焦点を当てた多肢選択形式が主流である。これらの定量的手法は、ある程度のスキルを持つ個人が満点に近いスコアを出してしまう「天井効果」に陥りやすく、習熟度の違いを判別できないという課題がある。さらに、外部知識の適用、批判の定式化、およびゼロからの可視化設計といった高次のスキルを評価するための細かなニュアンスに欠けている。著者らは、テキストのリテラシーにおいてSATやGREなどの標準化テストにエッセイが含まれているのと同様に、可視化コミュニティにおいても、リテラシースキルの全範囲を完全に評価するための、制約のない、創造性に焦点を当てた定性的評価が必要であると主張している。

手法
著者らは、2つの新しい定性的評価モダリティである**スケッチ（Sketching）と批判（Critique）**を開発・検証するために、被験者内デザインのユーザー調査（$N=80$）を実施した。

• 参加者： 異なる専門性レベルを表す3つのグループを募集した。
  • クラウドワーカー（Crowdworkers） ($n=42$): Prolificを通じて募集。正式な可視化トレーニングを受けていないと想定される。
  • 学生（Students） ($n=21$): 可視化の講義を修了した学部生または大学院生。
  • エキスパート（Experts） ($n=17$): 可視化の研究者（博士号保持者、または研究論文の査読が可能な者）。
• 評価タスク:
  • スケッチ（Sketching）: 参加者に5つの多様なデータセット（例：ソーシャルネットワーク、ファイル階層、降水量データ）を提示し、「このデータを最もよく表していると考える可視化をスケッチしてください」と依頼し、思考発話（think aloud）を行わせた。プロベナンス（履歴）追跡機能を持つウェブベースのキャンバス（TLDraw）を使用した。
  • 批判（Critique）: 参加者に、意図的なデザイン上の欠陥（例：不適切なカラースケールを持つ3Dツリーマップ、誤解を招く対数スケールの投影を持つ折れ線グラフ、不適切なビン分割が行われた地図）を含む3つの可視化を示した。参加者は思考発話を行いながら、それらの可視化を批判することを求められた。
  • コントロール指標: 参加者は既存の多肢選択式評価である Mini-VLAT（理解度）および CALVI（批判的思考）も完了した。
• 採点および分析:
  • ルーブリック: スケッチと批判の両方のモダリティに対して、包括的なルーブリックを開発した。スケッチのルーブリックでは、可視化のデザイン／階層、基本エンコーディングの選択、意味的妥当性、ガイド／テキストを評価した。批判のルーブリックでは、読解、文脈化、および判断を評価した。スコアは「なし」から「優秀」までの5段階（5段階評価）とした。
  • 統計分析: 著者らは、潜在的な能力と項目の識別能を推定するために、2PL順序回帰モデルを用いたベイズ項目反応理論（IRT）を利用した。グループ間の平均値を比較するためにウェルチのt検定を用い、4つの評価間の潜在能力スコアの間のピアソン相関係数を算出した。

主な貢献

1. 新しい評価モダリティ: 本論文は、多肢選択式のテストでは捉えきれない高次の可視化リテラシースキルを測定するために設計された、2つの定性的かつオープンエンドな評価タスク（スケッチおよび批判）を導入し、検証した。
2. 包括的なルーブリック: 単なる正誤を超えて、デザインの根拠や推論を評価するために、自由形式のスケッチや思考発話による批判を評価する詳細な包括的ルーブリックを提供した。
3. 実証的検証: 既存の評価との比較研究を通じて、本研究の定性的モダリティが、従来のテストが失敗する場面（クラウドワーカー、学生、エキスパートの間で専門性の違いを判別する場面）において、専門性の違いを効果的に識別できることを示した。

結果

• 専門性の判別: スケッチおよび批判の評価は、専門性の違いに対して強い感度を示した。
  • スケッチ: 3つのグループすべて（エキスパート対クラウドワーカー、学生対クラウドワーカー、エキスパート対学生）を有意に区別した。
  • 批判: エキスパート対クラウドワーカー、およびエキスパート対学生を有意に区別したが、学生対クラウドワーカーの区別はそれほど顕著ではなかった。
  • 比較: 対照的に、Mini-VLAT は強い天井効果を示し、グループ間に有意な差は見られなかった。CALVI は一定の判別（エキスパート対クラウドワーカー）を示したが、定性的手法よりも感度が低かった。
• 項目の識別能: ベイズIRT分析により、批判の項目の中央値は約1.92、スケッチは約1.52という高い識別値を示し、これらが参加者の異なる能力レベルを効果的に区別していることが明らかになった。
• 相関: 定性的評価（スケッチと批判）は互いに中程度の相関（$r \approx 0.59$）を示し、CALVIとも中程度の相関（$r \approx 0.52-0.57$）を示したが、Mini-VLATとの相関は弱かった（$r \approx 0.30$）。これは、これらが関連している一方で、異なるスキルセットを捉えていることを示唆している。
• 定性的観察:
  • クラウドワーカーは、手動でのスケッチに不満を表明することが多く、馴染みのある（しばしば不適切な）チャートタイプ（例：あらゆるデータに対して棒グラフを使用する）に依存していた。
  • エキスパートは、微細なデザインの選択（例：ノードリンク図におけるエッジの交差を避けること）や、より深い文脈的な推論を示した。
  • クラウドワーカーは、デザインの共感やデータリテラシーの問題ではなく、基本的なルール（例：「タイトルが必要」）に焦点を当てた「浅い批判」を行うことが多かった。

意義および主張
著者らは、定性的かつマルチモーダルな評価が、特に可視化のトレーニングを受けた個人と受けていない個人を区別する必要がある場合において、既存の可視化リテラシー評価に対する有望な補完策となることを主張している。彼らは、多肢選択式のテストは基礎的な理解には効率的であるが、高度な可視化作業に不可欠な構築および批判のスキルを評価するには不十分であると論じている。

本論文は、これらのツールを既存のテストの代替としてではなく、高精度なスキルの判別（例：可視化デザインを含む実験の参加者選定など）を必要とする文脈における、ツールキットへの必要な追加要素として控えめに位置づけている。著者らは、管理と採点の負担が増大することを限界として認めているが、高次のスキルに関する知見が得られることがその労力を正当化すると述べている。また、将来の研究として、包括的なルーブリックの処理や方言バイアスに関する現在の限界を考慮しつつ、大規模言語モデル（LLM）を採点に活用する可能性についても言及している。