Sequential generalized kernel equating: Providing comparable scores across multiple test forms with nonequivalent groups and differently measured covariates

技術的概要：逐次一般化カーネル等化

問題の定義
テスト等化は、異なる集団に実施された複数のテスト形式からのスコアを比較する際の公平性を確保するために不可欠である。集団が非等価であり、かつアンカーテスト（共通項目）が利用できない状況では、共変量付き非等価集団（NEC）デザインがしばしば採用される。このデザインは、集団不変な条件付き分布という重要な仮定に依存している。すなわち、共変量（例：学校成績、過去のテストスコア）を考慮に入れた後、テストスコアの分布は集団間で同一であるという仮定である。

しかし、この仮定は、共変量自体が異なるテスト形式によって測定され、集団間で難易度や尺度が異なる場合に脅かされる。そのような場合、共変量は純粋な処置前のベースラインを表すのではなく、実施された特定のテスト形式の影響を受ける。このような「処置後」または不変ではない共変量に基づいて条件付けを行うと、共変量と対象テストスコアとの関係が集団間で異なる可能性があるため、等化結果にバイアスが生じる。本論文は、カーネル等化の枠組み内で、これらの特定の違反に対処する堅牢な手法の欠如に焦点を当てている。

手法
著者は、NEC デザイン向けに設計された標準的な一般化カーネル等化（GKE）法の 2 段階拡張である**逐次一般化カーネル等化（Sequential GKE）**を提案する。

1. 標準的 GKE の文脈: 本論文は、標準的な GKE 枠組みを利用する。これには、5 つのステップが含まれる。事前平滑化（対数線形モデルを使用）、スコア確率の推定、連続化（ガウスカーネルを使用）、等化関数の定義、および標準誤差の計算である。標準的 GKE は、共変量が集団間で同一の尺度で測定されていると仮定している。
2. 逐次アプローチ: 共変量の尺度の違いに対処するため、提案された手法は中間的な等化ステップを導入する。
   • ステップ 1（共変量の等化）: 異なる形式によって測定された共変量 $C$ を、まず 2 つの非等価集団（$P$ と $Q$）間で等化する。これにより、集団 $Q$ における観測された共変量値（$C$）は、集団 $P$ の分布と比較可能な等化値（$C^*$）に変換される。このステップは、主要なテストスコアの調整に使用される前に、共変量から形式効果を効果的に除去する。
   • ステップ 2（主要スコアの等化）: その後、標準的な GKE 手順を適用して主要なテストスコア（$X$ と $Y$）を等化する。重要なのは、このステップで使用される結合確率分布が、生の観測値ではなく、変換され等化された共変量値（$C^*$）を取り入れる点である。これにより、共変量が共通の尺度にあるため、条件付き分布の仮定がより成立しやすくなる。

シミュレーション研究と結果
著者は、NEC デザインを用いたシミュレーション研究を通じて提案された手法を評価した。ここでは、テスト形式の難易度、共変量とテストスコア間の相関の強さ、およびサンプルサイズを変化させた。

• 仮定違反: 共変量が集団間で異なる難易度で測定された場合（不変な条件付き分布の仮定違反）、標準的 GKE は等化スコアに著しいバイアスを生じさせた。このバイアスは、共変量とテストスコア間の相関が強い場合に特に顕著であった。
• 逐次 GKE の性能: 逐次アプローチを適用することで、このバイアスは大幅に減少した。共変量を最初に等化することで比較可能性が回復し、より正確な等化結果をもたらした。
• トレードオフ: 共変量の等化は、変換ステップによる追加的な変動により等化の標準誤差（SEE）をわずかに増加させたが、全体の二乗平均平方根誤差（RMSE）は改善した。これは、バイアスの減少が分散のわずかな増加を上回る有利なトレードオフであることを示しており、特にサンプルサイズが大きい場合に顕著であった。
• 弱い相関: 共変量とテストスコア間の関係が弱い場合、仮定違反によるバイアスは軽度であったが、逐次手法は SEE の大幅な増大なしに改善をもたらした。

実データへの適用
この手法は、3 年間にわたる春期と秋期に実施された国立の高校卒業試験（英語科テスト）のデータに適用された。母国語（NL）テストスコアが共変量として使用された。

• 文脈: NL テストは必須であるが、英語テストは選択制である。著者は、NL スコアが学期や年度によって難易度がわずかに変動する可能性があることに言及した。
• 発見: この特定のデータセットでは、NL テスト形式は時間経過に対して比較的安定していた。その結果、逐次 GKE モデルにおいて生の NL スコアを使用することと等化された NL スコアを使用することとの差は最小限であった。標準的アプローチと逐次アプローチの間で、等化された英語スコアは非常に類似していた。
• 示唆: これは、共変量が安定している場合、追加のステップは不要であることを示唆している。しかし、著者は、共変量不変性が違反された際にシミュレーションで観察された著しいバイアスに対する防衛策として、逐次手法が重要であると強調している。

意義と主張
本論文は、以下の条件を満たす高リスクの教育評価において、逐次 GKE が方法論的解決策を提供すると主張している。

1. アンカーテストが利用できない。
2. 集団が非等価である。
3. 背景共変量が、直接比較可能とは限らない異なる測定器具や形式によって測定されている。

著者は、このアプローチが、集団不変な条件付き分布の仮定違反に起因するバイアスされた等化結果のリスクを軽減すると述べている。標準的 GKE はそのような違反に敏感であるのに対し、逐次アプローチは主要な等化に先立って共変量の測定尺度を整合させることで、公平性とスコアの比較可能性を向上させる。本研究は、実務者が共変量の安定性を実証的に検証すべきであると結論付けている。不変性が違反されていると疑われる場合、逐次 GKE はこれらの不一致を修正する堅牢なメカニズムを提供する。これは、使用された特定データの安定性により実世界での適用ではわずかな逸脱しか見られなかったとしても同様である。