Bridging SCED and Group Designs: Demonstrating the Ratio-Metric BC-IRR Effect Size in a Meta-Analysis

教育やセラピーの世界において、研究者たちは根強い謎に直面している。それは、新しい手法が実際に人の学習や行動を改善しているかどうかを、どのように測定するかという問題である。数十年にわたり、科学界は二つの全く異なる証拠収集方法に頼ってきた。一つのアプローチは「グループ・デザイン」と呼ばれ、多数の人々を集め、彼らをチームに分け、新しい治療を受けるチームと標準的なケアを受けるチームの平均的な結果を比較するものである。この手法は、集団全体にわたる広範な傾向を把握するのに強力である。もう一つのアプローチは「シングルケース実験デザイン」と呼ばれ、一度に一人の個人に深く焦点を当てるものである。研究者は一人の人物を注意深く観察し、特定の介入を導入し、その人の行動が時間の経過とともにどのように変化するかを追跡する。多くの場合、要求を行う、あるいは課題に集中するといった特定の動作における即時的な変化に着目する。両方の手法とも厳密ではあるが、歴史的にこれらは異なる言語を話してきた。グループ研究は集団がどのように変化したかを示す数値を生成し、シングルケース研究は個人がどのように変化したかを示す数値を生成する。これらの数値は計算方法が異なるため、自閉スペクトラム症の生徒にとって何が最も効果的であるかという単一で明確な全体像を統合することは困難であった。

この困難さは、教育者や政策立案者に「盲点」を生み出している。もし新しいテクノロジーがある子供たちのグループの社会的スキルを一定量向上させたとしても、別の子供たちのグループのコミュニケーション能力を異なる量だけ向上させた場合、そのテクノロジーが全体として本当に効果的であると、どうすれば判断できるのだろうか。問題は、研究の見た目が異なるということだけでなく、成功を測定するために使用されるツールが互いに互換性がないことにある。従来のツールは、改善の大きさ（効果量）と、結果が個人間でどの程度ばらつくかを混同したり、観察期間によって意味が変わってしまったりすることが多い。この問題を解決するために、テキサスA&M大学のウェン・ルオ率いる研究チームは、新しい「物差し」を構築することに着手した。彼らは、個々の結果とグループの結果を同じ言語へと翻訳し、それらを並べて比較できるようにする方法を求めていた。彼らは、「発生率比（incidence rate ratio）」と呼ばれる特定の種類の測定法に注目した。平易な言葉で言えば、これは単純な比率の比較である。つまり、治療が行われている間にその行動が何回発生したかを、治療が始まる前に何回発生していたかと比較するものである。この比率を用いることで、研究者は介入の効果を、専門的な訓練を必要とする複雑な統計スコアではなく、分かりやすいパーセンテージによる増加または減少として表現することができた。

研究者たちは、自閉症の生徒に対するテクノロジー支援型指導に関する過去の膨大な研究を再検証することで、この新しいアプローチをテストした。この元のコレクションは、他の科学者によって2017年に編纂されたもので、グループ・デザインとシングルケース・デザインの両方を用いた数十の研究を含んでいた。研究チームは、表情の認識から、助けを求める頻度、あるいは会話への参加まで、36の具体的なアウトカムを再検証した。彼らは、シングルケース研究にこの新しい比率ベースの手法を適用し、グループ研究にも一致する比率法を適用した。目標は、この新しいレンズを通して見たときに、二つのタイプの研究が一致した物語を語るかどうかを確認することであった。結果は、二つのデザインが成功を測定する方法において、明確かつ定量的な違いがあることを明らかにした。グループ研究では、テクノロジーによる介入がコントロール条件に対して平均して約23パーセントの改善をもたらしたことが示された。言い換えれば、治療グループの生徒たちは、特定のテクノロジー支援を受けなかった生徒たちよりも、およそ4分の1程度優れたパフォーマンスを示したのである。

しかし、シングルケース研究は、より劇的な物語を伝えていた。研究者が同じ比率ベースの論理を個別の事例に適用したところ、介入によってポジティブなアウトカムがベースラインと比較して4倍以上に増加していることが分かった。これは、これらの研究における個々の生徒にとって、改善しようとしていた行動が、介入開始後には4回以上も頻繁に起こったことを意味する。23パーセントの増加と4倍の増加の間の差は顕著であり、当初はデータの矛盾を示唆しているように思われた。しかし、研究者たちはこのギャップをエラーやデータの欠陥として退けることはなかった。代わりに、彼らはこの新しい指標を用いて、なぜ数値がこれほど異なって見えるのかを説明した。彼らは、二つのタイプの研究が本質的に異なる出発点から始まっていることを見出した。グループ研究は、多くの場合、新しいテクノロジーを、生徒がすでに中程度のスキルを持っている標準的な教室環境や別の種類の指導と比較していた。対照的に、シングルケース研究は、多くの場合、介入前にターゲットとなる行動のレベルが非常に低い生徒からスタートしていた。出発点が非常に低かったため、たとえ絶対的な改善がわずかであっても、莫大なパーセンテージの増加となったのである。

この区別は極めて重要である。なぜなら、それは介入の成功をどのように解釈するかを変えるからである。新しい手法は、シングルケース研究で見られる大きな数値が、必ずしも個人に対する治療がグループに対するものよりも優れていることを示しているのではなく、むしろ個人がはるかに低いベースラインからスタートしていたことを示しているのだということを明らかにした。比率ベースの測定法は、絶対的な差ではなく相対的な変化に焦点を当てることで、これを明確にした。また、従来のメソッドが抱えていた主要な弱点も浮き彫りにした。従来のツールは、しばしば改善の大きさとデータのばらつきを混同しており、大きな効果が真の実績なのか、それとも単にスコアの散らばり具合によるものなのかを判別することを困難にしていた。新しい比率アプローチは、この罠を完全に回避し、スコアがどれほど変動しても、あるいは観察セッションがどのくらいの長さであっても、安定した結果を提供した。また、誰もが理解できる数値を提供した。すなわち、「4倍の増加」は具体的な概念であるが、「複雑な統計スコア」はそうではない、ということである。

この研究はまた、これらの異なる結果が、研究の出版におけるバイアスによって引き起こされているのかという問いにも答えた。研究者が、劇的な改善を示すシングルケース研究を出版しやすく、効果が小さい、あるいは効果がない研究を無視する傾向があるという懸念は一般的である。研究者たちは、このようなバイアスが存在する可能性を認めつつも、彼らの分析によれば、それがすべてではないことを示唆した。データは、結果の違いが主に、研究の設定方法や何を測定しているかという根本的な違いに起因していることを示していた。グループ研究は、テクノロジーが既存のものよりも優れているかどうかをテストしており、一方でシングルケース研究は、テクノロジーが「ほとんど、あるいは全く能力がない状態」から大きな変化を生み出せるかどうかをテストしていたのである。どちらの知見も有効であるが、それらは異なる問いに答えている。グループ研究は、テクノロジーが標準的な慣行に対して緩やかではあるが意味のある優位性を提供することを示唆しており、シングルケース研究は、テクノロジーが非常に低いレベルからスタートする生徒にとって変革的なものになり得ることを示している。

これら二つの世界を橋渡しすることで、研究者たちは証拠を統合するためのより明確な道筋を提供した。彼らは、異なるタイプの研究からの知見を、一つの誤解を招くような単一の数値に無理やり押し込むことなく、組み合わせることが可能であることを示した。この新しい手法により、科学者は全体像を見ることができるようになる。すなわち、テクノロジー支援型指導は効果的であるが、その影響は文脈や生徒の出発点によって異なって見える、ということである。研究は、介入の有効性を捉える単一の数値は存在しないという結論を下している。代わりに、研究者や実践者は、介入の力の全容を理解するために、相対的な変化と絶対的な変化の両方を見るべきである。このアプローチは、教育やセラピーに関する決定が、部分的な視点によってニュア細部を見落とすのではなく、証拠に対する完全かつ正確な理解に基づいていることを保証する。この研究は、変化を測定するための正しいツールを使用するとき、単に「何かが機能するか」だけでなく、「それがどのように、そして誰にとって最も効果的に機能するのか」を正確に見ることができることを証明している。