Framing, Judging, Steering: An Assessable Competency Model for Teach-ing Students to Reason With Generative AI

テクニカル・サマリー：CoRe-3 – 生成AIを用いて推論するための学習者に向けた、評価可能なコンピテンシー・モデル

1. 問題提起

生成AI（GenAI）利用に関する現在の教育的評価は「解像度が低い」状態にある。既存のフレームワークは通常、タスクの指定と反復的な洗練を単一の「プロンプティング」能力として一括りに扱うか、あるいは（システムのメカニズムを理解する）一般的なAIリテラシーに焦点を当てており、パフォーマンスには焦点を当てていない。この粗い解像度は、診断上の盲点を生み出す。学習者がAIを用いて不十分な結果を出した場合、単一のスコアでは、以下の3つの異なる失敗モードを区別することができない。

1. フレーミングの失敗（Framing Failure）： 学習者がタスクの指定を適切に行えなかったため、モデルが誤った問題を解決してしまった。
2. 判断の失敗（Judging Failure）： 学習者が、もっともらしい出力に含まれる事実誤認や論理的誤りを見逃した。
3. ステアリングの失敗（Steering Failure）： 学習者は誤りを検知したが、曖昧または効果のない修正指示を出した。

さらに、無批判なAI利用は、「認知的オフローディング（認知の外注）」や「メタ認知的怠慢」と相関しており、学習者が診断や修正という認知的作業を回避してしまう現象を引き起こす。モデルが実行能力を吸収していくにつれ、人間の役割は「実行」から、システムが自律的に実行できない操作、すなわち「非定型なタスクのフレーミング」「出力の判断」「モデルのステアリング（操縦）」へと移行する。現在の評価手法は、これら分離可能な個別のスキルを測定できていない。

2. メソドロジー

著者らは、生産的なAI利用を、時間的および認知的に明確に区別された3つのスキル、すなわちフレーミング（F）、判断（J）、**ステアリング（S）へと分解するコンピテンシー・モデルであるCoRe-3（Co-Reasoning）**を提案している。

理論的根拠：
本モデルは、学習者のメタレベルが外部のオブジェクトレベル（AI）を監視するというモニター・コントロール・アーキテクチャ（Nelson & Narens, 1990の拡張）に基づいている。

• フレーミング（Framing）： 解法の基準を確立するための、生成前におけるタスク定義フェーズ（自己調整学習）。
• 判断（Judging）： 学習者が内部基準に照らしてAIの出力を評価する、モニタリング・フェーズ（認識論的警戒）。
• ステアリング（Steering）： 学習者がAIを再方向付けするために、修正フィードバックを発行する、コントロール・フェーズ。
  決定的なのは、CoRe-3が生成前のスキルである「フレーミング」と、生成後の修正スキルである「ステアリング」を分離している点であり、これは従来のフレームワークが融合させていた区別である。

インストルメントおよび実現可能性のデモンストレーション：
著者らは、CoRe-3をCoReasoningLabというオープンソースのウェブ・プラットフォームに実装した。即時の人間による検証に依存せずに実現可能性を示すため、シミュレートされた学習者を用いた対照実験を実施した。

• 設計： 10の異なる主題（アルゴリズム、有機化学、法律など）にわたる80人のシミュレートされた学習者を対象とした、クロス因子設計。
• コンピテンシーの操作： 各学習者のF、J、Sにおけるコンピテンシーを、独立して「強い（strong）」または「弱い（weak）」に設定した。
• 生成および採点： 学習者の応答は一つのモデル（gpt-4o-mini）によって生成され、自己採点を防ぐために別のモデル（gpt-4o）によって採点された。堅牢性をテストするため、3つのグレーダー・バックエンド（llama-3.3-70bを含む）を使用した。
• スコアリング・メカニズム：
  • フレーミング： ゴールドスタンダードとなるフレーミングおよびルーブリックに対して評価。
  • 判断： 機械的にシードされた（仕込まれた）正解の欠陥に対して評価（再現率と適合率を測定）。
  • ステアリング： サイクルを通じた出力の改善の軌跡に対して評価。

3. 主な貢献

1. 分解されたコンピテンシー・モデル： CoRe-3は、生産的なGenAI利用を、生成前の「フレーミング」と生成後の「ステアリング」を明確に区別した、独立して評価可能な3つのスキル（FJS）へと分解した初の理論的根拠を持つモデルである。
2. 理論的統合： 本モデルは、これらのスキルを、単一の「外向的（exo-directed）」なモニター・コントロール・アーキテクチャの下で、確立された理論（メタ認知的モニタリング／コントロール、自己調整学習、認識論的警戒）へとマッピングしている。
3. 検証可能な命題： 本論文は、「ゲーティング（門番）」関係（フレーミングがループを規定し、判断がステアリングを規定する）や、乖離命題（P3）（あるスキルに習熟していることは、他のスキルに習熟していることを意味しない）を含む5つの仮説を提示している。
4. 実現可能性のデモンストレーション： 著者らは、これら3つのスキルが自動的にスコアリング可能であり、かつ経験的に分離可能であることを示すインストルメントとデータを提供している。
5. オープン・アーティファクト： CoReasoningLabプラットフォーム、スコアリング・エンジン（16のプロンプト）、データセット、および人間による評価者検証のためのプロトコルの公開。

4. 結果

実現可能性のデモンストレーションにより、**乖離命題（P3）**を支持する証拠と、インストルメントの妥当性が得られた。

• 識別能： 成績は、操作されたコンピテンシーに従って単調に変動した。特定のスキルが「強い」に設定されると、そのスキルのグレードは有意に上昇したが、他のスキルのグレードは横ばいであった。
• 乖離： 「自身のスキル」に対する効果は強力かつ統計的に有意であった（3ポイント・スケールにおいて、フレーミング：+0.62、ステアリング：+0.43）一方で、「クロス・スキル」の効果はほぼゼロであった（平均 +0.01）。これは、グレーダーが単一の一般的な「AI能力」因子に依存するのではなく、スキルを明確に区別していることを示している。
• 収束的および判別的妥当性：
  • 収束的妥当性： 異なるモデル・バックエンドによって採点された同一のスキルは、高い一致を示した（フレーミングの平均ランク相関 +0.57、判断の +0.67）。
  • 判別的妥当性： 同一のバックエンドによって採点された異なるスキルは、相関がほぼゼロであった。
  • 集団への感度： シミュレートされた学習者が共通のコンピテンシー・レベル（すべて「強い」またはすべて「弱い」）を持っていた場合、インストルメントは正の相関を正しく報告した。コンピテンシーが独立していた場合、インストルメントはほぼゼロの相関を報告した。これは、インストルメントが人工的に乖離を作り出していないことを証明している。
• ゲーティング関係： 判断とステアリングの間の相関は正（+0.25）であり、Proposition P2（判断がステアリングの天井となる）と一致したが、フレーミングと判断の間には相関がなく、それらの独立性が示された。

5. 意義と主張

本論文は、CoRe-3が「AIへのアクセス」や「プロンプトの流暢さ」を測る段階を超え、生産的な人間とAIの協働に必要とされる具体的な認知的操作を測定するための診断的フレームワークを提供すると主張している。

• 主張の謙虚さ： 著者らは、これが完全な有効性研究ではなく、あくまで実現可能性のデモンストレーションであることを明示している。結果は、構成概念が分離可能であること、および自動化されたインストルメントがそれらを検出できることを証明している。
• 限界： 本研究はシミュレートされた学習者と機械採点の出力を使用しており、人間による専門家との一致、および実際の学習成果（学習の有効性）への影響については、今後の検証研究（セクション9.3）に委ねられている。
• 核心的な議論： 意義は、その**「分離自体」**にある。フレーミング、判断、ステアリングを切り離すことで、教育者は学習者のプロセスがどこで崩壊しているのか（例：「学生はタスクを上手くフレーミングしたが、出力を判断することに失敗した」）を正確に特定し、的を絞った指導を行うことができる。AIモデルがより多くの実行能力を吸収していくにつれ、「評価可能な人間のスキル」はこれら3つの操作へと完全にシフトする。それゆえ、CoRe-3は教育の未来における耐久性のあるフレームワークとなる。