Sketch2Feedback: Grammar-in-the-Loop Framework for Rubric-Aligned Feedback on Student STEM Diagrams

本論文は、STEM 教育における学生が描いた図へのフィードバック生成において、大規模マルチモーダルモデルのハルシネーション問題を解決するため、構文ルールに基づく検証ループを組み込んだ「Sketch2Feedback」フレームワークを提案し、合成データセットを用いた評価で、従来モデルに比べてハルシネーションを抑制しつつ実用的なフィードバックを提供できることを示しています。

要約

この論文は、**「学生が手書きで描いた理科（物理や電気）の図を、AI が自動的に添削してフィードバックを与える仕組み」**について書かれています。

タイトルは『Sketch2Feedback（スケッチからフィードバックへ）』。
この研究の核心は、**「AI に何でも任せるのではなく、ルール（文法）を挟んで厳しくチェックさせる」**という新しいアプローチです。

以下に、専門用語を排し、身近な例え話を使ってわかりやすく解説します。

---

🎨 1. 問題：AI は「自信過剰な嘘つき」になりがち

理科の授業で、生徒が黒板やノートに「力の図（フリーボディダイアグラム）」や「回路図」を描いたとしましょう。先生は「ここが間違っているよ」と教えてあげたいのですが、生徒が何百人もいれば、一人一人の図をチェックするのは大変です。

そこで「AI（大規模言語モデル）」に頼もうとすると、**「幻覚（ハルシネーション）」**という問題が起きます。

• 例え話： AI はまるで、**「自信満々な嘘つき」**のようです。「ここに矢印があるね！」「この電池は逆だ！」と熱心に指摘しますが、実は生徒の図には矢印も電池もありません。AI は「あるはずだ」と勝手に想像して、生徒を混乱させてしまいます。

🛠️ 2. 解決策：「文法チェック付きの AI」システム

この論文では、**「Sketch2Feedback」という新しいシステムを提案しています。これは、AI だけを信じるのではなく、「厳格なルール（文法）を挟んで、AI が話す内容を事前にチェックする」**仕組みです。

このシステムは、4 つのステップで動きます。まるで**「工場のライン」**のようなイメージです。

1. 目（検知）： まず、古典的な画像処理技術で図の「矢印」「線」「部品」を探します。
2. 頭（構造化）： 見つかったものを、コンピュータが理解できる「図（グラフ）」に組み立てます。
3. ルール係（チェック）： ここが重要です！「物理の法則」や「回路のルール」に従って、**「本当に間違いがあるか？」**を厳しくチェックします。
   • 例え話： ここは**「厳格な審査員」**です。「ルール違反がない限り、AI に話すことを許さない」というルールです。
4. 口（AI による説明）： 最後に、AI（VLM）が登場します。しかし、AI は**「審査員が『間違いあり』と認めたことだけ」**を言葉にして生徒に伝えます。
   • ポイント： AI は勝手に「ここが間違ってるよ」と言えなくなります。審査員が「OK」と言わない限り、AI は口を閉ざすのです。

⚖️ 3. 実験結果：「万能な AI」は存在しない

研究者は、このシステムを「力の図（FBD）」と「回路図（Circuit）」の 2 つでテストしました。結果は**「場所によって得意不得意がある」**という、少し意外なものでした。

• 力の図（FBD）の場合：

  • 結果： 従来の「何でもできる AI（End-to-End LMM）」の方が、間違いを見つけるのが上手でした。
  • 理由： 力の図は「矢印の向き」や「バランス」など、**「全体の雰囲気や感覚」**で判断する必要があるため、ルールで細かくチェックするより、AI の直感的な理解の方が勝りました。
  • 例え話： 絵画の「構図の美しさ」を判断するのは、厳格なルールの審査員より、感性豊かな芸術家（AI）の方が得意な場合がある、という感じです。

• 回路図の場合：

  • 結果： 今回の「ルール付きシステム」が圧勝しました。
  • 理由： 回路図は「電池の向き」「線のつなぎ方」など、**「明確なルール」**で正誤が決まるため、厳格な審査員（ルールチェック）が活躍しました。
  • ポイント： 従来の AI は回路図でほとんど失敗しましたが、このシステムは「ルール違反」を完璧に指摘し、**「どう直せばいいか」**という具体的なアドバイス（アクション性）も 100 点満点でした。

🔍 4. 最大の発見：失敗の原因が「特定できる」

このシステムのもう一つの大きな強みは、**「どこで失敗したかがはっきりわかる」**ことです。

• 従来の AI： 「間違えた！」と言われても、「なぜ？」がわかりません。AI 全体が黒箱（ブラックボックス）なので、修正が難しいです。
• 今回のシステム： もし「嘘（幻覚）」を言っても、それは**「1 番目の『目（検知）』が間違った情報を拾ってきたから」**だと特定できます。
  • 例え話： もし料理がまずかったら、「料理人（AI）」のせいではなく、「食材を間違って選んだ仕入れ係（検知部分）」のせいだと特定できます。だから、仕入れ係だけを交代すれば良くて、料理人全体をクビにする必要はありません。

🚀 5. まとめ：これからどうなる？

この研究は、**「AI をそのまま使うのではなく、ルールと組み合わせて使う」**ことの重要性を教えてくれました。

• 得意分野： 明確なルールがあるもの（回路図など）には、この「ルール付き AI」が最強です。
• 苦手分野： 感覚や文脈が必要なもの（力の図など）には、まだ従来の AI の方が上手です。
• 未来： 今後は、この 2 つの AI を**「チームワーク」**させて、得意な分野で互いに補い合う仕組み（アンサンブル）を作ることが期待されています。

一言で言うと：
「AI に任せるだけでなく、**『ルールというフィルター』**を通して、AI が言うことを裏付けのあるものだけに絞ることで、生徒へのフィードバックを『信頼できるもの』に変えた研究」です。

技術概要

Sketch2Feedback: 学生 STEM 図面に対するルビック整合フィードバックのための文法ループ内フレームワーク

技術的サマリー（日本語）

本論文は、STEM 教育における学生が描いた図面（自由体図や回路図など）に対する、即時的かつルビック（評価基準）に整合したフィードバック提供の課題に取り組んだものです。大規模マルチモーダルモデル（LMM）の幻覚（hallucination）問題が教室での信頼性を損なう中、Sketch2Feedbackという「文法ループ内（Grammar-in-the-Loop）」フレームワークを提案し、その有効性と限界を評価しました。

1. 問題設定

STEM 教育において、学生が描く自由体図（FBD）や回路図は、概念構造（力のバランスや回路トポロジー）を可視化する重要な手段です。しかし、手書きのスケッチに対して、具体的で実行可能（actionable）かつ評価基準に合致したフィードバックを大規模に提供することは依然として困難です。
既存の大規模マルチモーダルモデル（LMM）は画像解析と自然言語生成が可能ですが、学生風の図面に対して「存在しない要素を自信を持って記述する」という幻覚現象を起こしやすく、教育現場での信頼性を低下させる要因となっています。根本的なボトルネックは生成能力ではなく、知覚の信頼性にあると著者は指摘しています。

2. 提案手法：Sketch2Feedback

提案システムは、知覚、記号推論、言語生成を分離する「文法ループ内」アーキテクチャを採用しています。これにより、言語モデル（VLM）は、上流のルールエンジンによって検証された違反事項のみを言語化します。

4 つのステージからなるパイプライン:

1. ハイブリッド知覚（Hybrid Perception）:
   • 従来のコンピュータビジョン（CV）技術の組み合わせを用います。CLAHE によるコントラスト正規化、適応的閾値処理、輪郭分析（矢印や力の検出）、Hough 線変換（配線の検出）、形状ベースの分類（部品や接点の検出）などを行います。
   • 非最大値抑制（NMS）を用いて重複検出を除去します。
2. 記号グラフ構築（Symbolic Graph Construction）:
   • 検出されたプリミティブを、タイプ、信頼度、バウンディングボックスを持つノードと、空間的近接性（80 ピクセル未満）を持つエッジからなるタイプ付きグラフ $G=(V, E)$ として構築します。
3. 制約チェック（Constraint Checking）:
   • 定義されたシナリオキー（正解の基準）に対して、グラフ $G$ に制約条件（述語）を適用します。
   • 局所制約: 必要な力の有無、方向の整合性、部品の接続、極性の正しさ、アースの有無など。
   • 非局所制約: 静的な FBD における力のバランス近似、曖昧な配線交差における接点のセマンティクスなど。
   • 検証された違反リストのみを次段階へ渡します。
4. 制約付きフィードバック生成（Constrained Feedback Generation）:
   • 検証済みの違反リストと画像のみを入力として、コンパクトな VLM（Qwen2-VL-2B）にフィードバック文を生成させます。
   • 制約チェッカーが検出していないエラーは VLM が捏造できないため、幻覚が制御されます。VLM が利用できない場合、構造化されたドメイン固有テンプレートにフォールバックします。

3. 主要な貢献

1. マイクロベンチマークの作成:
   • FBD-10: 自由体図 10 種類（200 サンプル）。
   • Circuit-10: 回路図 10 種類（200 サンプル）。
   • 両者とも、制御されたエラー分類、ピクセル単位のバウンディングボックス、ルビックキー、および合成データ（ノイズや描画のばらつきをシミュレート）を含みます。
2. 4 ステージの文法ループ内パイプライン:
   • 古典的 CV、記号グラフ、ドメイン固有制約、制約付き VLM を組み合わせたアーキテクチャの提案。
3. 多目的評価スイート:
   • 検出 F1 スコア、フィードバックの質（Likert 評価）、幻覚率、較正誤差（ECE）、遅延時間を測定。すべての結果に 95% ブートストラップ信頼区間を付与。
4. 正直な混合結果の分析:
   • 単一のアーキテクチャが全ドメインで優位ではないことを示し、モデル間の相補性を明らかにしました。

4. 実験結果

FBD-10 と Circuit-10 のテストセット（各 40 サンプル）において、提案手法（Grammar+VLM）を、エンドツーエンド LMM（LLaVA-1.5-7B）およびビジョンのみの検出器と比較しました。

• 自由体図（FBD）における結果:
  • エンドツーエンド LMM の優位性: LLaVA-1.5-7B は、マイクロ F1 0.471（Grammar: 0.263）で大幅に上回りました。特に「欠落した力」の検出に強く、フィードバックの質（正しさ・実行可能性）も高かったです。
  • Grammar パイプラインの弱点: 古典的 CV が「欠落した力」を検出できないため、F1 が低くなりました。
• 回路図（Circuit）における結果:
  • Grammar パイプラインの優位性: Grammar パイプラインはマイクロ F1 0.329（LLaVA: 0.038）で圧倒的に優れていました。LLaVA は回路図の構造的理解に失敗しました。
  • 幻覚率の分析: Grammar パイプラインの回路図における幻覚率（0.925）は非常に高かったですが、これは VLM の捏造ではなく、Stage 1 の古典的 CV による誤検出（False Positive）が上流から伝播した結果であることが特定されました。
• フィードバックの質:
  • Grammar パイプラインは回路図において「実行可能性（Actionability）」で満点（5.0/5）を記録しました。違反が検出されれば、テンプレートに基づき具体的な修正を提案するためです。
• モデルの相補性:
  • Grammar パイプラインは「方向の誤り」や「アースの欠落」などの構造的制約違反に強く、エンドツーエンド LMM は「欠落」系のエラー検出に強いという相補性が確認されました。

5. 意義と結論

• アーキテクチャの価値（モジュール性と診断可能性）:
  • 最も重要な発見は、システムが「どこで失敗したか」を特定できる点です。幻覚の原因が VLM ではなく CV 知覚モジュールにあることが明確に分離され、システム全体を再学習させることなく、Stage 1 の検出器を置き換えるなどのターゲット改善が可能であることが示されました。
• 知覚がボトルネック:
  • 検出の失敗は主に知覚レベル（古典的 CV の限界）に集中しており、YOL や DETR などの学習済み検出器への置き換えが最大の改善点であることが示唆されました。
• 教育的適用への示唆:
  • 単一のモデルが万能ではないため、ドメインに応じたモデル選択や、将来的なアンサンブル手法の必要性が浮き彫りになりました。また、教育現場での信頼性を高めるためには、生成前の検証プロセス（文法ループ）が不可欠です。

本論文は、STEM 教育における AI フィードバックシステムにおいて、単なる生成能力の向上だけでなく、構造化された検証プロセスによる信頼性と診断可能性の重要性を強く主張するものです。