Multimodal Prompt Learning with Vision--Language Foundation Models for Automated Storyboard Assessment and Formative Feedback in Film Education

技術要約：自動ストーリーボード評価のためのCRaFT

問題の定式化
本論文は、映画教育におけるストーリーボード評価の課題に取り組んでいる。ストーリーボードは、フレーミング、カメラ位置、アクション、ショットの遷移を含む、映画的な意図を表現した複雑かつ時系列的な表現である。従来の評価は困難である。なぜなら、認識可能な視覚的属性だけでは物語の質を一意に決定できないためであり、また、フィードバックが提出されたパネルに対する批判と結びつく具体的な根拠を欠いていることが多いからである。既存の大規模な映画データセット（MovieNet、AVEなど）は、ショットの属性に関する教師あり学習を提供しているが、教育現場で求められる形成的かつ基準に特化したフィードバックを行うようには設計されていない。著者は、信頼できる自動評価に対する3つの主要な障害を特定している：

1. 基準の絡み合い（Criterion Entanglement）： 視覚的な手がかりはしばしば複数の基準間で重複する（例：フレーミングと連続性）。そのため、固定されたグローバルな埋め込みでは、マルチ基準のルーブリックに対応するには不十分である。
2. 反事実的曖昧性（Counterfactual Ambiguity）： 視覚的な異常（例：視線の逆転）を認識することは、必ずしもその修正が物語を改善するかどうかを確立することにはならない。なぜなら、映画の慣習には様式的な例外が許容されるからである。
3. 妥当性と不確実性（Validity and Uncertainty）： 公開されている映画データは、プロの編集結果を反映しており、学習者の作品に対する指導者の判断を反映したものではない。そのため、創造的な意図や欠落したモダリティ（音声、動き）が利用できない場合、潜在的なバイアスや「偽りの確信」が生じる可能性がある。

手法：CRaFT
著者は、ストーリーボードの評価を、編集可能な時系列グラフ上の基準条件付き推論として扱うフレームワークである**CRaFT（Criterion-constrained Rubric-aware Feedback Transport）**を提案している。このシステムは、凍結された視覚・言語基盤モデルを、低ランクのプロンプト学習および不均衡最適輸送（Unbalanced Optimal Transport）と結合させている。

• 編集可能な時系列グラフ（Editable Temporal Graph）： 入力されるストーリーボードは、ノードがパネル（視覚情報とキャプション）を表し、エッジが時間的および物語的な関係を表すグラフ $G=(V, E)$ としてモデル化される。このグラフは「編集可能」であり、パネルの再順序化、キャプションの修正、または画像の置換を行うオペレータを備えている。
• 基準条件付きマルチモーダル・プロンプティング： 独立したモジュールを用いるのではなく、CRaFTは共有された低ランク潜在因子を使用して、特定のルーブリック基準に条件付けられた結合された視覚および言語プロンプト・トークンを生成する。これにより、視覚的表現とテキスト表現が同一の低次元ルーブリック部分空間内で整合されることが保証される。
• 不均衡最適輸送（Unbalanced Optimal Transport: UOT）： 中核となる革新は、マルチモーダルな証拠トークンを順序付けられたルーブリック・アンカーに整合させるためにUOTを使用することである。標準的な分類とは異なり、UOTは支持されない証拠を一致させないままにする（不均衡）ことを可能にし、証拠が弱い場合にシステムが無理に適合させることを防ぐ。この輸送計画は、基準固有のスコアと、根拠に基づいた属性付与の両方を提供する。
• 順序スコアリングと反事実的フィードバック： システムは、グローバルに順序付けられた閾値を用いて、各基準に対して順序スコア（0–4）を予測する。極めて重要な点として、フィードバックは**反事実的目的関数（counterfactual objective）**を介して生成される。システムは、修正されたグラフ上でルーブリック・スコアを再計算することにより、候補となる編集を評価する。編集が推奨されるのは、不確実性を考慮した上で、推定される利得の保守的な下限を満たし、支持された局所的な改善を示す場合のみである。
• 選択的信頼性： フレームワークには、棄却メカニカニズムが含まれている。証拠による支持が不十分であるか、あるいは不確実性が高い場合、システムはフィードバックの発行を控える。これにより、高信頼度で根拠に基づいた提案のみが提示されるようにする。

主な貢献

1. タスクの定式化： 著者は、ストーリーボード評価をルーブリック制約付きのグラフ推論として定式化し、観察可能な映画的属性、教育的判断、および宣言された創造的意図を明確に区別している。
2. 統一された最適化： CRaFTは、マルチモーダル・プロンプト適応、不均衡な証拠・ルーブリック輸送、および単調な順序評価を、独立した認識および採点モジュールとしてではなく、単一の微分可能な目的関数へと統合している。
3. 根拠に基づいたフィードバック： 著者は、不確実性に制約された反事実的フィードバック・ルールを導出しており、すべての提案される編集には、明示的なグラフ・オペレータ、証拠の属性付与、およびテスト可能な下限信頼改善条件が付随している。
4. 再現可能なプロトコル： 本研究は、未検証の学生データへの依存を避け、公開されている映画アノテーションと計算的プロキシに基づく、ショット認識、介入、キャリブレーション、および証拠の局在化のための再現可能なプロトコルを指定している。

実験結果
評価は、4つの公開映画ベンチマーク（MovieShots、FullShots、AVE、MovieNet）に基づいている。本研究では、学生の作品に対する教師の評価ではなく、観察可能なショット属性と制御された摂動から構築された「ルーブリック・プロキシ」スコアを使用している。

• 属性認識： CRaFTは、MovieShotsで77.4%、FullShotsで73.1%、AVEで72.3%、MovieNetで70.0%のmacro-F1スコアを達成した。これらの結果は、全タスクにおいて最強のプロンプト・ベースライン（PromptSRC）を5.2〜5.9パーセントポイント上回っている。
• 時系列および構造的タスク： AVEのシーケンス順序精度タスクにおいて、CRaFTは**80.1%**に達した。
• ルーブリック・プロキシの一致度： 構築されたルーブリック・プロキシにおける平均順序一致度は**0.69 quadratic-weighted kappa (QWK)**であり、個別の基準スコアは0.62（ペース）から0.75（判読性）の範囲であった。
• フィードバックの質： 選択的棄却を用いることで、システムは**84.8%の編集方向の正確性と66.7%の証拠精度（P@3）を達成し、サポートされていない助言の割合を7.6%**に減少させた（非選択的な発行の場合は14.2%）。
• アブレーション研究： 不均衡輸送を除去すると、根拠のP@3が18.7ポイント低下した。ペア・プロンプトを除去するとMovieShotsのF1が5.4ポイント低下し、グラフ介入の一貫性を除去するとAVEの順序精度が80.1%から74.0%に低下した。

意義と主張
本論文は、CRaFTを、映画の指導者に代わって自動的な「趣味のスコア」を出すためのものではなく、監査可能で基準に特化した支援を行うための手法として位置づけている。その主要な意義は、その構造的なアプローチにある。すなわち、評価は明示的な証拠の経路から基準へと繋がり、かつ実行可能で検証可能な編集へと繋がらなければならないということである。

著者は、自らの主張の範囲について明確に謙虚である。彼らは以下のように述べている：

• 実験は、指導者の合意、教師による承認、または学生の学習向上を確立するものではない。なぜなら、学生や指導者は募集されておらず、教師による評価済みのストーリーボード検証も行われていないからである。
• 結果は、観察可能な映画的構造と行動を公開データプロキシに対してモデル化する能力を検証するものであり、計算的プロキシ評価と将来的な教育的妥当性確認を区別している。
• フレームワークは、教師が検査し、覆すことができる解釈可能な決定を生み出すように設計されており、決定的な美的評価者ではなく、形成的フィードバックのためのツールとして機能する。

要約すると、CRaFTは、マルチモーダル・プロンプト学習を不均衡最適輸送および反事実的編集と組み合わせることで、観察可能な属性と計算的プロキシに厳密に限定される限り、映画教育における自動フィードバックの根拠付けと信頼性を大幅に向上させることができることを示している。