💬 NLP

Can Vision Language Models Judge Action Quality? An Empirical Evaluation

本論文は、フィジカルセラピーやスポーツ指導などのアクション品質評価（AQA）における最先端の視覚言語モデル（VLM）の性能を包括的に評価した結果、現在のモデルはランダムな推測をわずかに上回る程度であり、構造化情報や推論戦略の導入などによる改善も限定的であるため、微細な動作の質を評価する能力には根本的な課題が残っていることを示しています。

原著者： Miguel Monte e Freitas, Rui Henriques, Ricardo Rei, Pedro Henrique Martins

公開日 2026-04-10

📖 1 分で読めます☕ さくっと読める

CC BY 4.0

原著者： Miguel Monte e Freitas, Rui Henriques, Ricardo Rei, Pedro Henrique Martins

原論文は CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) でライセンスされています。 ✨ これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。免責事項の全文を読む

動画を見て「動作の質」を評価できる AI は本当に存在するのか？

～「万能な AI」がスポーツやリハビリのコーチ役を勤められるか、試してみた実験レポート～

この論文は、「最新の AI（視覚言語モデル）」が、人間の動きを見て「上手い・下手」を判断できるか？ という疑問に答えるための、大規模な実験レポートです。

結論から言うと、**「残念ながら、今の AI はまだプロのコーチや審判の代わりにはなれません」**というのが結論です。なぜそう言えるのか、わかりやすく解説します。

1. 実験の舞台：AI にどんなテストをさせた？

研究者たちは、AI に以下の 3 つの「スポーツ・リハビリ」の分野でテストを行いました。

フィットネス： スクワットやプッシュアップなどの筋トレフォーム。
オリンピック競技： 飛込（ダイビング）やフィギュアスケート。
リハビリ： 患者さんの動きを評価するもの。

AI には、「この動画、正しいフォームですか？」「何点ですか？」「どこが間違っていますか？」といった質問を投げかけ、答えを返させました。

2. 実験の結果：AI は「勘」で答えていた？

結果はショッキングでした。AI の正解率は、「完全にランダムに当てはる確率」とほとんど変わらないレベルでした。

AI の実力： 50% 前後（5 回に 2 回しか当たらない）。
比較対象： 人間が適当に答えるのと大差なし。

さらに、AI がなぜ間違ったのかを分析すると、2 つの大きな「癖（バイアス）」が見つかりました。

癖①：「とりあえず正解だと思いたい」症候群

AI は、動画がどんなにひどいフォームでも、**「たぶん正解だろう」**と答える傾向が強かったです。

例え話： 料理が焦げて真っ黒なのに、「これは完璧なステーキです」と言ってしまうようなものです。AI は「筋トレは正しいもの」という**「世の中の常識（事前知識）」**に頼りすぎて、目の前の「焦げた動画」を見ていませんでした。

癖②：「言葉のニュアンス」に弱すぎる

質問の言い方を変えるだけで、AI の答えがガラッと変わってしまいました。

例え話：
- 「正しい姿勢は背筋を伸ばすこと」→ AI は「正しい」と判断。
- 「間違った姿勢は背筋を曲げること」→ AI は「間違った」と判断。
- 中身は同じなのに、「正しい」「間違った」という言葉の響きだけで判断してしまい、動画そのものを見ていませんでした。

3. 工夫してもダメだった？（試行錯誤の記録）

研究者たちは、「じゃあ、AI に工夫させてみよう」と色んな方法を試しました。

骨格（スケルトン）を見せる： 人間の骨の動きだけを強調して見せたら？
- → 結果： ほとんど効果なし。むしろ AI が混乱して、さらに下手になったこともありました。
指示を詳しくする： 「まず動画をよく見て、それから答えなさい」と命令する（プロンプトエンジニアリング）。
- → 結果： 一時的に良くなることもありますが、安定しません。
例題を見せる： 「こういうのが正解、これが不正解」と例を 1 つ見せてからテストする。
- → 結果： 画像（静止画）のテストでは少し良くなりましたが、動画になると効果が薄れました。

4. 対決形式（コントラスティブ）でもダメだった？

「どちらが上手いですか？」と、2 つの動画を並べて比較させる方法も試しました。

意図： 「正解・不正解」という言葉の癖を消すため。
結果： 差がハッキリしている動画なら AI も当てられました。しかし、**「微妙な違い」**を判断させると、またしても AI はボロボロでした。

これは、AI が「言葉の癖」に頼っているからではなく、「動きの微細な質」を評価する能力そのものが、今の AI には欠けていることを意味しています。

5. 結論と教訓：AI はまだ「コーチ」にはなれない

この実験から得られた重要な教訓は以下の通りです。

万能ではない： 今の AI は、画像や動画を見て「上手い・下手」を判断する能力が、まだ人間レベルに達していません。
過信は禁物： 「AI が言っているから正しい」と安易に信じて、リハビリやスポーツの指導に使ってしまうと危険です。
今後の課題： AI が本当に役立つためには、単に「言葉」や「画像」を混ぜるだけでなく、「動きの質」そのものを深く理解できるような、根本的な技術革新が必要です。

まとめ

この論文は、「AI 万能論」に冷水を浴びせた、非常に誠実な研究です。
AI は「会話」や「文章」は得意ですが、「人間の動きの繊細さ」を評価するのは、まだ赤ちゃんが大人のプロ野球選手を真似しようとしているような状態です。

これから AI がスポーツや医療の現場で活躍するためには、まずはこの「できないこと」を認め、技術の底上げを待つ必要があります。

論文要約：「Can Vision Language Models Judge Action Quality? An Empirical Evaluation」

（視覚言語モデルは動作の質を評価できるか？実証的評価）

この論文は、物理療法、スポーツコーチング、競技審判などの分野で応用が期待される**動作の質の評価（Action Quality Assessment: AQA）において、最先端の視覚言語モデル（Vision Language Models: VLMs）**が実際にどの程度機能するかを包括的に検証した研究です。著者らは、既存の VLM が AQA タスクにおいて本質的な限界を抱えていることを示し、現状の失敗モードとバイアスを明らかにしました。

以下に、問題定義、手法、主要な貢献、結果、および意義について詳細にまとめます。

1. 問題定義 (Problem)

背景: AQA は、リハビリテーションやスポーツにおける動作の自動評価に不可欠ですが、従来の手法は数値スコアの予測（回帰タスク）に留まり、具体的なフィードバックや説明可能性が不足していました。
課題: 近年、画像や動画に基づいてテキストを生成できる VLM が登場し、対話型フィードバックや推論プロセスの可視化を通じて AQA に新たな可能性をもたらすと考えられています。しかし、市販の VLM（ゼロショットまたは少量のプッティングのみ）が、多様な人間活動において動作の質を信頼性高く評価できるかは未解明でした。
研究目的: 最先端の VLM を多様なデータセットとタスクで評価し、その性能限界、バイアス、および改善策の有効性を実証的に検証すること。

2. 手法 (Methodology)

著者らは、3 つの主要な VLM ファミリー（Gemini 3.1 Pro, Qwen3-VL, InternVL3.5）を対象に、以下の構成で実験を行いました。

2.1 データセットとタスク

5 つの異なるドメインとタスクを網羅的に評価しました：

LLM-FMS: 機能性動作スクリーニング（7 種目の静止画、VQA タスク）。
EgoExo-Fitness: フィットネス動画（12 種目、技術ガイドラインの遵守判定）。
Fitness-AQA: ジム種目（バーベルロウ、オーバヘッドプレス、スクワット、エラー検出）。
FineFS: フィギュアスケート（ジャンプ、スピンなどの GOE スコア回帰）。
MTL-AQA: 飛込競技（実行スコアの回帰）。

2.2 評価指標

分類タスク: バランス精度（Balanced Accuracy）。
回帰タスク: スピアマン順位相関（ $\rho$ ）と相対 $L_2$ 距離（R- $L_2$ ）。

2.3 実験変数

前処理: 元の RGB 画像に加え、切り抜き（Cropped）、スケルトン重ね合わせ（Skeleton overlays）、**スケルトン単独（Skeleton-only）**の 3 種類を比較。
プロンプトエンジニアリング: ベースプロンプト、視覚的グラウンディング、2 ステップ観察、構造化推論（Chain-of-Thought）、技術ガイドライン（正/負）、イン・コンテキスト・ラーニング（ICL）の 7 戦略を適用。
バイアス検証: 質問の言い換え（肯定的/否定的ガイドライン）による予測の変化を測定。
対比タスク: 2 つのサンプルを比較し「どちらが優れているか」を問う形式へタスクを再定義。

3. 主要な結果 (Key Results)

3.1 性能の限界

ランダム推測に近い性能: どのモデルも、分類タスクにおいてランダム推測（Random Guess）をわずかに上回る程度（例：バランス精度 0.5 前後）の性能しか示しませんでした。
一貫性の欠如: スケルトン情報の追加や高度なプロンプト戦略（構造化推論など）は、特定のケースでわずかな改善をもたらしましたが、どのモデル・タスクに対しても一貫して有効な手法は見つかりませんでした。
ICL の限界: イン・コンテキスト・ラーニングは画像データ（LLM-FMS）や回帰タスク（FineFS）で一定の改善が見られましたが、動画データではコンテキスト長の制約により効果が限定的でした。

3.2 発見された体系的なバイアス

分析により、VLM に 2 つの深刻なバイアスがあることが判明しました：

「正解」への過剰な予測バイアス: 視覚的証拠が誤動作を示していても、モデルは「正しく実行されている」と予測する傾向が強く見られました。これはモデルが「理想的な動作はこうあるべき」という事前知識に依存し、実際の視覚入力よりもそれを優先しているためと考えられます。
言語的フレイミングへの過敏性: 質問の表現（肯定的ガイドライン vs 否定的ガイドライン）をわずかに変えるだけで、モデルの予測が体系的にシフトしました。これはモデルが視覚的根拠よりも言語的な手がかりに依存していることを示唆しています。

3.3 対比タスクの結果

バイアスを軽減するために対比タスク（2 つの動作を比較）に形式を変えても、モデルの性能は依然として低く、ランダム推測に近い結果となりました。これは、バイアス自体が性能低下の唯一の原因ではなく、VLM には微細な動作の質を評価する根本的な能力が欠如していることを示しています。

3.4 推論トレースの分析

「Thinking モード」のモデルの推論プロセスを分析したところ、モデルは頻繁に「一般的なスクワットでは背骨は平行であるべきだ」といった事前知識を引用しており、実際の動画フレームの分析よりもその知識に基づいて回答を導き出している傾向が確認されました。

4. 主要な貢献 (Key Contributions)

包括的なベンチマークの確立: 多様なドメイン（フィットネス、オリンピック競技など）とタスク（分類、回帰）における VLM の AQA 性能に対する最初の厳密な評価基準を提供しました。
失敗モードの特定: VLM が AQA において直面する 2 つの体系的なバイアス（事前知識への依存と言語的バイアス）を明らかにし、それが単なるプロンプトの工夫では解決できない根本的な課題であることを示しました。
将来の研究への指針: 現在の市販 VLM は、信頼性のある実世界展開には不十分であることを示唆し、ドメイン特化型のファインチューニングや、より高度な視覚理解アーキテクチャの必要性を提起しました。

5. 意義と結論 (Significance & Conclusion)

この研究は、VLM を AQA に応用することへの楽観的な見方に対し、冷静な現実的な視点を提示しています。

結論: 現在の最先端 VLM は、動作の質を評価するタスクにおいて本質的に困難を抱えており、ランダム推測に近い性能しか発揮していません。プロンプトエンジニアリングや前処理による改善は限定的です。
意義: 本研究は、VLM ベースの AQA 研究における厳格なベースラインを確立し、実用化前に解決すべき課題（バイアスの除去、微細な運動分析能力の向上）を明確にしました。
今後の展望: 信頼性の高い AQA システムを実現するには、単なる汎用 VLM の適用ではなく、ドメイン固有のデータでのファインチューニングや、動作の質を評価するための専用アーキテクチャの開発が不可欠であることが示唆されました。

この論文は、VLM の能力を過大評価せず、その限界を理解した上で、医療やスポーツ分野での実用化に向けた慎重なアプローチの必要性を訴える重要な研究です。