Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video

本論文は、RGB 動画からリフト作業の水平・垂直距離を推定する新たなビジョン・ランゲージモデル（VLM）ベースの手法を提案し、特にセグメンテーションを活用したマルチビューパイプラインが、従来の検出のみの手法に比べ誤差を大幅に低減し、RNLE に基づく作業評価の実用性を示したことを報告しています。

要約

🎬 物語の舞台：工場の「重い箱」を持ち上げる作業

工場で重い箱を持ち上げる作業は、腰や肩を痛める原因（筋肉や骨の病気）になりやすいです。これを防ぐために、専門家は「リフティング方程式（RNLE）」というルールブックを使って、その作業がどれくらい危険かをチェックします。

このルールブックには**「箱が体からどれくらい離れているか（横距離）」と「箱が床からどれくらい高いか（縦距離）」**という 2 つの重要な数字が必要です。

🔍 従来の方法：面倒な「ものさし」と「目測」

これまで、この距離を測るには 2 つの方法しかなかったのです。

1. 人が手作業で測る： 現場に行って、メジャーで測る。でも、これだと時間がかかるし、人によって測り方が違う（主観が入る）という問題がありました。
2. 特殊なセンサーをつける： 作業者の体にセンサーを貼り付けたり、特殊なカメラを使ったりする。でも、これらは高価で、作業者が動きにくい（邪魔になる）という問題がありました。

🤖 新しい方法：「AI が見る」だけで測る！

そこで、この論文の研究者たちは、**「最新の AI（ビジョン・ランゲージモデル）」**を使って、普通のスマホや監視カメラの映像（RGB 動画）から、自動的に距離を測れないか実験しました。

これを**「魔法のカメラ」と想像してください。このカメラは、ただ映像を記録するだけでなく、「誰が」「何を」「どこで」持っているかを理解し、さらに「距離」**まで計算してしまうのです。

🛠️ 2 つの「魔法のレシピ」

研究者は、この AI を使う 2 つのやり方（パイプライン）を比べました。

1. レシピ A（検知だけ）：

   • AI に「箱を持っている人」と「箱」を指差して見せるだけ。
   • 例えるなら、**「箱の周りに四角い枠（枠線）」**を描いて、その枠の中心を測る方法です。
   • 弱点： 枠線の中には、背景や他のものも含まれてしまうので、少しズレが生じやすいです。

2. レシピ B（検知＋切り抜き）：

   • AI に「箱を持っている人」と「箱」を指差した後、さらに**「その部分だけをハサミで切り抜く（セグメンテーション）」**作業を加えます。
   • 例えるなら、**「箱と手の形にぴったり沿って、背景を完全に消し去る」**方法です。
   • メリット： 背景のノイズがなくなるので、非常に正確に距離を測れます。

📸 カメラの「見る角度」も重要！

実験では、3 つの異なる角度（正面、左斜め、右斜め）から撮影した映像を使いました。

• 1 つのカメラだけの場合：
  • 作業者が箱を隠したり、角度が悪かったりすると、AI は「手がどこにあるか」わからなくなることがありました。特に「縦の距離（高さ）」の測定が難しく、大きくズレてしまうことがありました。
• 3 つのカメラを同時に見る場合（マルチビュー）：
  • 3 つのカメラが同時に映像を送ると、AI は**「3 次元パズル」**を組み立てるような感覚で、作業者の位置を正確に把握できます。
  • 例えるなら、**「1 人の人が 3 方向から同時に観察して、『あそこだ！』と一致させる」**ようなものです。これにより、誤差がぐっと減りました。

🏆 実験の結果：何が勝った？

実験の結果、**「レシピ B（切り抜きあり）」＋「3 つのカメラ」**の組み合わせが、最も正確でした。

• 誤差の大きさ：
  • 横の距離（H）：約 6〜8 センチメートルの誤差
  • 縦の距離（V）：約 5〜8 センチメートルの誤差
  • これは、人間がメジャーで測るのと同じくらい、あるいはそれ以上に実用的な精度です。
• 切り抜きの効果：
  • 「切り抜き」を加えるだけで、誤差が20〜40% 減りました。背景のノイズを排除することが、いかに重要かがわかりました。

💡 この研究が意味すること（まとめ）

この研究は、**「特別なセンサーも、面倒な手作業も不要で、ただのカメラ映像から、作業の危険性を自動でチェックできる」**という未来を示しました。

• 工場の安全： 工場で働く人の腰を守るために、AI が 24 時間監視して、「あの作業は危険だから、箱の置き場所を変えよう」と提案できるようになります。
• コスト削減： 高価なセンサーが不要になるため、中小企業でも導入しやすくなります。
• 課題： 今回は実験室でのきれいな映像での成功でしたが、実際の工場（照明が暗い、人がたくさんいる、背景がごちゃごちゃしている）でも同じように使えるか、今後は実証していく必要があります。

一言で言うと：
「AI に『箱を持っている人』を認識させ、背景をきれいに切り取って、3 つのカメラで 3 次元に捉えさせることで、**腰への負担を自動計算する『魔法のカメラ』**が作れる可能性を証明しました！」という画期的な研究です。

技術概要

この論文は、視覚と言語を組み合わせたモデル（Vision-Language Models: VLMs）を用いて、RGB 動画から手作業の持ち上げタスクにおける人間工学リスク評価（RNLE）に必要な「水平距離（H）」と「垂直距離（V）」を非侵襲的に推定する手法の可行性を検証した研究です。

以下に、問題提起、手法、主要な貢献、結果、および意義について詳細な技術的サマリーを記述します。

1. 問題提起 (Problem)

• 背景: 手作業による資材の取り扱い（MMH）は、筋骨格系疾患（WMSDs）の主要な原因です。これを評価するために広く用いられている「改訂版 NIOSH リフティング方程式（RNLE）」では、荷物の重量や作業頻度など 6 つのタスク変数が必要です。その中でも、手の位置と足（または床）の間の「水平距離（H）」と「垂直距離（V）」は、リスク計算の核心となるパラメータです。
• 課題: これらの距離を正確に測定するには、従来、手作業による測定や特殊なセンサーシステム（モーションキャプチャ、ウェアラブルセンサーなど）が必要でした。しかし、これらは時間がかかる、観測者バイアスが入る、高価である、または現場での実用性（侵入性や設置の複雑さ）に欠けるという限界があります。
• 既存のコンピュータビジョン手法の限界: 従来の姿勢推定（OpenPose や BlazePose など）は、骨格モデルに依存しており、物体との空間的関係（荷物の位置や把持点など）を明示的に表現するのが困難です。また、オクルージョン（遮蔽）やカメラの視点、照明条件に敏感で、フレームごとの距離推定が不安定になる傾向があります。
• 研究目的: 最新の VLMs の能力を活用し、RGB 動画のみから H と V を高精度に推定できるか、特にカメラの視点条件や処理パイプラインの違いが精度にどう影響するかを検証すること。

2. 手法 (Methodology)

本研究では、32 人の被験者が行った対称的な持ち上げタスク（床から膝の高さ、膝の高さから腰の高さなど）のデータを基に、以下の構成で 2 つの VLM ベースのパイプラインを開発・評価しました。

• データセット:

  • 32 人の健康な若年成人（19 名男性、13 名女性）。
  • 3 台の Azure Kinect カメラ（V1, V2, V3）とウェアラブル IMU センサーを使用。
  • Ground Truth: IMU データから計算された H と V の値を、RGB フレームと時間軸を合わせて正解ラベルとして使用。
  • 評価条件: 単一視点（V1, V2, V3）と多視点（V1+V2, V1+V3, V2+V3, V1+V2+V3）の計 7 条件。

• 提案された 2 つのパイプライン:

  1. GD–Dv2 (Detection-only):
     • 検出: テストガイド付き物体検出モデル「Grounding DINO」を使用。「person lifting」で作業者を検出し、その後「hand, wrist, shoe, box」などのプロンプトで ROI（関心領域）をバウンディングボックスで検出。
     • 特徴抽出: 検出された ROI を DINOv2（ViT-Base）で特徴ベクトル化。
     • 推定: Transformer ベースの回帰モデルで H と V を推定。
  2. GD–SAM–Dv2 (Detection + Segmentation):
     • 検出とセグメンテーション: Grounding DINO で検出したバウンディングボックスを、セグメンテーションモデル「SAM (Segment Anything Model)」に入力し、ピクセルレベルのマスクを生成。背景を除去し、対象物をより精密に切り出す。
     • 特徴抽出: セグメンテーションされた ROI を DINOv2 で特徴抽出。
     • 幾何学的特徴の追加: 検出された箱のバウンディングボックスの画像上のサイズと、既知の物理的サイズ（幅・奥行き・高さ）を特徴量に追加し、絶対スケールを推定可能にしている。
     • 推定: 同様に Transformer ベースの回帰モデル（時系列データ処理用）で距離を推定。

• モデル構成:

  • 入力: 100 フレームのシーケンス。
  • アーキテクチャ: 双方向 Transformer エンコーダー（6 レイヤー、8 ヘッド）を使用し、時系列依存関係をモデル化。
  • 評価手法: 被験者別Leave-One-Subject-Out (LOSO) クロスバリデーション。

3. 主要な貢献 (Key Contributions)

• VLM を用いた RNLE パラメータ推定の初実証: 従来の姿勢推定に依存せず、VLM（Grounding DINO, SAM, DINOv2）を組み合わせることで、RGB 動画から RNLE に必要な距離パラメータを直接推定するパイプラインの構築と評価。
• セグメンテーションの重要性の解明: 物体検出（バウンディングボックス）のみではなく、ピクセルレベルのセグメンテーション（SAM）を組み合わせることで、推定誤差が大幅に減少することを示した。
• マルチビュー効果の定量化: 単一視点に比べ、複数視点（特に 3 カメラ）を組み合わせることで、オクルージョンや視点依存性を克服し、精度が向上することを実証。
• タスクフェーズによる誤差特性の分析: 持ち上げの「開始時」と「終了時」で、H と V の推定誤差の傾向が異なる（例：終了時は垂直距離の精度が向上するが、水平距離は低下する）ことを発見し、その要因（遮蔽パターンの変化）を考察。

4. 結果 (Results)

• パイプライン比較:
  • GD–SAM–Dv2（セグメンテーションあり） が GD–Dv2（検出のみ） よりも一貫して高い精度を示した。
  • 誤差削減率: 水平距離（H）で約 20–30%、垂直距離（V）で約 35–40% の改善が見られた。
  • 最適条件（GD–SAM–Dv2 + 3 カメラ）における平均絶対誤差（MAE）:
    • H: 約 6–8 cm
    • V: 約 5–8 cm
• カメラ視点の影響:
  • 多視点条件（V1+V2+V3）が単一視点よりも有意に誤差が小さかった。
  • 特に垂直距離（V）の推定において、単一視点（特に斜め視点）では誤差が非常に大きくなる傾向があり、マルチビューによる冗長性が重要であることが示された。
  • 2 カメラ条件（例：V1+V3）でも、3 カメラに近い精度を達成できる場合があり、コストと精度のトレードオフの示唆となった。
• フェーズによる違い:
  • 開始時: 姿勢が屈曲しており、手足が遮蔽されやすいため、V の推定誤差が大きい（MAE ~14.5 cm）。
  • 終了時: 姿勢が直立し、手が視認しやすくなるため V の誤差は減少（MAE ~7.5 cm）するが、逆に荷物が足を遮蔽しやすくなるため H の誤差が増加する傾向が見られた。

5. 意義と結論 (Significance and Conclusion)

• 実用性: 本研究は、ウェアラブルセンサーやマーカーなしで、RGB 動画のみから RNLE パラメータを推定可能なことを実証し、現場でのリアルタイムまたは事後の人間工学リスク評価の実現可能性を高める。
• 技術的示唆: 物体検出だけでなく、セグメンテーションによる精密な空間表現と、複数視点の統合が、複雑な作業環境における距離推定の精度向上に不可欠であることを示した。
• 今後の展望: 本研究は制御された実験室環境で行われたため、実際の職場（照明変化、複雑な背景、多様な労働者）での一般化にはさらなる検証が必要である。また、RNLE の他のパラメータ（非対称性、カップリングなど）への拡張や、フェーズに応じたモデル最適化が今後の課題として挙げられている。

総じて、この研究は VLM を活用したコンピュータビジョン技術が、従来の方法に代わる非侵襲的かつ実用的な人間工学評価ツールとして有望であることを示す重要な一歩である。