技術要約：疲労を考慮した人間・ロボット協調組立のための新しい神経力学ベースのアプローチ

1. 問題提起

人間・ロボット協調組立（HRCA）は、共有ワークスペースにおいて人間の柔軟性とロボットの精密さを組み合わせることを目的としている。しかし、現在のHRCA手法には主に3つの制限事項が存在する：

1. 人間の内部状態の軽視： 既存の研究は物理的な安全性や負傷防止に焦点を当てているが、人間の内部状態、特に「疲労」をほとんど無視している。疲労に関連する認知および身体的な低下を明示的にモデル化していないことは、支援戦略を適応させる能力を制限し、長期的な持続可能性と安全性を損なう可能性がある。
2. 静的な環境の仮定： ほとんどのアプローチは、事前に割り当てられたタスクを持つ静的な環境向けに設計されており、動的な現実世界の条件や、進化する人間の状態に適応することができない。
3. 反応的な安全メカニズム： 現在のプランニング手法は、安全性を静的な制約として扱ったり、プランニングプロセスとは独立して処理したりすることが多い。これにより、予測不可能な動きや進化するタスクコンテキストに直面しているオペレーターに対して、ロボットが動的かつ予防的な保護を提供することが妨げられている。

本論文は、リアルタイムの人間疲労推定と適応的なロボット軌道生成を統合し、タスクの効率性とオペレーターの安全性の両方を確保するモーションプランニング・フレームワークの必要性に対処するものである。

2. 手法

提案されるフレームワークは、ビジョンベースの疲労知覚と、モーションプランニングのための生物学的着想に基づくニューラルネットワーク（BINN）を統合している。この手法は、以下の4つのコアコンポーネントで構成される：

2.1 ビジョンベースの疲労状態モデリング

システムは、以下の4段階のパイプラインを用いて人間の疲労レベルを推定する：

1. データ取得とランドマーク抽出： MediaPipeを使用して顔のランドマークを抽出する。幾何学的な指標である眼瞼開口度（EAR）と口の開口度（MAR）を計算し、関心領域（ROI）を定義する。
2. 特徴抽出： 4つの補完的な指標を導出する：
   • 幾何学的指標（EAR、MAR）。
   • CNN（畳み込みニューラルネットワーク）によって決定されるバイナリ状態（目または口が開いているか、閉じているか）。これらはクロップされたROI上で学習されたCNNを用いて判定される。
   • 高レベルの時系列特徴：あくびの持続時間、目の閉鎖持続時間、目の閉鎖率（PERCLOS）、目の振幅、および口の振幅。
3. ファジィ論理推論： 抽出された特徴を定量的な疲労指数へとマッピングする。メンバーシップ関数によって特徴値（低、中、高）を分類し、定義されたファジィルール（例：「もしPERCLOSが高ければ、疲労は『中』である」）によってこれらの入力を集計する。重心法による非ファジィ化により、確定的な疲労値（$F_t$）が得られる。
4. 時間平均化： 安定性を確保し、持続的な傾向を捉えるために、瞬時の疲労値を時間窓（$N$ フレーム）にわたって平均化し、最終的な疲労レベル（$F_{avg}$）を生成する。

2.2 神経力学ベースの運動表現

本フレームメントは、自動車型の移動ロボットに特化した、非ホロノミック・ニューラルネットワーク・モデルを用いてロボットの構成空間を表現する。

• 状態空間： ニューラルネットワークは3Dグリッドであり、ニューロンはロボットの平面位置 $(x, y)$ と方位角 $\theta$ を表す。
• 運動学的制約： 点ロボットモデルとは異なり、横方向のニューラル接続は、移動ロボットの非ホロノミックな運動学的制約（ステアリングおよび曲率の制限）を満たす構成に限定される。これにより、生成される軌道が物理的に実行可能であることを保証する。
• 神経力学モデル： 第 $k$ 番目のニューロンの活動（$x_k$）は、以下のシャント方程式に従って進化する：
  $$\frac{dx_k}{dt} = -Ax_k + (B - x_k)Q^+_k - (D + x_k)Q^-_k$$
  ここで、$Q^+_k$ および $Q^-_k$ はそれぞれ興奮性および抑制性の入力である。

2.3 疲労を考慮したプランニングメカニズム

プランニングプロセスは、推定された疲労レベルに基づいて神経学的景観（ニューラル・ランドスケープ）を動的に変調する：

• 興奮性入力 ($Q^+$)： ターゲットとなるワークスペースによって駆動され、ロボットをタスクに関連する領域へと導くグローバルなガイダンス場を形成する。
• 抑制性入力 ($Q^-$)：
  • 障害物： 伝播しない局所的な抑制効果を生成する。
  • 人間オペレーター： 抑制効果は、疲労依存型の閾値（$\sigma_c$）によって変調される。
  • 疲労による変調： 閾値 $\sigma_c$ は、平均疲労レベル（$F_{avg}$）のシグモイド関数として計算される。疲労が増加するにつれて $\sigma_c$ も増加し、人間のワークスペース周囲の横方向の抑制伝播を強化する。これにより、学習プロセスを必要とせずに、ニューラル活動の景観における「安全領域」を効果的に拡大させる。
• 経路選択： ロボットは、最も高いニューラル活動を持つ隣接ニューロンを選択することで次の構成を選択し、衝突フリーかつ運動学的に実行可能な経路を確保する。

3. 主な貢献

本論文は、以下の3つの主要な貢献を述べている：

1. 疲労変調型抑制メカニズム： 疲労を固定された安全ルールとして扱うのではなく、推定された疲労レベルをBINNの抑制入力に直接統合している。これにより、人間の作業領域周囲の安全マージンを、オペレーターの状態に応じて動的に調整することが可能になる。
2. 非ホロノミック・ニューラル接続設計： 自動車型移動ロボットのために、特定のニューラル接続戦略を開発した。接続は、運動学的およびステアリングの制約を満たす構成間でのみ確立され、生成される運動が理想的な点ロボットの動きではなく、物理的に実行可能な遷移に制限されることを保証する。
3. 疲労を考慮した安全性と効率性のトレードオフ： 本フレームワークは、動的なトレードオフを可能にする。低疲労状態では、ロボットは短く効率的な経路を選択する。高疲労状態では、システムは自動的にオペレーターからのクリアランスを増やし、経路の長さよりも安全性と快適性を優先する。

4. 結果

本フレームワークは、シミュレーションおよび実世界実験を通じて評価された：

• シミュレーション（異なる疲労レベル）：

  • 低疲労： ロボットは、障害物と人間の作業領域の間の狭い通路を通り、短く効率的な軌道を生成した。
  • 高疲労： 抑制閾値の上昇により、狭い通路はニューラル・ランドスケープにおいて望ましくないものとなった。ロボットは、疲労したオペレーターを回避しながら、より大きなクリアランスを持つ代替の軌道を正常に生成した。
  • APFとの比較： 凹型のU字型環境において、提案手法はロボットを凹部から脱出させることに成功した。対照的に、人工ポテンシャル場（APF）法は、引力と斥力の相殺により、ロボットをローカルミニマム（局所解）にトラップさせ、失敗した。

• 実世界実験：

  • セットアップ： ROSベースの移動ロボットが、回路を組み立てる3人の学生との共有ワークスペース内で動作した。カメラが疲労推定のための顔データを監視した。
  • シナリオ1（低疲労）： ロボットは、障害物とオペレーターの間の狭い隙間を通り抜け、コンポーネントを効率的に搬送した。
  • シナリオ2（高疲労）： 学生の一人が高い疲労（あくび、目の閉鎖など）を示した際、システムは状態を検出し、ロボットの経路を調整した。ロボットは、疲労した学生の近くの狭い通路を避け、より長く安全なルートを選択し、クリアランスを広げた。

5. 重要性と主張

著者らは、提案された神経力学ベースのフレームワークが、より安全で人間中心のロボットシステムの開発をサポートすると主張している。本研究の重要性は以下の点にある：

• 適応性： システムは、事前の学習や再学習を必要とせずに、動的な人間の内部状態（疲労）に反応する。
• 安全性と効率性のバランス： タスクの効率性とオペレーターの安全性の間で、動的なバランスを取るメカニズムを提供する。安全マージンは必要な時のみ拡大される。
• 堅牢性： 神経力学的アプローチは、複雑な環境において従来のポテンシャル場法と比較して優れた性能を示し、ローカルミニマムを回避する。
• 実用性： ビジョンベースの疲労推定とリアルタイムのモーションプランニングの統合は、ロボットが適応的で人間中心の協力者として機能するインダストリー5.0のシナリオにおいて、実行可能なソリューションを提供する。

本論文は、このアプローチが、人間の内部状態を明示的にモデル化し、それを統一された適応型プランニングフレームワークに統合することで、現在のHRCA手法の限界に効果的に対処していると結論付けている。