技術要約：転移学習を用いた建設用自動溶接ロボットのための高度な継ぎ目セグメンテーション

問題提起

建設環境における自律型ロボット溶接は、金属表面特有の性質、具体的には強い鏡面反射、飽和したハイライト、および動的な照明の変化による重大な課題に直面している。これらの要因は、細い溶接継ぎ目（シーム）の境界を頻繁に遮蔽し、予測の断片化、不連続なマスク、および不安定な中心線抽出を引き起こす。このようなセグメンテーションの失敗は、信頼性の低いロボット軌道へと波及し、エンドポイント検出の失敗や不安全な溶接実行を招く可能性がある。

既存のディープラーニングベースのセグメンテーションモデル（例：BiSeNetV2、DeepLabV3+）は、精度と効率のバランスを提供しているが、反射に対する堅牢性と幾何学的な連続性に苦慮することが多い。従来のアプローチは、主にアーキテクチャの複雑化（例：アテンションメカニズムやより深いエンコーダの追加）や専用ハードウェアへの依存によってこれを解決しようとしてきた。しかし、これらの手法は、エッジデプロイされたロボットプラットフォームにとって禁止的な計算オーバーヘッドを課すことなく、高反射条件下での学習の不安定性という核心的な問題に対処することには失敗していることが多い。

手法

本研究では、ネットワークアーキテクチャを変更するのではなく、転移学習とハイブリッドCross-Entropy–Lovász（CE–Lovász）損失を通じてBiSeNetV2バックボーンを強化する、反射に強い継ぎ目セグメンテーションフレームワークを提案する。

コアコンポーネント

1. バックボーン・アーキテクチャ： 本フレームワークは、Bilateral Guided Aggregationモジュールを介して統合されたデュアルブランチ設計（Detail BranchおよびSemantic Branch）を特徴とする、軽量でリアルタイム性能の高い標準的なBiSeNetV2を利用する。ネットワークへの構造的な変更は行わず、FLOPs、パラメータ数、および推論速度を同一に保つ。
2. 転移学習戦略：
   • 初期化： モデルはまず、クラス不均衡や反射ノイズに対処できる安定した初期化を確立するために、Online Hard Example Mining (OHEM) 損失を用いて1,000エポックの事前学習を行う。
   • ファインチューニング： その後の転移学習ステージでは、提案するハイブリッド損失を用いて事前学習済みモデルを1エポック分ファインチューニングする。3つのファインチューニング構成（デコーダーのみ、部分的、およびフルファインチューニング）を評価した結果、フルファインチューニングが最良の結果をもたらした。
3. ハイブリッド損失関数：
   • 本フレームワークは、Cross-Entropy (CE) 損失とLovász-Softmax 損失の加重結合を採用している：$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$。
   • CE損失： 安定したピクセル単位の教師あり学習を提供する。
   • Lovász-Softmax損失： リージョンレベルでのIntersection over Union (IoU) を直接最適化し、接続された継ぎ目領域を促進し、グローバルな構造的連続性を維持する。
   • 最適化： 重み付けパラメータ $\lambda$ は感度分析を通じて調整され、最適な値は0.04であった。これは、深刻な反射下で継目の連続性を維持するためには、Lovász主導のレジーム（96%の重み）が極めて重要であり、小さなCE成分（4%の重み）が局所的な境界の精緻化を助けることを示している。
4. データセット： 本研究では、多様な背景、照明変化、および鏡面反射の強度を含む3,600枚の画像からなるWJ1000の拡張版であるWJ3600データセットを使用する。セマンティッククラスは、Background（背景）、Plate（プレート）、Joint（継ぎ目）の3つに簡略化されている。

主な貢献

• 反射認識フレームワーク： アーキテクチャの拡張なしに、鏡面反射に対する堅牢性と断片化した継目構造を大幅に改善するフレームワークの開発。
• 学習安定性重視の最適化： 転移学習とハイブリッドCE–Lovász損失の組み合わせが、ピクセルレベルの精度とリージョンレベルの継目連続性の両方を向上させることを実証。このアプローチは、反射への堅牢性をモデル容量の問題ではなく、学習の安定性の問題として再定義するものである。
• 軌道安定な表現： 提案手法は、幾何学的に安定した継目表現を生成し、ダウンストリームのロボットタスク（継目追従、ウェイポイント生成）に適応可能である。これは、通常ゼロIoUの予測をもたらす深刻な失敗ケースを回復させる。
• アーキテクチャ依存の有効性： BiSeNetV2、DeepLabV3+、UNet、およびSegFormer-B0にわたる包括的な分析により、提案する最適化戦略が、大規模なセマンティックコンテキストよりも空間的連続性を優先する軽量・リアルタイム・アーキテクチャ（BiSeNetV2など）において特に効果的であることを明らかにした。
• ゼロオーバーヘッドの改善： 提案フレームワークは、計算量（FLOPs、パラメータ、レイテンシ）を同一に保ったまま、ベースラインに対して大幅な性能向上を実現した。

実験結果

同一のトレーニングおよび評価条件下で広範な実験が行われた。

• 定量的性能：
  • 提案フレームワーク（BiSeNetV2 + フルファインチューニング + CE–Lovász）は、Joint IoU 81.76% および mIoU 90.73% を達成した。
  • これは、OHEMベースのベースライン（59.40%）と比較して、Joint IoUにおいて22.36パーセントポイントの向上となる。
  • **Recall（再現率）は69.86%から94.10%**へと向上した。
• 失敗ケースの回復：
  • 深刻なゼロIoUの失敗からの回復能力を測定するために、重要な指標であるRecovery Rate（回復率）を導入した。提案手法はBiSeNetV2において96.33%の回復率を達成し、ベースラインモデルが完全に失敗したケースにおいても継目の連続性を正常に復元した。
  • 対照的に、DeepLabV3+のようなより重いアーキテクチャは、中程度のIoU向上は見られたものの、回復率は著しく低かった（4.84%）。
• 計算効率：
  • 提案手法は、ベースラインの22.26 GFLOPs、3.05M パラメータ、および（NVIDIA A100における）161.91 FPSを維持した。
  • レイテンシは6.18 msに留まり、GPUメモリ使用量も171.13 MBで変化なしであった。
• 定性的分析：
  • 視覚的な比較により、提案手法は極端な眩しさの下でも幾何学的に安定した連続的な継目構造を再構築する一方で、ベースラインの予測はしばしば断片化または欠落した継目となった。
  • 信頼度マップの分析では、ファインチューニング後、予測の信頼度が反射によるアーティファクトに分散することなく、真の継目領域に集中していることが示された。

意義と主張

本論文は、ロボット溶接における堅牢な継目セグメンテーションは、本質的にアーキテクチャの容量制限ではなく、学習の安定性の問題であると断じている。本研究の主な意義は、以下のことを実証した点にある：

1. 最適化戦略 ＞ アーキテクチャの複雑性： モデルサイズや計算コストを増大させることなく、原理に基づいた転移学習とハイブリッド損失最適化を通じて、反射に対する堅牢性と継目の連続性を大幅に向上させることができる。
2. 失敗回復の重要性： ロボット溶接においては、平均的なオーバーラップ指標の微増よりも、孤立した壊滅的な失敗（ゼロIoUケース）からの回復が重要である。なぜなら、単一の失敗がロボットの軌道全体を中断させる可能性があるからである。
3. 実用的なデプロイ可能性： 本フレームワークは、厳格なリアルタイム制約と反射の多い建設環境下で動作する、エッジデプロイされたロボットシステムのための実用的かつ軽量なソリューションを提供する。
4. 限界： 著者らは、溶接シーンの多様性、激しい反射下でのアノテーションの不確実性、および現在の研究におけるクローズドループのロボット溶接実験の欠如といった限界を認めている。しかし、向上した幾何学的連続性は、ロボット軌道生成への強い適用可能性を示唆している。

本研究は、学習の安定性とリージョンレベルの一貫性に焦点を当てることで、提案されたフレームワークが、困難な産業環境における信頼性の高いロボット溶接知覚への、計算効率の高い道筋を提供すると結論付けている。