技術要約：転移学習を用いた建設用自動溶接ロボットのための高度な継ぎ目セグメンテーション

問題提起

建設環境におけるロボット溶接は、金属表面に特有の過酷な視覚的条件という大きな課題に直面している。強い鏡面反射、飽和したハイライト、および動的な照明の変化は、しばしば細い溶接継ぎ目（シーム）の境界を不明瞭にし、断片的なセグメンテーション予測、不連続なマスク、および不安定な中心線抽出を引き起こす。これらの失敗は、信頼性の低いロボット軌道へと伝播し、安全性と溶接品質に対するリスクをもたらす。

深層学習ベースのセマンティックセグメンテーション（例：BiSeNetV2）は、精度とリアルタイム推論のバランスを提供するが、既存のアプローチは反射への堅牢性と継ぎ目の連続性に苦慮することが多い。従来の研究は、主にアーキテクチャの複雑化（例：アテンションメカニズムやより深いエンコーダの追加）や専用ハードウェアへの依存によってこれらの問題に対処してきた。しかし、これらはエッジ展開されるロボットプラットフォームには不適切な計算オーバーヘッドを導入することが多い。さらに、標準的な画素単位の最適化（例：クロスエントロピー）は、安定したロボット軌道生成に必要な幾何学的連続性を維持できないことが多く、特に継ぎ目が完全に消失するゼロIoUの失敗ケースにおいて顕著である。

手法

提案するフレームワークは、ネットワークアーキテクチャを変更するのではなく、転移学習とハイブリッド損失関数を用いた学習安定性志向の最適化を通じて、これらの制限に対処する。

1. バックボーンとアーキテクチャ

本研究では、軽量でリアルタイムのセマンティックセグメンテーション・アーキテクチャであり、デュアルブランチ設計（空間情報のための詳細ブランチとコンテキストのためのセマンティックブランチ）を特徴とするBiSeNetV2を利用する。アーキテクチャは、ベースラインと同一のFLOPs、パラメータ数、および推論速度を維持するために変更を加えない。

2. データセット

実験では、多様な背景、カメラ距離、および照明条件を含む3,600枚の画像を含むWJ1000の拡張版であるWJ3600データセットを使用する。本研究では、元の6つのセマンティッククラスを、背景（Background）、プレート（Plate）、および**ジョイント（Joint/継ぎ目）**の3つに簡略化した。この簡略化により、モデルは微細なジョイントタイプの分類ではなく、堅牢な継ぎ目局在化に焦点を絞ることができる。

3. 転移学習戦略

学習プロセスは、以下の2段階のアプローチを含む。

• 初期化: BiSeNetV2モデルは、クラス不均衡と反射ノイズに対処できる安定した初期化を確立するために、**オンライン・ハード・エグザンプル・マイニング（OHEM）**損失を用いて1,000エポックの事前学習を行う。
• ファインチューニング: 転移学習フェーズとして、ハイブリッド・クロスエントロピー（CE）– Lovász–Softmax損失を用いた単一エポックのファインチューニングを適用する。3つのファインチューニング構成を評価した：
  • デコーダーのみのファインチューニング。
  • 部分的なファインチューニング（後半のセマンティック/デコーダ層のアンフリーズ）。
  • フル・ファインチューニング（全パラメータのアンフリーズ）。これが最良の結果をもたらした。

4. ハイブリッド損失関数

核心となる革新は、次のように定式化されるCE–Lovászハイブリッド損失である：
$$L_{Total} = \lambda L_{CE} + (1-\lambda) L_{Lovasz}$$

• クロスエントロピー ($L_{CE}$): 安定した画素単位の教師あり学習を提供する。
• Lovász–Softmax ($L_{Lovasz}$): IoU（Intersection over Union）を直接最適化し、領域レベルの一貫性と接続された継ぎ目構造を促進する。
• 重み付け ($\lambda$): 感度分析により、Lovász優位のレジーム（具体的には $\lambda = 0.04$）が、局所的な境界を安定させつつ、グローバルな継ぎ目の連続性を保持するための最適なバランスを提供することが判明した。

主な貢献

1. 反射対応フレームワーク: ネットワークアーキテクチャを変更することなく、金属の鏡面反射に対する堅牢性を向上させるフレームワークの開発。
2. 学習安定性の最適化: 画素レベルの精度と領域レベルの継ぎ目の連続性の両方を高めるために、ハイブリッドCE–Lovász損失と転移学習を組み合わせた手法の導入。
3. 軌道安定表現: 提案手法が、ベースラインのゼロIoU失敗ケースを回復できることを実証し、下流のロボット軌道生成に適した幾何学的に安定した継ぎ目表現を提供する。
4. アーキテクチャ依存の有効性: 最適化戦略が、この特定の領域において、より重いセマンティックモデル（DeepLabV3+やSegFormerなど）よりも軽量なリアルタイムモデル（BiSeNetV2など）に対してより効果的に影響を与えることを示す包括的な分析。
5. 計算効率: ベースラインと同一の計算複雑性（FLOPs、パラメータ、レイテンシ）を維持しながら、大幅な性能向上を達成。

実験結果

提案されたフレームワークは、Joint IoU、mIoU、Recall、および新しい**リカバリー率（Recovery Rate）**指標（ベースラインのゼロIoU失敗が正常に回復された割合を測定するもの）を用いて、ベースラインと比較評価された。

• 性能向上: 提案手法（BiSeNetV2 + フル・ファインチューニング + CE–Lovász）は、Joint IoU 81.76% および mIoU 90.73% を達成した。
• ベースラインに対する改善: これは、OHEMベースライン（59.40%）に対して、Joint IoUで22.36パーセントポイントの向上を示している。
• 失敗の回復: 本フレームワークは96.33%のリカバリー率を達成し、ベースラインモデルが完全に断片化された予測または欠落した予測を出力したケースにおいても、継ぎ目の形状を正常に再構築した。
• アーキテクチャ比較: DeepLabV3+、UNet、およびSegFormer-B0も一定の改善を示したが、不安定な最適化挙動を示し、リカバリー率も著しく低かった（例：DeepLabV3+はわずか4.84%しか失敗を回復できなかった）。Bi・セネットV2は、その優れた空間保存能力により、このタスクに最も適していることが証明された。
• 効率: これらの改善は、FLOPs（22.26 G）、パラメータ数（3.05 M）、または推論レイテンシ（6.18 ms）を増やすことなく達成された。

意義と主張

本論文は、反射環境における堅牢な継ぎ目セグメンテーションは、本質的にアーキテクチャの容量制限の問題ではなく、学習の安定性の問題であると断じている。 「複雑さを加える」ことから「最適化を安定させる」ことへと課題を再定義することで、本研究は以下を実証している：

1. 最適化戦略 > アーキテクチャ: カスタマイズされた最適化戦略（ハイブリッド損失 + 転移学習）を備えた軽量モデルは、精度および決定的な失敗の回復の両面において、より重いアーキテクチャを凌駕する。
2. 連続性の重要性: ロボット溶接においては、平均的な画素単位の重複を最大化することよりも、細い継ぎ目の幾何学的な連続性を維持することの方が、軌道計画にとって極めて重要である。Lovász成分は、このグローバルな一貫性に不可欠である。
3. 実用的な展開: 本フレームワークは、アーキテクチャの拡張や追加のハードウェアセンサーによる計算オーバーヘッドなしに、大幅な堅牢性の向上を提供する、エッジ展開されるロボットシステムのための実用的なソリューションを提供する。
4. 失敗への意識: 稀ではあるが決定的な失敗ケース（ゼロIoU）を評価することの重要性を強調している。単一の継ぎ目の見落としは、安全でないロボット実行につながる可能性があるため、これらのケースの回復は、平均的な指標のわずかな改善よりも重要である。

著者らは、彼らのアプローチが、計算効率が高く、反射に強く、困難な建設環境におけるより信頼性の高いロボット溶接を可能にする知覚ソリューションを提供すると結論付けている。