技術要約：曲面ワークピースの溶接形成分類のためのAFCC

問題提起

曲面ワークピース（例：金属ラックのコーナー継手）における溶接の信頼性の高い自動外観検査は、非平面的な幾何学形状、視点の変化、および不均一な表面反射による重大な課題に直面しています。これらの要因により、同一の溶接構造であっても画像間で一貫性のない見え方となり、正常な形成と欠陥の区別を困難にします。具体的に、本研究では以下の3つの外部溶接形成条件の分類に対処しています。

1. 正常 (CN): 連続的で完全な溶溶接ビード。
2. 過大/歪み (CED): 突起を伴う、拡大または不規則なビード形状。
3. 不足 (CIN): 材料の被覆不足およびビード体積の減少。

既存の手法は、幾何学的投影や空間的に変化する反射によって、正常な溶接が欠陥があるように見えたり、その逆が生じたりする可能性がある曲面特有の変動性に苦慮することがよくあります。さらに、標準的なディープラーニングのアプローチは、微細な境界情報を失ったり、産業条件下での異なる特徴ストリームの信頼性の変化を考慮しない固定された融合戦略に依存したりすることがあります。

手法：AFCCフレームワーク

本論文では、局所的な溶接幾何学とマルチレベルの視覚的外観を共同で表現するために設計されたデュアルストリーム・フレームワークであるAFCC（Adaptive Fusion of Local Contour Descriptors and Hierarchical Convolutional Features）を提案しています。このアーキテクチャは、主に4つのステージで構成されています。

1. 前処理およびデュアルブランチ抽出

• 輪郭ガイド・ブランチ (Contour-Guided Branch): 形状に焦点を当てるため、グレースケール画像を処理します。Cannyエッジ検出に続いて、エッジの連続性を高めノイズを低減するためのモルフォロジー演算（膨張および収縮）を採用します。強化されたエッジマップは、重なり合うスライディングウィンドウに分割されます。各ウィンドウは、スケール、回転、および平行移動に対して不変な局所幾何学を捉えるために、Huモーメント記述子（7次元ベクトル）を用いてエンコードされます。これらは単一の幾何学的特徴ベクトルへと集約されます。
• 畳み込みブランチ (Convolutional Branch): EfficientNet-B0バックボーンを使用してRGB画像を処理します。最終層のみを使用するのではなく、ネットワークの深さに基づいた5つの異なるセマンティックグループから中間特徴マップを抽出します。
  1. エッジ (Stem)
  2. テクスチャ (Stage 1)
  3. 構造 (Stages 2–3)
  4. テクスチャおよび彩度 (Stages 4–5)
  5. 高次セマンティック (Stages 6–7)
     各グループはプーリングされ、潜在ベクトルへと投影されます。

2. 適応型融合メカニズム

特徴量を結合したり等しい重みを用いたりするのではなく、AFCCは性能誘導型適応融合戦略を採用しています。

• 6つのストリーム（1つの幾何学的ストリーム + 5つのセマンティックグループ）それぞれに対して、それぞれの特徴のみを用いた個別のサイアミーズ・ニューラルネットワーク（SNN）分類器を訓練します。
• 各ストリームの信頼性は、検証フォールドにおけるチャンス補正バランス精度（$\rho_s = \max(BA_s - 1/K, 0)$、ここで $K=3$ はクラス数）を用いて評価されます。この指標は、ランダムな推測よりも優れた性能を示さないストリームにペナルティを与え、クラス間の不均衡に対処するために各クラス間でストリームを等しく重み付けします。
• 融合重み（$w$）は、正規化されたチャンス補正スコアとして計算されます。検証セットにおいて識別能力の高いストリームには、より高い重みが割り当てられます。
• 最終的な融合表現は、エンコードされたストリームの加重和であり、その後、最終分類のためにグローバルSNNへと入力されます。

3. 決定ゲート付き説明モジュール（オプション）

ダウンストリームの支援として大規模言語モデル（LLM）を使用する際の計算リソース効率を向上させるため、システムは決定ゲート付きトリガーを実装しています。LLMは、欠陥と分類されたサンプル（CEDまたはCIN）に対してのみ呼び出されます。LLMへの入力には、元の画像、予測ラベル、および最も高い融合重みを持つストリームの特徴マップが含まれ、すべての画像を処理するコストをかけることなくコンテキストを提供します。

4. 分類

最終的な分類は、各クラスのリファレンスサンプルとのペアワイズ類似度スコアを計算し、それらのスコアを正規化して予測ラベルを決定するグローバルSNNによって行われます。

主な貢献

1. 相補的な特徴表現: 本フレームワークは、手作りの局所輪郭記述子（境界や幾何学的変動を捕捉）と、階層的な畳み込み埋め込み（テクスチャ、構造、セマンティクスを捕捉）を統合することに成功し、曲面ワークピースの溶接における複雑さに対処しています。
2. 性能誘導型適応融合: 検証データにおける個々のストリームのチャンス補正バランス精度に基づいて融合重みを決定する手法を導入しました。これにより、手動の重み調整や等重み付けを回避し、信頼性の低いストリーム（この文脈では高次セマンティック特徴など）が決定を支配しないようにし、少数派の欠陥クラスに対する再現率を向上させています。
3. 3クラスの産業認識: システムは、正常、過大、不足を区別するために、実際のラインでの産業用データを用いて評価されています。これは、二値の正常/欠陥分類よりも、実行可能な意思決定（研磨へ回すか、追加溶接を行うか等）に直結する情報を提供します。

実験結果

フレームワークは、金属ラック製造施設からの1,586枚の溶接画像（正常(CN): 1,188枚、過大/歪み(CED): 218枚、不足(CIN): 180枚）のデータセットを用いて評価されました。最終評価には、保持されたテストセット477枚が使用されました。

• 性能: AFCCは、精度95.39%、マクロ再現率94.32%、**マクロF1スコア92.31%**を達成しました。
• 比較:
  • ファインチューニングされたEfficientNet-B0のベースラインと比較して、AFCCはマクロF1スコアを13.95パーセントポイント向上させました。
  • 代表的なディープ特徴量融合法（IFDF）と比較して、AFCCはマクロF1スコアを7.59パーセントポイント向上させました。
  • 極めて重要な点として、ベースラインが欠陥のあるテスト溶接を14個および8個見逃したのに対し、AFCCは120個の欠陥のうちわずか4個しか見逃さず、優れた欠陥検出能力を示しました。
• アブレーション研究:
  • 輪郭ブランチのみを使用した場合のF1スコアは76.61%、畳み込みブランチのみの場合は79.00%でした。
  • すべてのストリームに等しい重みを用いた場合は87.96%でした。
  • 提案された適応型重み付けは不可欠であり、F1スコアを92.31%に押し上げ、CEDおよびCINクラスの再現率を大幅に改善しました。
• リソース効率: 決定ゲート付き説明モジュールにより、LLMへのリクエストを477件から130件へと削減しました（72.7%の削減）。これら130件のリクエストは、テストセット内の120個の欠陥溶接のうち116個（96.7%）をカバーしており、残りの14件は欠陥として誤分類されたCN（正常）の溶接に関するものでした。この戦略により、推定される逐次バッチ処理時間を約**65%**短縮できました。

重要性と主張

論文は、AFCCが単一ストリームのアプローチや固定された融合戦略の限界を明示的に解決することで、曲面ワークピースの溶接検査に対する堅牢なソリューションを提供すると主張しています。その重要性は以下の点にあります。

• 信頼性: 適応型重み付けメカニズムにより、最終決定が特定のデータセットにおいて最も識別力の高い特徴に依存することを保証し、産業上の安全性と品質に不可欠な希少な欠陥タイプ（CEDおよびCIN）の検出を向上させています。
• 実用性: フレームワークは、産業環境に典型的な限定的なデータシナリオ向けに設計されており、具体的な是正措置（研磨、追加溶接、またはそのまま通過）に直接マッピングされる3クラスの出力を提供します。
• 効率性: 決定ゲート付き説明モジュールの統合は、重要な欠陥の検出を犠牲にすることなく、ハイブリッドAIシステムにおける計算コストを削減する経路を示しています。

著者らは、本研究は曲面ラックコーナー継手に外部から観察可能な条件に限定されており、内部欠陥（例：ブローホール）やクローズドループのロボット修理性能については評価していないと述べています。また、説明モジュールの出力の質（事実の正確性）については評価しておらず、リソース効率のみを評価対象としています。