技術概要：DART – 包括的なロープ状態監視のためのビジョン - ランゲージ基盤モデル

1. 問題提起

合成繊維ロープ（SFRs）は、海洋、海事、産業環境における重要な荷重支持部品である。現在の状態監視（CM）ワークフローは、人間の専門家による定期的な視覚検査に依存しており、このプロセスは労働集約的で主観的であり、スケーリングが困難である。自動化された検査システムは存在するが、それらは通常、検査タスクを孤立した部分問題（例えば、損傷タイプの分類器、重症度の回帰器など）として扱う。

本論文が取り組む核心的な課題は、単一モダリティのビジョンモデルが、意味的コンテキストなしに視覚的に曖昧な損傷状態を解決できない点である。例えば、同じ損傷タイプの隣接する重症度レベル（例：「摩耗/中程度」対「摩耗/低程度」）を区別することは、ビジョンのみのモデルにとって困難である。なぜなら、これらの状態は自然言語記述によって提供される意味的なニュアンスなしには、視覚的に区別できないことが多いためである。さらに、展開可能な検査システムには、単なる分類以上のものが求められる。それは、単一の画像から、損傷タイプ、重症度、異常の有無、保守推奨事項、劣化タイムラインに関する相互依存する質問に同時に回答しなければならない。

2. 手法

著者らは、ロープ検査ワークフロー全体を単一の共有表現を通じて統合するように設計されたビジョン - ランゲージ基盤モデルであるDART（Damage Assessment via Rope Transformer）を提案する。このアーキテクチャは、**Joint-Embedding Predictive Architecture **(JEPA) をクロスモーダル領域に拡張したものである。

2.1 アーキテクチャ概要

DART は、5 つの緊密に結合されたコンポーネントを統合する：

1. 画像エンコーダ：ImageNet-22k 上で iJEPA を用いて事前学習された Vision Transformer（ViT-H/14）。$224 \times 224$の画像を 256 のパッチトークンに処理する。指数移動平均（EMA）ターゲットエンコーダがオンラインエンコーダを追跡し、対照的なネガティブペアを必要とせずに安定した再構成ターゲットを提供する。
2. テキストエンコーダ：損傷の専門家レビュー済み自然言語記述を符号化するLlama-3.2-3B-Instructモデル（最後の 4 つのトランスフォーマーブロックと最終 LayerNorm を除いて凍結）。マルチスケール特徴は、レイヤー 16、24、31 を平均化することで抽出される。
3. HD-MASK（High-Discrepancy Masking）：セマンティクス誘導型マスキング戦略。ランダムなマスキングの代わりに、軽量な畳み込みネットワークがパッチのセマンティクスを推定する。セマンティクスの上位 40%（損傷が密集した領域）にあるパッチは確率 0.70 でマスキングされ、背景パッチは 0.30 でマスキングされる。これにより、自己教師あり再構成タスクが情報豊富な損傷領域に偏る。
4. 潜在予測器：6 レイヤーのトランスフォーマーであり、ピクセルレベルの再構成のノイズ感応性を回避するため、潜在空間のコンテキストトークンからマスキングされたパッチ埋め込みを予測する。
5. SC-CMF（Severity-Conditioned Cross-Modal Fusion）：このモジュールは視覚とテキストのモダリティを融合する。これは、損傷の重症度とタイプに基づいて言語の影響を適応的に調整する14 の学習可能なクラスごとのゲートを採用する。言語変調は、重症度で階層化されたクラス（例：摩耗）に対して増幅され、重症度の勾配がない記述を持つ複合損傷タイプに対しては抑制される。

2.2 学習目的：Contrastive Damage Disentanglement (CDD) 損失

モデルは、マルチタスク転移のための埋め込み空間を形成するために、4 項の目的関数（$\mathcal{L}_{total}$）で学習される：

• $\mathcal{L}_{recon}$（JEPA 再構成）：予測された潜在変数と EMA ターゲット潜在変数に対する Smooth-L1 損失。
• $\mathcal{L}_{sev}$（重症度対照）：同じ損傷タイプだが異なる重症度レベルのペアを近づけ、異なるタイプを遠ざける InfoNCE 損失であり、タイプと重症度の分離を明示的に促進する。
• $\mathcal{L}_{orth}$（タイプ直交性）：異なる損傷タイプのクラス重心間のコサイン類似性を罰則化し、直交部分空間を確保する。
• $\mathcal{L}_{focal}$（焦点分類）：データセットにおける深刻なクラス不均衡（29:1 の比率）を処理するための、逆頻度重み付きのクロスエントロピー。

2.3 学習カリキュラム

学習は 2 つのフェーズで行われる：

• フェーズ 1：ViT バックボーンは凍結される。HD-MASK、予測器、テキスト投影、SC-CMF、および分類器が学習される。
• フェーズ 2：ViT の最後の 6 ブロックと最終 LayerNorm が凍結解除され、表現を微調整する一方、テキストエンコーダはほぼ凍結されたままとなる。

3. 主な貢献

本論文は、5 つの主要な貢献を特定している：

1. DART モデル：タスク固有の微調整なしに包括的な検査タスクのスイートをサポートするために、4,270 枚の画像で 1 回学習された統合されたビジョン - ランゲージ基盤モデル。
2. SC-CMF モジュール：損傷の重症度とタイプに基づいて言語の影響を適応的に調整する、クラスごとの学習可能なゲートを用いた新しい融合メカニズム。
3. HD-MASK：明示的なパッチレベルの注釈を必要とせずに、損傷が密集したパッチに焦点を当てることで自己教師あり学習を改善する、セマンティクス誘導型マスキング戦略。
4. CDD 損失：構造的再構成、重症度の順序付け、タイプの直交性、および頑健な分類を同時に最適化する 4 項の目的関数。
5. マルチタスクベンチマーク：単一の凍結されたバックボーンが、分類、回帰、少数ショット学習、保守推奨、レポート生成、異常検出において最先端のパフォーマンスを達成することを示す実証。

4. 結果

モデルは、凍結されたバックボーンを使用して、8 つのダウンストリームタスクにわたってROPE データセット（4,270 枚の画像、14 の微細なクラス）で評価された。

• 損傷分類：93.22% の精度と91.04% のマクロ F1を達成し、ビジョンのみの ViT-H/14 ベースライン（54.76% の精度）に対して**+38.5 パーセントポイント**の改善を示した。
• 重症度回帰：連続的な重症度推定において、スピアマンの$\rho$が0.94、1 順序以内の精度が**99.6%**を達成した。
• 少数ショット認識：クラスあたりわずか 20 ショットで89.2% のマクロ F1を達成し、ビジョンのみのベースラインを大幅に上回った。
• 保守推奨：損傷を安全等級化されたアクション（例：「即時交換」、「修理スケジュール」）にマッピングする際、94.79% のマクロ F1を達成した。
• 異常検出：凍結された埋め込みに対するマハラノビス距離を使用して4.76% の異常率を達成し、期待される境界線標本 prevalence と一致した。
• 進行モデリング：91% の単調補間率を示し、埋め込み空間が物理的に意味のある劣化軌道を符号化していることを実証した。

アブレーション研究は、言語グラウンディングが最も重要なコンポーネントであることを確認した。テキストエンコーダを削除すると、精度が 35.41 パーセントポイント低下した。SC-CMF ゲートと HD-MASK は統計的に有意ではあったが、より小さな改善を提供した。

5. 意義と主張

本論文は、DART が、孤立した単一タスクの検査モデルから、汎用状態監視バックボーンへの転換を表すと主張している。自然言語記述の意味的コンテキストを活用することで、DART は単一モダリティモデルでは解決できない視覚的な曖昧さを解消する。

著者らは、DART が単一の共有表現から実行可能な検査インテリジェンスを提供することを強調している。それは単なる分類を超え、連続的な重症度推定、保守推奨、自動レポート提供を提供する。この研究は、データが希少で、クラスが微細で、意思決定が相互依存している複雑な産業検査タスクにおいて、基盤モデルアプローチが不可欠かつ自然であることを実証している。このモデルは、比較的小さな学習フットプリント（4,270 枚の画像）で、かつダウンストリームアプリケーションに対するタスク固有の再学習なしに、これらの結果を達成している。