技術的概要：逆問題のためのニューラル積分演算子

問題定義

本論文は、ソフトコンピューティングにおける関数空間間の写像学習という課題、特にトレーニングデータが不足しており標準的な深層学習アーキテクチャが過学習する傾向にある状況に焦点を当てている。著者らは、観測された信号から未知の入力関数（またはその性質）を復元することを目的とする逆問題に注目している。分光分類においては、これは間接的な観測に基づいて、連続領域上の関数であるスペクトルにクラスラベルを割り当てることとして現れる。

ニューラル演算子は無限次元の関数空間間の写像を学習するために近年登場したが、既存の文献は主に偏微分方程式（PDE）または第二種積分方程式（収束構造を持つ）に支配される順問題に焦点を当ててきた。地学、化学、気候学における多くの逆問題の標準的な数学的定式化である第一種積分方程式として定式化された逆問題への演算子学習の適用には、大きなギャップが存在する。第一種積分方程式は悪設定であり、強力な正則化なしには解くことが極めて困難であることで知られている。

手法：ニューラル積分演算子（NIO）

著者らは、第一種積分方程式の解をエンドツーエンドで学習するように設計された**ニューラル積分演算子（NIO）**フレームワークを提案する。このフレームワークは以下のように構成されている。

1. 数学的定式化

分類タスクは、特定の読み取り点 $\sigma_E$ における学習された積分演算子 $T$ の評価としてモデル化される。関係は以下のように定義される：
$$(Tu)(\sigma) = \int_{a'}^{b'} G(u(\omega), \sigma, \omega) \, d\omega$$
ここで：

• $u(\omega)$ はエンコードされた入力スペクトルを表す未知の潜在関数である。
• $G$ はニューラルネットワークによってパラメータ化された非線形関数であるウルゾフ核である。
• 出力は、学習された座標 $\sigma_E$ において積分を評価することで得られるクラス対数 $z = (Tu)(\sigma_E)$ である。

2. アーキテクチャ

このフレームワークは、共同で訓練される 2 つのニューラル成分から構成される。

• 畳み込みエンコーダ（$E_{\phi_E}$）：入力スペクトル $s(\omega)$ を、縮小されたスペクトル領域上の離散化された潜在関数 $u_{\phi_E}$ とスカラー読み取り座標 $\sigma_E$ にマッピングする 1 次元畳み込みネットワークである。これは積分領域の次元を削減する。
• 核ネットワーク（$G_{\theta_G}$）：ウルゾフ核をパラメータ化するフィードフォワード多層パーセプトロン（MLP）である。これは、潜在関数値 $u(\omega)$、評価点 $\sigma$、および積分変数 $\omega$ を入力として受け取る。重要なことに、$\omega$ は明示的な入力として提供され、ネットワークが非並列不変な相互作用を捉えることを可能にする。

3. 数値積分と正則化

積分を閉形式で解くことができないため、著者らはモンテカルロ（MC）サンプリングを用いてこれを近似する：
$$(T_{\theta_G} u_{\phi_E})(\sigma) \approx \frac{b' - a'}{M} \sum_{m=1}^{M} G_{\theta_G}(u_{\phi_E}(\omega^{(m)}), \sigma, \omega^{(m)})$$
ここで $\omega^{(m)}$ は領域から一様にサンプリングされた点である。

重要な方法的洞察：本論文は、この確率的数値積分が暗黙的な確率的正則化器として機能すると主張する。パラメータレベルの正則化（重み減衰など）や入力レベルのノイズ（ドロップアウトなど）とは異なり、MC 積分は被積分関数のレベルでノイズを注入する。この確率性は損失曲面を攪乱し、最適化をより平坦な極小値へと偏らせ、特に小データ領域において汎化性能を向上させる。著者らは、この正則化効果を維持するためにトレーニング中に低いサンプル数（$M_{train} = 2000$）を使用し、分散を低減するために評価中に高いサンプル数（$M_{test} = 5000$）を使用する。

4. 訓練

モデルは、予測されたクラス対数に対する交差エントロピー損失を用いてエンドツーエンドで訓練される。エンコーダパラメータ（$\phi_E$）と核パラメータ（$\theta_G$）は、Adam 確率的勾配降下法によって共同で更新される。

主要な貢献

本論文は、3 つの主要な貢献を概説している。

1. C1：第一種方程式のためのエンドツーエンドアーキテクチャ：学習されたウルゾフ核と畳み込みエンコーダが未知の積分演算子を共同でパラメータ化する、学習可能なアーキテクチャの導入。第二種方程式や順問題に焦点を当てた以前のニューラル演算子の研究とは異なり、これは逆分類のための第一種積分方程式を明示的に対象とする。
2. C2：MC 積分による確率的正則化：モンテカルロ数値積分が暗黙的な正則化器として機能するという提案と実証的検証。このメカニズムは標準的な正則化剤を補完し、NIO が同様の深層学習ベースラインよりも過学習に対してより頑健であることを示している。
3. C3：広範な実証的ベンチマーク：古典的な機械学習（決定木、SVM）および現代の深層学習ベースライン（FFNN、CNN、Transformer）に対して、10 回のモンテカルロ交差検証スプリットで 3 つの実世界の分光データセット（FT-IR 果物ピューレ、NIR 肉、NIR 繊維）において包括的な評価を行ったこと。

実験結果

NIO は、サイズと複雑さが異なる 3 つのデータセットでテストされた。

• 果物ピューレ（FT-IR）：約 1,000 サンプルによる二値分類タスク。
• 肉（NIR）：120 サンプルによる 3 クラスタスク（意図的な外れ値（偽装）を含む）。
• 繊維（NIR）：223 サンプルによる 3 クラスタスクで、高いクラス不均衡と顕著なスペクトルの重なりを特徴とする。

性能のハイライト：

• 一貫性：NIO は、3 つのすべてのデータセットおよび 4 つのすべての指標（精度、適合率、再現率、F1 スコア）において、トップ 2 位にランクインした唯一のモデルであった。
• 小データ領域：深層学習ベースライン（CNN+FFNN、Tiny Transformer）が高変動と低い性能に苦しんだ最も困難なデータセット（繊維）において（例：CNN+FFNN の精度は高い標準偏差を伴い約 0.82 に低下）、NIO は有意に低い性能変動で最良の結果（精度 0.922、F1 0.911）を達成した。
• ベースラインとの比較：
  • 果物データセットでは、NIO は CNN+FFNN と並んで最高の精度を記録し、より大きなデータ領域における競争力を示した。
  • 肉データセットでは、NIO は最良のモデル（Tiny Transformer）と同等の性能を発揮したが、Transformer がわずかに上回った。これはおそらく「鶏肉」クラスの明確な分離性によるものと考えられる。
  • 繊維データセットでは、NIO は SVM+UMAP などの最も強力な古典的ベースラインを含む他のすべてのモデルを大幅に上回り、他の手法が失敗した高い重なりを持つ小サンプル問題に対するその能力を浮き彫りにした。

意義と主張

著者らは、NIO フレームワークがデータ不足によって従来の深層学習が制限される状況における逆問題のための実用的なソフトコンピューティング戦略を表すと主張している。

• 帰納的バイアス：このフレームワークは、データ拡張や転移学習に依存するのではなく、学習タスクを第一種積分方程式の構造に結びつけることで、強力な帰納的バイアスを導入する。
• 正則化メカニズム：本論文は、数値積分と正則化の間の新たな関連性を提起し、MC サンプリングに内在する確率性が演算子学習における過学習を防ぐための原理的な方法であることを示唆している。
• ドメイン非依存性：分光法で検証されたものの、著者らはこのフレームワークがドメインに依存せず、第一種積分方程式として定式化できる任意の逆問題に適用可能であると強調している。

本論文は、他のモデルが特定の容易なデータセットでは同等の性能を発揮する可能性があるものの、NIO は不均質で小サンプルかつ高複雑な領域にわたって一貫してトップクラスの性能を提供する唯一のアーキテクチャであると結論づけている。したがって、これは分光法およびそれを超えた逆問題に対する堅牢な選択肢である。