技術的概要：CalexNet

問題定義

畳み込みニューラルネットワーク（CNN）は、しばしば高い計算コストを課し、リソース制約のある環境での展開を制限する。早期退出ネットワークによる選択的推論（SI）は、中間層に補助ブランチを接続することでこれを解決し、「簡単な」入力を早期に退出させ、「難しい」入力をより深い層へ伝播させる。しかし、学習済みバックボーンを凍結した状態で早期退出ブランチを追加する「学習後設定」においては、顕著な学習と推論の不整合（共変量シフト）が発生する。

本論文は、標準的な学習後レシピでは対処されていない、この不整合の 3 つの具体的な源泉を特定している：

1. サンプル分布の不整合：下流のブランチは全データセットで訓練されるが、推論時には、上流のブランチによって自信を持って分類されなかったサンプルのサブセットのみを受け取る。
2. 較正の不整合：クラスごとの精度閾値は通常、全検証データセットで較正されるため、生産環境では上流ブランチによってフィルタリングされるはずの「簡単な」サンプルを含んでいるため、見かけ上の精度が過大評価される。
3. 目標分布の不整合：標準的な交差エントロピー訓練では、バックボーンの argmax 疑似ラベルを目標として使用する。これにより、バックボーンの完全なソフトマックス分布に含まれる不確実性の構造やクラス間の類似性情報が失われる。

手法：CalexNet

CalexNet（Cascade-Aligned Early eXits）は、推論時のアーキテクチャを変更することなく、これら 3 つのギャップを埋めるための「学習レシピのみの修正」を提案する。この手法は、学習、較正、蒸留の目標を実際の推論カスケードに整合させるという統一された原理に依存している。

1. カスケード整合サンプル重み付け

訓練データをハードフィルタリングする（これにより下流ブランチのデータ枯渇を招く可能性がある）代わりに、CalexNet は連続的に重み付けされた重要度サンプリングを採用する。

• メカニズム：各サンプル $x$ に対して、先行するすべてのブランチの信頼度スコアの積に基づき、ブランチ $l+1$ 用の重み $w_j^{l+1}$ が割り当てられる：$w_j^{l+1} = \prod_{k=1}^{l} (1 - R_{\hat{C}_j^k}^k(x_j))$。
• 効果：早期のブランチによって自信を持って退出されたサンプルは 0 に近い重みを受け取り、「難しい」サンプル（生存者）はより高い重みを受け取る。これにより、データを破棄することなく、訓練分布が推論時の生存者分布と一致することが保証される。

2. カスケード認識較正（クラス精度マージン - CPM）

本論文は、検証データセットのカスケード生存者サブセットのみでクラスごとの退出閾値を推定する較正手順を導入する。

• メカニズム：クラス $i$ とブランチ $l$ に対して、閾値 $T_i^l$ は、$Prec_i^l(T_i^l) > (1 - m) \cdot \widehat{Prec}_i$ を満たす最小の値である。ここで、$\widehat{Prec}_i$ はバックボーンの精度、$m$ はマージン超パラメータである。
• 重要性：これは、全データセットで較正することによって引き起こされる精度推定の過大評価を防ぎ、生存者サブセットで生じるクラス不均衡に対して閾値が頑健であることを保証する。

3. 蒸留分類目標

不確実性情報の損失に対処するため、分類ヘッドは argmax ラベルではなく、バックボーンの完全なソフトマックス分布に対して訓練される。

• メカニズム：損失関数は、温度スケーリングされた Kullback-Leibler（KL）ダイバージェンスを使用する：$\mathcal{L}_{class,KD} = T^2 \cdot KL(p_{branch}^T \parallel p_{backbone}^T)$、ここで $T=4$。
• 効果：これにより、バックボーンのクラス間類似性構造がブランチに転移され、同じ精度目標に対してよりよく較正された信頼度スコアと低い退出閾値が得られる。

4. 軽量ブランチアーキテクチャ

CalexNet は、コンパクトな1D 畳み込みプロトタイプベースのブランチヘッドを利用する。これは、学習されたプロトタイプベクトル（1D 畳み込み）を用いて特徴マップを集約し、その後、分類と信頼度ヘッドの前に小さな非線形投影（MLP）を行う。この設計は、小さな生存者サブセットにおける表現力を維持しつつ、推論時のオーバーヘッドを最小化する。

主要な貢献

1. 統合されたカスケード整合フレームワーク：学習と推論を整合させるための 3 つの具体的な修正（重み付け、較正、蒸留）をもたらす単一の原理。
2. 軽量ブランチ設計：最小限のオーバーヘッドを追加するコンパクトなプロトタイプベースのアーキテクチャ。
3. クラス精度マージン（CPM）：クラス不均衡下で退出閾値を設定し、バックボーンに対するクラスごとの精度を維持する較正手順。
4. 経験的特徴付け：カスケードを通じた人口の縮小が「簡単な」スーパークラスに集中し、より難しいクラスの長い尾をバックボーンに残すことを示す証拠。これにより、カスケード整合訓練の必要性が正当化される。
5. パレートフロンティア手法：単一の動作点ではなく、CPM マージン $m$ を掃引した完全な精度対 FLOPs 削減曲線を用いた比較手法。これにより選択バイアスを排除する。
6. 包括的評価：ResNet18/ResNet50 バックボーンと CIFAR-100（粗粒度）/CINIC-10 データセット全体にわたる一致した研究。アブレーション研究および PTEEnet、ZTW、BoostNet との比較を含む。

結果

本論文は、CalexNet を CIFAR-100（20 のスーパークラス、より困難）と CINIC-10（10 クラス、より容易）で評価した。

• パレート性能：CalexNet は、精度-FLOPs パレートフロンティア上で、3 つの公開されたベースライン（PTEEnet、ZTW、BoostNet）および論文内の「整合なし、KD なし」参照と同等かそれ以上の性能を示す。
• 主要な領域：最大の改善は、実用的に関連する30–70% の FLOPs 削減領域で生じる。
• 精度の低下：ResNet18 を用いた CIFAR-100 において、40% の FLOPs 削減時、CalexNet は精度低下を 4.1% に抑え、「整合なし」ベースラインの 5.9% や他のベースラインの 7.7–8.8% よりも優れている。70% 削減時にもその差は拡大する（20.9% 対 23.5% 以上）。
• 安定性：結果は $n=3$ の訓練シード間で安定しており、精度低下の標準偏差は 0.003 から 0.021 の範囲である。
• アブレーション：研究は各貢献を分離し、知識蒸留（KD）が支配的なレバーであることを発見した。一方、カスケード整合重み付けは修正的な洗練として機能する。これら二つの組み合わせは超加法的である。

意義と主張

本論文は、CalexNet が推論時のアーキテクチャ変更を必要としない、任意の凍結バックボーン早期退出カスケードに対するドロップインソリューションであると主張する。その意義は以下の点にある：

• 共変量シフトへの対処：カスケード構造によって引き起こされる学習と推論の分布不整合を明示的に修正する、初の学習後手法である。
• 効率性：最小限の精度低下で大幅な FLOPs 削減（30–70%）を達成し、共同訓練や複雑な推論時アンサンブルに依存する手法を上回る。
• 実用性：この手法は、異なるバックボーンの深さ（ResNet18 対 ResNet50）やデータセットの難易度に対して頑健であり、バックボーンの再訓練が現実的でない実世界での展開に適している。

著者は、現在の整合が反復的な再重み付けを伴わないワンショットであること、および画像分類における CNN に焦点を当てていることなどの限界を指摘し、将来的な研究としてこれらの原理をトランスフォーマーや密な予測タスクに拡張できる可能性を示唆している。