Ratio-based Loss Functions

技術的サマリー：比率ベースの損失関数

問題定義
教師あり機械学習において、損失関数の選択は、仮説空間および確率測度の集合と並んで重要な要素である。距離ベースの損失関数（$|y - f(x)|$ に依存するもの）は、加法性の誤差仮定（信号＋ノイズ）のもとでの回帰問題では標準的であるが、相対誤差を効果的に捉えることはできない。医療投与量の決定、金融モデリング、品質管理など、多くの実世界応用では、出力空間は厳密に正（$Y \subset (0, \infty)$）であり、誤差構造は乗法的（信号×ノイズ）であることが多い。距離ベースのアプローチは本質的にスケール依存性を持つため、一定の絶対誤差は大きな値に対しては無視できる程度であっても、小さな値に対しては決定的な問題となり得る。逆に、比率ベースのアプローチはスケール不変性を提供する。しかし、文献には、特に一般的な数学的性質（連続性、凸性、微分可能性）およびリスク汎関数との関係に関する、比率ベースの損失関数に対する体系的な理論的枠組みが存在しない。

手法
著者は比率ベース（rb）損失関数の形式的な定義を提案し、その性質を体系的に分析する。

• 定義: 教師あり損失関数 $L: \mathcal{X} \times \mathcal{Y} \times \mathbb{R} \to [0, \infty)$ は、表現関数 $\ell: (0, \infty) \to [0, \infty)$、定数 $c \ge 0$、およびリンク関数 $u: \mathbb{R} \to \mathcal{Y}$（可測、全射、単調）が存在し、
  $$L(x, y, t) = \ell\left(\frac{u(t) + c}{y + c}\right)$$
  と表されるとき、比率ベースであると定義される。ここで $\mathcal{Y} = (a, b)$ であり、$0 \le a < b \le \infty$ である。$c=0$ の場合は「厳密な比率ベース」と呼ばれる。リンク関数 $u$ は、実数値の予測 $t$ を出力空間 $\mathcal{Y}$ に変換し、比が適切に定義されるようにする。
• 理論的解析: 本論文は、表現関数 $\ell$ およびリンク関数 $u$ の性質（連続性、リプシッツ連続性、凸性、微分可能性など）が、損失関数 $L$ および対応するリスク汎関数 $R_{L,P}(f)$ にどのように伝播するかを調査する。この解析は、損失からリスクへの性質の継承に関する統計的学習理論の標準的な結果（Csiszár、Steinwart、Christmann など）に依存している。
• 比較: 著者は、比率ベースの損失と距離ベースの損失の関係を分析し、対数変換を通じて互いに写像可能である一方で、元の引数空間においては同等ではないことを示す。

主な貢献

1. 一般枠組み: 本論文は、既存のマージンベース（分類）および距離ベース（回帰）のアプローチと区別される、比率ベースの損失関数に対する統一的な理論的枠組みを確立する。
2. 性質の伝播: $L$ が $\ell$ および $u$ から連続性、微分可能性、凸性、リプシッツ連続性を継承する条件を詳述する厳密な補題および命題を提供する。重要な発見として、比率ベースの設定における凸性とリプシッツ連続性の間の緊張関係が挙げられる。凸性はしばしば $c=0$（厳密な比率ベース）を必要とするのに対し、大域的なリプシッツ連続性は、ゼロまたは無限大近傍での比を有界にするために $c>0$ を必要とする傾向がある。
3. 新規および調査済みの損失関数: 著者は、文献中の既存の比率ベース損失（絶対相対誤差最小化、積相対誤差最小化、対数 RMSE など）をカタログ化し、以下の新しい関数を提案する。
   • Huber 型の対数および相対損失。
   • Log-cosh-log および Cosh-log 相対損失。
   • Hampel 損失に着想を得た、絶対相対誤差最小化（LARE）および積相対誤差最小化（LPRE）の平滑化されたロバスト版。
   • 重み付けおよび感度無視の比率ベース損失のバリエーション。
4. リスク解析: 本論文はリスク汎関数の有限性に取り組む。特に $\mathcal{Y} = (0, \infty)$ の場合、可測関数に対して有限のリスクを確保するためには、$\ell$ の有界性、または $u$ および $c$ に関する特定の条件が必要であることを示す。
5. 代替定義: 著者は、逆比（$\frac{y+c}{u(t)+c}$）を用いた代替定義を簡潔に検討し、性質の多くは保持されるものの、大域的リプシッツ連続性およびリスクの有界性の証明において、元の定義（1）が技術的な利点を提供することを示す。

結果

• 凸性: 本論文は、$\mathcal{Y}=(0,1)$ の場合、$c$ の値に関わらず非定数の凸な比率ベース損失は一般的に不可能であることを証明する。しかし、$\mathcal{Y}=(0, \infty)$ かつ $c=0$、$u(t)=e^t$ の場合、$\ell$ が特定の微分不等式（例：$\ell(r) = e^{\tilde{\ell}(r)} + e^{\tilde{\ell}(r^{-1})} - 2e^{\tilde{\ell}(1)}$）を満たせば、凸損失を構成できる。
• リプシッツ連続性: 出力空間が有界である場合、または $c>0$ を用いて有界な領域を扱う場合は、大域的リプシッツ連続性が達成可能である。$c=0$ の非有界領域では、$\ell$ が特別に有界でない限り、大域的リプシッツ連続性はしばしば失われる。
• 微分可能性: $L$ の微分可能性は、$\ell$ および $u$ の両方の微分可能性に依存する。本論文は、第一および第二導関数に関する明示的な式を提供する。
• ネミツキ性: 著者は、比率ベースの損失がネミツキ性を満たす条件を確立する。これは、最小化子の存在およびリスク汎関数の連続性にとって重要である。
• 性質の表: 包括的な表（表 2 および表 3）は、異なるリンク関数（$u(t) = e^t$ とロジスティック関数）および定数（$c=0$ と $c>0$）のもとでの、提案されたおよび既存の各種損失関数の性質（凸性、リプシッツ連続性、微分可能性）を要約している。

意義と主張
著者は明示的に、本論文は特定のアルゴリズムに対する学習率の導出、一貫性の証明、または安定性の結果の導出ではなく、調査および理論的調査であると述べている。その意義は以下の点にある。

• 基礎的作業: 将来の比率ベース学習アルゴリズムの研究を可能にするための必要な数学的基盤（連続性、凸性、微分可能性）を提供すること。
• ギャップの埋め合わせ: 相対誤差は実務（用量反応研究やインフレ率モデリングなど）で広く使用されている一方で、距離ベースの損失に与えられているような体系的な理論的扱いが欠如していることを浮き彫りにすること。
• 将来の方向性: 本論文は、追加の凸かつリプシッツ連続な比率ベース損失の発見、表現定理の導出、およびこれらの損失を用いたカーネルベース手法および CNN に対する統計的ロバスト性の結果（影響関数、最大バイアス）の確立に関する研究を刺激することを目的としている。著者は、距離ベースのアプローチと比率ベースのアプローチの選択は、数学的な利便性のみではなく、特定の応用の誤差構造（加法性対乗法性）によって駆動されるべきであると指摘している。