DTO: a Differentiable Training Objective for Effective Counterfactual Story Rewriting

技術的概要：効果的な反事実的物語書き換えのための微分可能な訓練目的

問題定義
反事実的物語書き換えは、既存の物語を特定の代替事象（反事実的条件）を反映するように更新しつつ、影響を受けない物語要素をすべて保持し、全体の整合性を維持することを要求する自然言語処理（NLP）タスクである。核心的な課題は、必要な変更の性質にある。それらは通常、規模が非常に小さく、高度に局所的である。その結果、従来の最尤（負の対数尤度、NLL）目的関数で訓練されたモデルは、これらの微妙なニュアンスを見落としがちで、反事実的条件を統合できず、あるいは物語の流れを損なう過度な編集を行ってしまう。強化学習（RL）アプローチは特定の指標の最適化を提供するが、極めて遅く、設定が困難であり、サンプリングノイズに起因する高い分散に悩まされる。

手法
著者は、非微分可能な方策勾配に依存することなく、反事実的書き換えの特定の要件に対して生成モデルを直接最適化する、新しい**微分可能な訓練目的（DTO）**を提案する。

1. 指標の選択: このアプローチは、事前学習済み BART モデルに基づくテキスト生成評価指標であるBARTScoreを利用する。n-gram ベースの指標（BLEU、ROUGE など）とは異なり、BARTScore はソースに対する仮説の対数尤度を推定し、意味的整合性と流暢さを捉える。
2. デルタスコア: 全局的な類似度指標が変更されていないセグメントを過大評価する可能性という限界に対処するため、著者は**デルタスコア（$\Delta M$）**を導入する。このスコアは、生成された出力の「編集済み（反事実的）」参照に対する指標スコアと、「元の」結末に対するスコアとの差として定義される。この対照的な測定値は、モデルが元のテキストではなく、反事実的目標に近づくことを明示的に報酬とする。絶対的な精度と相対的な改善のバランスを取るため、調整済みスコアも提案される。
3. 微分可能性メカニズム: 標準的な指標と離散トークンの生成は微分不可能であるため、著者は「ソフト化」技術を採用する。離散トークンをサンプリングする代わりに、生成モデルは語彙全体にわたる確率分布を出力する。この分布は BARTScore モデルの埋め込み行列に乗算され、「期待埋め込み（ソフトトークン）」を生成する。この連続的な表現により、勾配は凍結された BARTScore モデルを介して直接、生成モデルのパラメータへ逆伝播される。
4. 訓練プロセス: モデルは、BARTScore（またはデルタ調整済み BARTScore）の負の値から導出された損失関数を用いたエンドツーエンドの逆伝播によって微調整される。これにより、訓練信号は評価基準と直接整合し、RL 法に関連するサンプリング誘発ノイズを回避する。

主要な貢献

1. 新規訓練アプローチ: 本論文は、標準的な尤度ではなく、反事実的書き換え指標（具体的には BARTScore ベースのデルタスコア）を用いて生成モデルを明示的に最適化する訓練戦略である DTO を導入する。
2. 報酬関数の検討: 著者は BARTScore に基づく異なる報酬関数を評価し、期待される反事実的結末への準拠と、元の結末からの分化との間のトレードオフを探求する。
3. 性能検証: 本研究は、DTO アプローチが、標準的な最尤ベースラインおよび選好ベースのアプローチ（対照的選好最適化、CPO）の両方を上回ることを実証する。さらに、GPT-4o および Gemini 2.0 という 2 つの最新の大型言語モデル（LLM）に対しても競争力のある性能を発揮する。

実験結果
実験は、TIMETRAVELデータセット（約 28,000 インスタンス）および生成タスク向けに調整されたARTデータセットで行われた。

• ベースラインとの比較: DTO ベースのモデル（具体的には DTO-Score および DTO-Score+Delta）は、BARTScore、ROUGE-L、SacreBLEU 指標において、NLL および CPO ベースラインと比較して、予測スコア（参照に対する忠実度）および反事実的スコア（新しい条件の取り込み能力）の両方で優れた性能を達成した。
• LLM との比較: 微調整された BART モデル（0.4B パラメータ）は、すべての指標において GPT-4o のゼロショット性能を上回ったわけではないが、予測精度において LLM を大幅に上回った。注目すべきは、小規模な DTO モデルが、はるかに大規模な LLM（推定 200B および 70B パラメータ）と競争力のある反事実的スコアを達成しながら、計算フットプリントの断片しか必要としなかったことである。
• 定性的分析: ケーススタディは、DTO モデルが反事実的前提を尊重する最小かつ正確な編集を生成するのに対し、LLM（特にワンショット構成では）はタスク指示から大きく逸脱するか、プロンプトに存在しない要素で物語を「飾り立てる」傾向があることを示している。
• アブレーション: DTO アプローチは、入力から元の結末を除去した「アブレーション」設定でも強力な性能を維持しており、前提と事象のみに基づいて結末を予測する際の堅牢性を示唆している。

意義と主張
本論文は、提案された DTO アプローチが、微妙で制御されたテキスト生成タスクに対するタスク固有の微分可能目的の有効性を裏付けていると主張する。評価指標を訓練信号の一部として扱うことで、この手法は安定した収束を達成し、モデルの勾配を正確かつ最小限の書き換えという最終目標に整合させる。著者は、効果的な微分可能な訓練目的を備えた小規模言語モデルは、100〜500 倍大きい商用グレードのモデルと同等の性能を発揮し得ると結論付け、専門的な NLP タスクに対する計算効率の高い代替手段を提供する。