Mitigating Negative Flips via Margin Preserving Training

あなたは、長年メニューを完成させてきた熟練のシェフだと想像してください。お客様は、何が来るべきかを正確に理解しています。「スパイシー・トーフ」は常に辛く、「クリーミー・マッシュルーム」は常にクリーミーです。そこで、あなたはメニューを拡張することにしました。「ドラゴンフルーツ・ソルベ」や「ワサビ・アイスクリーム」といった刺激的な新メニューを加えます。これは素晴らしいことのように聞こえますが、一つ問題があります。新しい味を作るためのスペースを確保しようと急ぐあまり、誤って昔からのお気に入りレシピを微調整してしまったのです。突然、「スパイシー・トーフ」が少し物足りない味になり、「クリーミー・マッシュルーム」に変な後味が残るようになりました。忠実なお客様たちは困惑し、不満を感じています。たとえ新しいメニューが、書類上は「より優れた」ものになっていたとしてもです。これは人工知能（AI）の日常的な苦悩です。AIシステムは新しいことを学ぶ際、かつてできていたことを正しく行う方法を忘れてしまうことがよくあります。コンピュータサイエンスの世界では、この特定の混乱——AIが以前は正解していたことに対して、性能が悪化してしまう現象——を「ネガティブ・フリップ（負の反転）」と呼びます。これは、アップデートによって壊れていなかったものが壊れてしまうという、もどかしいグリッチ（不具合）なのです。

これから読む論文は、まさにこの問題に取り組んでいます。研究者たちは、画像分類（コンピュータに猫、犬、車などの写真を認識させること）を用いて、新しいカテゴリをAIの脳に加えると、新旧のものの間の「決定境界（判断の線）」が混み合いすぎることがあることに気づきました。それは、小さな部屋にあまりにも多くの人を押し込もうとするようなものです。みんながぶつかり合い、AIは何が誰であるのか混乱してしまいます。これを解決するために、彼らは**マージン保存トレーニング（Margin Preserving Training: MPT）**と呼ばれる新しい学習方法を考案しました。これは、AIに、新しいもののためにスペースを作りつつ、古い友人たちのパーソナルスペースを尊重するように教える巧妙な方法だと考えてください。単にすべてを詰め込むのではなく、特別な「バイアス」を使用して古いカテゴリを保護し、「ダブル・ティーチャー（二人の教師）」システムを用いて新しいカテゴリが見捨てられないようにします。彼らの実験によれば、この手法は、新しいタスクを以前と同じくらい上手に行いながら、古いタスクにおける迷惑な間違いを防ぐことに成功しています。

問題： 「より良く」なることが「悪くなる」とき

AIの急速に進化する世界では、モデルは絶えず更新されています。開発者は、AIがより賢く、より速く、より多くのものを認識できるように、新しいバージョンを訓練します。通常、これはうまくいきます。しかし、時として奇妙なことが起こります。ゴールデンレトリバーを識別することに完璧だったAIが、アップデート後に突然それをラブラドールと呼び始めることがあります。あるいは、以前はしていなかったのに、「止まれ」の標識を「速度制限」の標識と間違えることもあるかもしれません。

この現象はネガティブ・フリップと呼ばれます。これは、以前間違えていたものをようやく認識できるようになった「ポジティブ・フリップ」の逆の現象です。ポジティブ・フリップが目標であるのに対し、ネガティブ・フリップは進歩に伴う隠れた代償です。これらは、自動運転車が馴染みのある道路標識を突然誤認するような、現実世界のシステムにおいて予測不可能な挙動を引き起こす可能性があるため、特に危険です。

研究者たちは、これらのネガティブ・フリップは、AIに「より多くの」クラス（カテゴリ）を学習させるよう求められたときに最も頻繁に発生することを発見しました。10人の生徒を区別しなければならない教師がいる教室を想像してみてください。それは簡単です。次に、100人の生徒が入ってきたと想像してください。教師は全員を同じ部屋に押し込めなければなりません。全員を収めるために、各生徒の「パーソナルスペース（またはマージン）」は小さくなります。AIの用語では、「マージン」とは異なるカテゴリ間の安全なバッファのことです。新しいクラスを追加すると、モデルは全員のためのスペースを最大化しようとしてすべてを押し込めようとしますが、これがしばしば古いカテゴリを端の方へ追いやり、混乱しやすい状態にしてしまいます。

解決策： MPTで平和を保つ

著者らは、**マージン保存トレーニング（MPT）**と呼ばれる新しい手法を提案しています。彼らの目的はシンプルです。古い知識の安全なバッファを縮小させることなく、新しいことを学ぶためにAIをアップデートすることです。

彼らは、うまく噛み合う機械のように機能する、2つの主要なトリックを用いてこれに取り組みます。

1. 「VIPパス」（マージン校正損失 / Margin-Calibrated Loss）
まず、学習中に新しいクラスに少し「有利なスタート」を与えます。あなたがクラスの生徒を教えていると想像してください。古い生徒（古いクラス）はすでに席に座っています。新しい生徒（新しいクラス）は入り口に立っています。もし単に全員に座るように指示したら、新しい生徒のためにスペースを作ろうとして、古い生徒が椅子から押し出されてしまうかもしれません。

これを防ぐために、研究者たちは新しい生徒に「VIPパス（正のロジット・バイアス）」を与えます。このパスはAIにこう伝えます。「おい、この新しい連中も重要だ。彼らが席を見つけるためのスペースを少し多めに確保してやれ」。学習中に新しいクラスの自信（確信度）を人工的に高めることで、AIは決定境界を古いクラスから遠ざけるよう強制されます。これにより、古いクラスが広い安全な「マージン」を維持し、押しつぶされないことが保証されます。これはAIに対して、「新しいことについてはまだあまり心配しなくていい。まずは古いものが安全であることを確実にしろ」と伝えるようなものです。

2. 「ダブル・ティーチャー」システム（二重ソース・フォーカル蒸留 / Double-Source Focal Distillation）
しかし、VIPパスには問題もあります。もし新しいクラスに有利なスタートを与えすぎると、彼らは自信過剰になり、実際の画像の特徴を無視してしまい、新しいカテゴリに関するミスを招く可能性があります。AIは、古いものを守ることに夢中になりすぎて、新しいクラスをうまく学習できないかもしれません。

これを修正するために、研究者たちは二人目の教師を導入します。

• 教師A（古いモデル）： この教師は古いクラスを完璧に知っています。新しいモデルが古いものの扱い方を覚えるのを助けます。
• 教師B（新しいモデル）： これは、すべてのクラス（旧および新）に対して、特別なバイアスなしでゼロから訓練された新しいモデルです。これは新しいクラスを正しく扱う方法を知っています。

新しいモデルは、同時に両方の教師から学びます。古いクラスを安全に保つために教師Aに従い、新しいクラスを台無しにしないために教師Bに従います。この「ダブルソース」のアプローチは、完璧なバランスを保証します。古いクラスは安全に保たれ、新しいクラスは正確に学習されます。

得られた結果

研究者たちは、2つの有名な画像データセット、CIFAR100（100種類の小さな画像のカテゴリ）とImageNet1K（1,000種類のより大きく複雑な画像のカテゴリ）でこのアイデアをテストしました。彼らは、ネガティブ・フリップを修正するために使用される他のいくつかの一般的な手法と比較しました。

結果は有望でした。彼らの手法であるMPTは、一貫してネガティブ・フリップを減少させました。

• CIFAR100において、標準的なResNet-18モデルを使用した際、彼らの最良のバージョン（MPT-KL）は、何の処置も行わなかったモデルの**14.04%**に対し、**ネガティブ・フリップ率（NFR）を9.26%**まで減少させました。
• ImageNet1Kでは、その改善はさらに明確でした。NFRは**6.09%に低下し、次に優れた手法であるELODIの7.61%**を上回りました。

決定的なのは、彼らは単にネガティブ・フリップを減らしただけでなく、全体的な精度を犠牲にしなかったことです。モデルは依然として新しいものを正しく認識していました。実際、ImageNet1Kにおいて、彼らの手法は古いクラスに対する全体的なエラー率を、処置なしの**28.40%から24.68%**へと実際に改善しました。

彼らはまた、どの部分が「秘伝のソース」であるかを確認するために、「もしも」の実験（アブレーション研究）を行いました。その結果、もし「VIPパス（マージン・バイアス）」を取り除くと、ネガティブ・フリップが再び上昇することがわかりました。もし「ダブル・ティーチャー」システムを取り除くと、モデルは新しいクラスの学習に苦戦しました。結局のところ、最高の成果を得るためには、両方のパーツが共に機能する必要があることが判明したのです。

魔法を可視化する

AIがどのように画像を「見ているか」を実際に理解するために、研究者たちはAI内部の複雑な数学を単純な2Dの図に変換しました。

• 彼らの手法を用いない場合： 古いクラス（「猫」など）と新しいクラス（「犬」など）のクラスターは、互いに押しつぶし合っていました。それらを分ける線は細く、不安定でした。「猫」が誤って「犬」のゾーンに境界線を越えてしまう可能性があります。
• 彼らの手法を用いる場合： 古いクラスは、自分たちの広々とした整然とした円の中に留まっています。新しいクラスは、古いものを圧迫することなく、自分たちの場所を見つけています。「決定線」は広く明確なまま維持されており、元のモデルと同じ状態になっています。

まとめ

この論文は、AIを壊さずに更新するための鍵は、すでに知っていることの「パーソナルスペース」を尊重することにあると示唆しています。古いクラスの決定マージンを明示的に保存し、新しいクラスを導くためのスマートなデュアル・ティーチャー・システムを使用することで、AIモデルをより安全にアップデートできます。

著者らは、この手法には追加の「参照用」モデルの訓練が必要であり、それには多少の計算パワーを要するものの、膨大な数のモデルを必要とする他の複雑な手法に比べればるほど安価であると述べています。また、「VIPパス」の強さ（バイアス値）は、データセットごとに注意深く調整する必要があることも強調しています。

要約すると、MPTは、過去の教訓を忘れることなく、継続的に学習し、新しい世界に適応していく、AIの脳を成長させる方法を提供します。これは、AIが記憶を縮小させることなく、知識を拡大していくための一歩となります。