An Empirical Analysis of Continual Learning for Heterogeneous Medical Visual Question Answering

想像してみてください。あなたは、レントゲン、超音波、顕微鏡のスライドを見ることができ、熟練した医師のようにそれらについて質問に答えることができる、超スマートな医療用ロボットアシスタントを所有しています。このロボットは、時間をかけて新しい技術を習得するように作られています。しかし、ここに落とし穴があります。現実の世界では、医師はすべてのトレーニングデータを一度に見ることができるわけではありません。今日は新しいタイプの症例、明日はまた別の種類、そして来週は全く新しい課題に直面します。もしロボットが新しい技術を必死に学びすぎると、古い技術を完全に忘れてしまうかもしれません。これは「破滅的忘却（catastrophic forgetting）」と呼ばれ、まるで数学のテストのために猛勉強しすぎて、突然母国語を話すことを忘れてしまった学生のようなものです。

研究者たちは、このロボットを過酷な「継続学習（continual learning）」のブートキャンプに参加させました。彼らは単に似たようなタスクを与えるのではなく、非常に異なる5つの異なる仕事を、混沌とした混合状態で投げかけました：

1. 分類（Classification）: リストから一つの答えを選ぶ（例：「これは良性か悪性の病変か？」）。
2. マルチラベル分類（Multi-label Classification）: 一度に複数の答えを選ぶ（例：「見られる異常をすべて選択せよ」）。
3. 検出（Detection）: 特定の場所にボックスを描く（例：「胎児の頭はどこか？」）。
4. 細胞計数（Cell Counting）: 正確な数を与える（例：「ここに細胞は何個あるか？」）。
5. レポート生成（Report Generation）: 画像を説明する長い自由形式のパラグラフを書く。

大きな発見：ロボットが混乱した
この研究の主な知見は、科学者がロボットが古いタスクを覚えながら新しいタスクを学ぶのを助けるために使用している現在の「魔法の呪文（アルゴリズム）」が、タスクがこれほど異なると苦戦するということです。著者らは、既存の手法では、ロボットが柔軟性（可塑性）を維持する必要性と、安定性を維持する必要性の完璧なバランスを取ることができないと示唆しています。

これは、ピザ作りが得意なシェフを想像してみてください。突然、ケーキを焼くこと、魚をさばくこと、米の粒を数えること、そして料理評論家のレビューを書くことを命じられたとします。もしシェフが、ケーキのレシピに使ったのと同じ「記憶保存」のテクニックを使って魚のレシピを学ぼうとしたら、ピザに魚のソースをかけたり、米の粒を数えることを忘れたりし始めるかもしれません。この論文は、これらの異なる「レシピ（タスク）」が混ざり合うと、ロボットの記憶がめちゃくちゃになることを示しています。

この論文が否定したもの
著者らは、似たようなタスクに対してうまく機能する古いテクニックをそのまま使うことはできないという考えに対し、明確に反論しています。彼らは、ロボットが「易しいものから難しいものへ（easy to hard）」学ぶ場合（単純な分類から複雑なレポートへと進むような場合）にはうまく機能する手法が、順番が混ざったり、タスクがあまりにも異なったりすると苦戦することを示しました。

また、単に「過去のデータを復習する（リハーサル）」ことが特効薬であるという考えも否定しています。それは多少の助けにはなりますが、ロボットが他のすべてを忘れるのを止めることはできません。実際、O-LoRAと呼ばれる手法（各タスクに独自の「ノート」を与えようとするもの）は、より大きな忘却のスパイクを示し、特定のシナリオにおいて大幅なパフォーマンス低下を引き起こしたことがわかりました。

「LoRA」バックパックの比喩
なぜこれが起こるのかを理解するために、ロボットの脳には、決して変更されない巨大で重いバックパック（メインモデル）があると想像してください。新しいことを学ぶために、ロボットはバックパックの外側に、LoRAと呼ばれる小さくて軽量な「ポケット」やアダプターを追加するだけです。

• 実験: 研究者たちは、ロボットが新しいタスクを学ぶにつれて、これらのポケットがどのように動き、伸びていくかを観察しました。
• 観察: ロボットが「レポート生成（長い物語を書く）」タスクを学んだとき、そのポケットはWildな方向に引き伸ばされました。もしこれがトレーニングの初期段階で起こると、ロボットが後にこなすべき短くて精密なタスクを行う能力を台無しにしてしまいます。
• 結果: EWC（Elastic Weight Consolization）という手法が最も一貫していました。それは、ポケットが離れすぎないように保持する、伸縮性のあるゴムバンドのように機能しました。しかし、EWCでさえ完璧ではなく、依然としてロボットが何かを忘れていることを示唆していましたが、他の手法よりはマシでした。

数字は嘘をつかない
論文では、「忘却比率（Forgetting Ratio: FR）」を用いて、ロボットがどれだけ忘れたかを正確に測定しました。FRが0は忘却なし、1は完全な記憶喪失を意味します。

• ロボットが単純な順序（Easy → Hard）でタスクを学んだとき、「ナイーブ（naïve）」な手法（特別な記憶のトリックなしにただ学習する手法）は、分類において0.94の忘却比率を示しました。これは、ほとんど完全な忘却です！
• 最善の手法であっても、忘却比率をゼロにすることはできませんでした。例えば、EWC法は、ある順序において分類の忘却を0.40まで減少させましたが、それでも完璧ではありませんでした。
• 「検出（Detection）」（ボックスを描く）タスクは、全員にとっての苦戦でした。どの手法を用いても、検出に関するロボットのパフォーマンスは一貫して低く、いくつかのケースで忘却比率は1.00（完全な忘却）に達しました。

順番が重要（非常に重要）
研究者たちは、3つの「カリキュラム（学習順序）」をテストしました：

1. 順序A (Easy → Hard): 分類 → マルチラベル → 検出 → 計数 → レポート。
2. 順序B (Hard → Easy): レポート → 計数 → 検出 → マルチラベル → 分類。
3. 順序C (Mixed): ランダムなシャッフル。

彼らは、ロボットのパフォーマンスが順番に大きく依存することを発見しました。もしロボットが長いレポートを書くことを最初に学んだ場合（順序B）、ロボットは混乱し、単純な「はい/いいえ」の質問に対しても長いパラグラフを書こうとし始めました。この「ドリフト（漂流）」は、生徒に回答を短く保つよう強制する厳格な教師のように機能するKD（Knowledge Distillation）法においては、問題が少なくなりましたが、それでもすべてを解決することはできませんでした。

結論
著者らは、私たちはまだこの問題を解決していないと結論づけています。現在の「記憶保存」技術は、タスクが絶えず変化し、かつ互いに非常によく異なるという、病院の混沌とした現実に対処するには強力ではありません。彼らは、これを修正するためには、単にロボットのポケットを微調整するだけでなく、ロボットがいつ「帽子を切り替える（役割を変える）」べきかを正確に知るように、その「振る舞い」を一致させる必要があると示唆しています。

現時点では、この論文は、進歩はしているものの、タスクが細胞のカウントからエッセイの執筆まで多岐にわたる場合、記憶を失わずに継続的に学習する医療ロボットの夢は、まだ進行中のプロジェクトであることを示唆しています。著者らは、他の人々がこれらの数値を打ち負とせるよう、コードを公開する予定ですが、今のところ、メニューの変化が早すぎると、ロボットはまだ少し物忘れが激しいようです。