Collapse or creativity - Hallucinations in recursive synthetic data generation
本研究は、合成臨床データを用いた生成AIの再帰的学習が、レコードレベルの不自然さではなく、多様性と交差性の忠実度の喪失に起因して、5世代以内に急速な予測崩壊を招くことを実証するとともに、既存のハルシネーション指標がしばしば誤解を招くものであることを明らかにし、現実世界のデータの多様性を維持するためのプロベナンス（由来）および品質評価の改善を提唱するものである。
原論文は CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) でライセンスされています。 これは以下の論文のAI生成解説です。著者が執筆または承認したものではありません。技術的な正確性については原論文を参照してください。 免責事項の全文を読む
現代の人工知能の世界において、機械は自らが生成したコンテンツからますます学習するようになっている。このサイクルは「再帰的学習」として知られ、モデルが新しいデータを生成し、その新しいデータが次のバージョンのモデルを訓練するために再びシステムに投入されることで起こる。これは知識を無限に拡大する方法であるように思えるかもしれないが、科学者たちは長年、「モデル崩壊」と呼ばれる現象を懸念してきた。このシナリオでは、機械は現実との接点を失い始め、理解すべき世界の真の多様性を徐々に忘れ、代わりに狭く歪んだ「平均」へと収束していく。これは、希少疾患の研究やプライバシー保護のために合成患者記録を生成するためにAIシステムが使用されている医学の分野において、特に危険である。もしこれらの合成記録に欠陥があれば、それらに基づいて訓練されたモデルは危険な誤りを犯す可能性があるが、こうした欠陥を特定するためのツールは、これまで不明確なことが多かった。
ノルウェーの研究チームは、機械が医療データを何度も生成し続けるときに、この劣化が具体的にどのように起こるのかを調査するために立ち上がった。彼らは、医療記録の文脈における「ハルシネーション（幻覚）」と呼ばれる特定の種類の誤りに焦点を当てた。これは、例えば、すでに死亡している人物が心臓発作を起こしているといった、不可能な状況を記述する患者エントリーを意味する。研究者たちは、これら明白なレコードレベルの誤りが主な問題なのか、それとももっと微妙な何かがデータの失敗を引き起こしているのかを知りたいと考えた。これを知るために、彼らは大規模な集中治療室（ICU）のデータベースからの実データを用いた厳格な実験を構築した。彼らはこの実データを用い、4種類の異なるタイプのAIジェネレーターを使用して、新しい合成患者記録を作成した。次に、それらの合成記録を使用して新しいモデルを訓練し、このプロセスを20回連続で繰り返した。つまり、各ステップが完全に前のステップの出力に依存する生成の連鎖を作り出したのである。
結果は驚くべき事実を明らかにした。データが失敗したのは、機械が不可能な患者についてのナンセンスな物語を書き始めたからではなかった。むしろ、データが失敗したのは、その「多様性」を失ったからであった。生成が進むにつれて、合成記録はますます互いに似通っていき、実生活に存在する症状や疾患のユニークな組み合わせを消し去っていった。研究者たちは、わずか5回の生成の過程で、データがあまりに均一になり、コンピュータに患者の転帰を予測させる能力を失い、その本来の目的において事実上使い物にならなくなったことを発見した。機械は新しく奇妙な誤りを発明したのではなく、単に新しいものを何も発明しなくなったのである。機械は、統計的には安全に見えるが、臨床的には「死んでいる」ような、狭く反復的なパターンへと崩壊したのである。
この発見は、科学者や規制当局が現在エラーを探す方法に疑問を投げかけるものである。この研究は、「ハルシナント（幻覚）」をカウントするために使用される標準的なツール（特定のレコードが実在の人物のデータベースに存在するかどうかを確認するもの）が、誤解を招くものであることを示した。これらのツールは、たとえそれらのレコードが医学的に妥当であっても、単に稀であったり未観測であったりするという理由だけで、数千のレコードをエラーとしてフラグ立てすることがよくあった。実際、研究者たちは、これらの標準的なツールによって「ハルシネーション」としてフラグ立てされたレコードこそが、しばしばデータを存続させている唯一の要素であったことを見出した。真の失敗は、これらのツールには見えないところに隠れていた。それは、データの持つ複雑な相互作用パターンの喪失であった。機械は嘘をついていたのではなく、単に「退屈」になっていたのであり、そうすることで、データの予測力を破壊していたのである。
研究者たちは、4種類の異なるAIジェネレーターがどのように振る舞うかをテストした。堅牢なバリエーションオートエンコーダーの一種は最も早く失敗し、再入院する患者としない患者を区別する能力を完全に失った。これは、すべてのデータを単一の「平均的なプロファイル」へと崩壊させることで行われた。敵対的ランダムフォレストや条件付き生成敵対ネットワーク（cGAN）に基づく他のジェネレーターは、失敗はより緩やかであったものの、やはり予測能力を失った。これらは、極端な値へと漂流するか、あるいは新しい非現実的な症状のパターンを捏造することによって失敗した。より新しいタイプのジェネレーターである拡散モデル（Diffusion Model）は、異なる挙動を示した。それはデータの分布の極端な方向へと漂流し、統計的には稀ではあるが技術的には可能な、非常に高い、あるいは非常に低い値を持つ記録を作成した。これらの異なる失敗への経路にもかかわらず、結果は同じであった。データは現実世界を表現する能力を失ったのである。
決定的なことに、本研究は、規制当局や一般市民が懸念していた「ハルシネーション」（明らかに不可能、あるいはナンセンスな記録）は、実は極めて稀であることを突き止めた。多くの場合、合成記録の中で医学的に不可能な値を含んでいたのは、1パーセント未満であった。真の危険は、これらの不可能な記録が存在することではなく、多様で現実的な記録が「欠如」していることにあった。機械は偽の物語を生成していたのではなく、あまりに完璧で、あまりに平均的で、あまりに一様すぎる世界を生成していたのである。このことは、合成データの個々のエラーを捕らえることに焦点を当てている現在の取り組みが、より大きな全体像を見逃していることを示唆している。システムの安全性は、単一のデータ行が事実として正しいかどうかを確認することよりも、データセット全体がいかに豊かな、混沌とした多様性を保持しているかを確認することにかかっている。
この研究の含意は、単なる医学研究にとどまらない。研究者たちは、「ハルシネーション」という言葉は、構造化データにおいて起きていることに対しては、しば理不全な言葉であると主張している。テキストの世界では、ハルシネーションとは「作り上げられた事実」である。しかし、医療データの世界における失敗は、多くの場合「忠実度の喪失」であり、データが人口統計学的な真の分布を反映しなくなることを指す。この研究は、我々が「あり得ない記録を数えること」から、「データの多様性と構造を測定すること」へと焦にシフトする必要があることを示唆している。もし目立つエラーばかりを探していれば、将来のAIを訓練するためのデータを無用にする「静かな質の劣化」を見逃してしまう可能性がある。研究者たちは、明確なラベル付けとプロベナンス（由来）が不可欠であると強調している。データが合成されたものであることを知り、その品質をライフサイクル全体を通じて監視しなければ、将来のシステムの知識ベースが静かに劣化していくのを防ぐことはできない。
結局のところ、この研究は「データは多ければ多いほど常に良い」という仮定に対する警告となっている。AIシステムが適切な保護策なしに自らの出力に依存することを許されると、それらは必ずしもより創造的になったり正確になったりするわけではない。むしろ、自らが作り出したループの中に閉じ込められ、実態を伴わない、見た目だけはリアルなデータを生成するリスクを負うことになる。研究者たちは、データの多様性を維持することは単なる技術的な要件ではなく、人工知能の信頼性における根本的な必要条件であると結論づけている。多様性がなければ、合成データが医学などの分野に革命をもたらすという約束は、それを生み出すために設計されたシステムそのものによって台無しにされてしまう可能性がある。進むべき道は、データの多様性の喪失をデータが完全に崩壊する前に検知できる、新しい語彙と新しい指標を確立することであり、それによって、私たちが構築する機械が、本来仕えるべき複雑で多様な世界を反映し続けられるようにすることである。
自分の分野の論文に埋もれていませんか？
研究キーワードに一致する最新の論文のダイジェストを毎日受け取りましょう——技術要約付き、あなたの言語で。