Founder effects shape the evolutionary dynamics of multimodality in open LLM families

本論文は、Hugging Face の大規模データセットを用いた分析により、オープン LLM 家族におけるマルチモーダル能力の進化が、稀な創始者事象を経て系統内で急速に拡大する「分断的な採用動態」を示し、テキスト生成モデルから視覚言語モデルへの直接的な継承は極めて稀であることを明らかにした。

要約

この論文は、**「AI の進化が、実は『生物の進化』ととても似ている」**という面白い発見を伝えています。

特に、「文章だけを読む AI（テキストモデル）」から、「画像も見て理解する AI（マルチモーダルモデル）」への変化が、どのように起こっているかを調査しました。

結論を一言で言うと、**「新しい能力は、突然『先駆者』が現れることで始まり、その子孫たちが爆発的に増える」**というパターンが見られました。

以下に、難しい専門用語を使わず、身近な例え話で解説します。

---

1. 物語の舞台：AI の「家系図」

まず、Hugging Face（AI モデルを共有する巨大な図書館）には、180 万以上の AI モデルがあります。これらは、親モデルから子モデルへ「微調整（Fine-tuning）」や「結合」によって作られており、まるで巨大な家系図のようになっています。

研究者は、この家系図を詳しく調べました。

2. 発見①：「森」にはいるのに、「村」には遅れて入る

• 状況： 広い森（AI 全体の生態系）では、画像と文章を組み合わせる AI は、2023 年以前からすでにたくさん生まれていました。
• 問題： しかし、有名な AI の「家系（Llama や Gemma などの主要なファミリー）」の中では、2024 年までほとんど見られませんでした。
• たとえ話：

  街のあちこちで「自転車」が流行っているのに、特定の「大家族」の家の中では、2024 年になるまで誰も自転車に乗っていなかったようなものです。
  外の世界ではすでに普及していたのに、その家の中では「遅れて」流行り始めたのです。

3. 発見②：「変身」はほとんど起きない

よくある考えとして、「文章 AI に画像の機能を少し足せば、画像 AI になるだろう」と思われがちです。しかし、データを見るとそれはほとんど起きませんでした。

• 事実： 文章 AI を親にして、画像 AI に「変身」させるケースは、0.2% 以下という驚くほど低い確率でした。
• たとえ話：

  「普通の犬（文章 AI）」を育てても、ほとんどが「普通の犬」のままです。
  「犬」からいきなり「猫（画像 AI）」に生まれ変わることは、奇跡に近いほど稀なのです。
  逆に、「猫（画像 AI）」から生まれた子供は、ほぼ間違いなく「猫」のまま成長します。

4. 発見③：「創始者（ファウンダー）」の登場と爆発的増殖

では、どうやって画像 AI は増えたのでしょうか？答えは**「創始者（ファウンダー）」**の登場です。

• 仕組み：
  1. 突然、誰かが「新しい画像 AI（創始者）」をゼロから作ります（親の記録がない「ルーツ」として現れます）。
  2. その創始者が、子孫（微調整されたモデル）を次々と生み出します。
  3. 一度「画像 AI」としての血筋が確立されると、その家系内では爆発的に増えます。
• たとえ話：

  ある村に、突然**「魔法使い（創始者）」が一人現れました。
  最初は村人の誰も魔法が使えませんでしたが、この魔法使いが弟子（子モデル）を育て始めると、その弟子たちがさらに弟子を育て、あっという間に村の半分が「魔法使いの家系」になりました。
  普通の村人（文章 AI）が努力して魔法使いになるのではなく、「魔法使いの血筋」が広まった**のです。

5. なぜこんなことが起きるの？

画像 AI を作るには、単に文章 AI をいじるだけではダメで、「カメラ（画像認識）」と「脳（言語モデル）」を繋ぐための特別な工事が必要です。

• たとえ話：

  文章 AI は「本を読む人」です。画像 AI にするには、「目」を移植し、脳に「画像処理室」を新設する必要があります。
  これは、単に「本を読む速度を上げる（微調整）」というレベルではなく、**「新しい器官を作る大手術」**のようなものです。
  だから、普通の人がいきなり手術を受けられるわけではなく、最初から手術室を持った「創始者」が現れるのを待つしかありません。

まとめ：AI 進化の新しいルール

この論文が教えてくれるのは、AI の進化は「少しずつ良くなる」という滑らかな曲線ではなく、**「ある日突然、新しいタイプが現れ、その子孫が急激に増える」という「断続的（パッチワーク的）な進化」**だということです。

• 重要な教訓：
  文章 AI がどれだけ上手になっても、自動的に画像 AI にはなりません。
  「新しい能力」を AI に持たせたいなら、既存のモデルをいじるのではなく、新しい「創始者モデル」をゼロから作るか、あるいはその血筋に属するモデルを選ぶ必要があるということです。

まるで、新しい種が突然森に現れ、その種だけが一気に森を埋め尽くすような、生物進化のドラマが、今の AI 界で起きているのです。

技術概要

論文概要

タイトル: Founder effects shape the evolutionary dynamics of multimodality in open LLM families
著者: Manuel Cebrian (スペイン国立研究審議会、自動化・ロボットセンター)
データセット: Hugging Face のメタデータと系譜（Lineage）情報を含む「ModelBiome AI Ecosystem データセット」（2025 年 7 月時点、約 186 万モデル、302 万の親子関係エッジ）

---

1. 研究の背景と問題設定

大規模言語モデル（LLM）のオープンエコシステムでは、ベースモデルの微調整（Fine-tuning）、量子化、マージなどを通じて、派生モデルが大量に生成されています。しかし、**「マルチモーダル機能（特に画像・テキストの視覚言語モデル：VLM）が、これらのオープン LLM ファミリー内でどのように出現し、拡散しているか」**という進化メカニズムは未解明でした。

従来の仮説では、テキスト生成モデルから順応的にマルチモーダル機能へと移行していく「漸進的な進化」が想定されがちですが、本研究は以下の疑問を提起します。

• マルチモーダル機能は、既存のテキストモデルからの頻繁な派生によって生まれているのか？
• それとも、稀な「創始者（Founder）」イベント（新しい VLM ルートの出現）を経て、その子孫系統内で急速に増幅される「分断的（Punctuated）な進化」をたどっているのか？

---

2. 研究方法

著者は、Hugging Face のモデルハブを「進化的生態系」として捉え、以下の手法で定量的分析を行いました。

• データソース: ModelBiome AI Ecosystem データセット（186 万モデル、302 万の親子関係エッジ）。
• 時系列分析: 2022 年 3 月以降のモデル作成日に基づき、エコシステム全体と主要な LLM ファミリー内での「クロスモーダルタスク（画像・音声・動画・テキスト）」および「視覚言語タスク（VLM）」の普及率を算出。
• 系譜条件付き遷移確率の推定:
  • 親モデルのタスクカテゴリ（テキスト生成 vs VLM）と、子モデルのタスクカテゴリの関係を分析。
  • 関係タイプ（微調整、マージ、アダプター、量子化）ごとの遷移率を計算。
  • 特に「テキスト生成モデルから VLM へ」の遷移と、「VLM から VLM へ」の維持率を比較。
• 創始者集中分析: VLM 系統内での、どの親モデル（創始者）が子孫の大部分を占めているかを測定（トップ 1、トップ 3 のシェア、有効創始者数 $N_{eff}$）。

---

3. 主要な結果

(1) エコシステム全体とファミリー内の普及のタイムラグ

• エコシステム全体: クロスモーダルタスクは 2022 年頃から Hugging Face 全体で広く見られました。
• 主要 LLM ファミリー内: 2023 年〜2024 年半ばまで、主要なオープン LLM ファミリー内でのマルチモーダル化は極めて稀でした。2024 年後半から 2025 年にかけて急激に増加しましたが、これはエコシステム全体の普及から数ヶ月から数年の遅延が生じています。
• ドメイン: 増加の大部分は「画像・テキスト」タスク（VLM）に集中しており、音声や動画への拡散は限定的です。

(2) テキストモデルから VLM への遷移は極めて稀

• 遷移率の低さ: テキスト生成モデル（親）から VLM（子）へ微調整されるケースは、全微調整エッジの0.218%（50/22,928）に過ぎません。マージや量子化でも同様に低率（0.1% 前後）です。
• 時間的傾向: 2024 年後半に一時的な上昇が見られましたが、持続的な増加傾向ではなく、依然として「稀なイベント」です。
• 対照的な VLM 内部の維持: 親が VLM の場合、子も VLM である確率は非常に高く（65.9%）、VLM 系統内ではマルチモーダル性が強く維持・継承されます。

(3) 創始者効果（Founder Effects）と系統内増幅

• 創始者の支配: 記録された VLM 子モデルの**94.5%**は、親が VLM である場合から派生しています。テキストモデルからの派生は 4.7% に過ぎません。
• ルートの多さ: 約 60% の VLM リリースは、記録された親を持たない「新しいルート（Root）」として出現しています。
• 集中と多様化: 特定の創始モデル（例：naver-clova-ix/donut-base や llava-hf/llava-v1.6-mistral-7b-hf など）が、その後の VLM 派生の大部分を占めています。これは、少数の創始モデルが出現した後、その系統内で急速に増幅（Amplification）され、その後多様化するというパターンを示しています。

---

4. 重要な貢献と結論

主要な知見

1. 創始者駆動型の進化: オープン LLM ファミリーにおけるマルチモーダリティの拡散は、テキストモデルからの漸進的な変換ではなく、**「稀な統合イベント（創始者の出現）」 followed by「系統内での急速な増幅」**という「分断的（Punctuated）」なダイナミクスによって支配されています。
2. 転移の限界: テキストモデルの進歩が自動的にマルチモーダル機能へ転移するわけではありません。視覚エンコーダの統合には、追加のデータパイプライン、アーキテクチャインターフェース、評価プロトコルが必要であり、これが「ボトルネック」として機能しています。
3. エコシステムの非対称性: エコシステム全体でマルチモーダルモデルが利用可能であっても、それが主要な LLM ファミリー内で普及するまでには、創始モデルの出現という「橋渡し」が必要であり、時間的遅延が生じます。

技術的・社会的意義

• 進化メカニズムの解明: 生物進化における「創始者効果」の概念を AI モデルの進化に適用し、技術革新の拡散パターンを説明する新たな枠組みを提供しました。
• 将来予測:
  • もし、視覚モジュールを低コストで統合する標準化された手法（LoRA などのパラメータ効率型微調整や、量子化対応ワークフロー）が確立されれば、テキストモデルからの VLM への遷移率は上昇し、進化のダイナミクスが変化する可能性があります。
  • 現状では、新しいマルチモーダル機能は、新しい VLM 創始モデルのリリース後に「バースト（突発的）」として現れると予測されます。
• 実務への示唆: テキストモデルの改善がマルチモーダルモデルに即座に反映されるわけではないため、マルチモーダル機能の強化には、明示的な統合作業と新しい創始モデルの作成が不可欠であることを示唆しています。

---

5. 限界点

• 系譜関係は自己申告のメタデータであり、欠落している可能性がある（「ルート」モデルの過大評価や、記録されていない遷移の過小評価）。
• タスクタグやモデルカードはノイズを含み、実際の能力を完全に反映しているわけではない。
• 時系列分析は 2022 年 3 月以降に制限される。

---

総括:
本論文は、オープン LLM エコシステムにおけるマルチモーダル機能の進化が、単なる漸進的な改良ではなく、**「稀な創始イベントによるボトルネック」と「その後の系統内での爆発的増幅」**によって特徴付けられることを実証しました。これは、AI 技術の拡散を理解する上で、生態学的・進化的な視点の重要性を浮き彫りにする重要な研究です。