Alternative routes to universal diversity scaling in component systems: from proteomes to large language models

Technische Zusammenfassung: Alternative Wege zur universellen Diversitätsskalierung in Komponentensystemen

Problemstellung
Komplexe „Komponentensysteme“ – die von Genomen und Proteomen über Sprachen und LEGO-Konstruktionen bis hin zu großen Sprachmodellen (LLMs) reichen – weisen bemerkenswert konsistente statistische Gesetze hinsichtlich der Diversität auf. Zwei primäre Regularitäten werden beobachtet:

1. Heaps-Gesetz: Die Anzahl der distinkten Komponenten (Vokabulargröße, $h$) wächst sublinear mit der Gesamtgröße des Systems ($m$), typischerweise als $\langle h \rangle \propto m^\nu$ mit $0 < \nu < 1$.
2. Quadratische Fluktuationsskalierung: Die Varianz des Vokabulars skaliert quadratisch mit seinem Mittelwert ($\sigma_h^2 \propto \langle h \rangle^2$), was auf ein nicht-selbst-averagierendes Verhalten hindeutet. Dies steht im Gegensatz zu einfachen Stichprobenmodellen (Poisson-Skalierung, $\sigma_h^2 \propto \langle h \rangle$).

Während diese Muster oft als Signaturen eines zugrunde liegenden „Innovationsmechanismus“ interpretiert werden (bei dem neue Komponenten entdeckt werden, während das System wächst), bleibt die minimalen Voraussetzungen, die beide Gesetze gleichzeitig erzeugen, unzureichend verstanden. Darüber hinaus ist unklar, ob diese statistischen Gesetze den generativen Mechanismus eindeutig identifizieren oder ob alternative Frameworks (z. B. latente Heterogenität) identische makroskopische Signaturen erzeugen können.

Methodik
Die Autoren verwenden einen mathematischen Modellierungsansatz, um zwei breite Erklärungsframeworks zu vergleichen:

1. Sequenzielle Wachstumsmodelle (Innovations-Duplikations-Modelle): Diese Modelle nehmen an, dass ein System durch das Hinzufügen von Token wächst, die entweder durch Duplikation existierender Komponenten oder durch die Entdeckung neuer Komponenten (Innovation) entstehen. Die Autoren leiten analytische Bedingungen für eine allgemeine Klasse dieser Modelle ab, untersuchen dabei spezifisch die Innovationswahrscheinlichkeit $p_n(h, m)$. Sie analysieren das asymptotische Verhalten des Mittelwerts und der Varianz unter Verwendung von Kontinuumszeit-Approximationen und Stabilitätsanalysen der Mean-Field-Trajektorie.
2. Stichprobenmodelle mit latenter Heterogenität: Diese Modelle nehmen an, dass Realisierungen durch das Ziehen aus einer Komponenten-Häufigkeitsverteilung (oft Potenzgesetz/Zipf-Verteilung) generiert werden, die aufgrund von „latenten Variablen“ (z. B. Themen in Texten, taxonomische Gruppen in Genomen) zwischen den Realisierungen variiert. Die Autoren nutzen das Gesetz der totalen Varianz, um die Gesamtvarianz in eine Within-Topic- und eine Between-Topic-Komponente zu zerlegen.

Die Studie validiert diese theoretischen Vorhersagen anhand empirischer Daten aus vier Datensätzen:

• Project Gutenberg Bücher & Wikipedia: Textkorpora, analysiert auf Wortdiversität.
• LEGO-Konstruktionen: Sets, analysiert auf die Diversität der Steintypen, annotiert nach Themen.
• Proteome: Bakterielle Genome, analysiert auf die Diversität von Proteindomänenfamilien, annotiert nach taxonomischen Kladen.
• Große Sprachmodelle (LLMs): Generierter Text von GPT-2 und Llama-3 unter Verwendung von Random Prompts.

Wesentliche Beiträge und Ergebnisse

1. Notwendige Bedingungen für Innovationsmodelle
Die Autoren leiten her, dass für ein allgemeines Innovations-Duplikations-Modell, das sowohl das Heaps-Gesetz als auch die quadratische Fluktuationsskalierung reproduziert, die Innovationswahrscheinlichkeit eine spezifische asymptotische Abhängigkeit erfüllen muss:
$$p_n \sim \frac{h}{m}$$
Dies stellt einen „Diversität-erzeugt-Diversität“-Mechanismus dar, bei dem die Wahrscheinlichkeit, eine neue Komponente zu entdecken, linear mit der aktuellen Diversität ($h$) steigt und mit der Systemgröße ($m$) abnimmt.

• Wenn $p_n$ nur von $m$ abhängt (z. B. Standard-Yule-Simon-Modelle), kann das System zwar sublineares Wachstum reproduzieren, ist aber durch die Poisson-Skalierung begrenzt ($\sigma_h^2 \leq \langle h \rangle$) und scheitert daran, die beobachteten quadratischen Fluktuationen zu erfassen.
• Die Autoren zeigen, dass diese lineare Abhängigkeit eine notwendige Bedingung innerhalb dieser Klasse von Modellen ist; andere funktionale Formen scheitern daran, die empirischen Skalierungsexponenten gemeinsam zu reproduzieren.

2. Emergenz der Skalierung in Large Language Models
Die Studie testet die „Diversität-erzeugt-Diversität“-Hypothese in LLMs. Durch die Analyse des Output-Vokabulars von GPT-2 und Llama-3 bei Random Prompts stellen die Autoren fest, dass die effektive Innovationswahrscheinlichkeit tatsächlich linear in der aktuellen Vokabulargröße ist ($p_n \propto h/m$). Dies deutet darauf hin, dass der generative Prozess von LLMs trotz seiner Komplexität effektiv die spezifische Innovationsregel implementiert, die erforderlich ist, um die beobachteten statistischen Gesetze zu erzeugen.

3. Latente Heterogenität als alternativer Weg
Die Autoren demonstrieren, dass quadratische Fluktuationsskalierung natürlich in Stichprobenmodellen mit latenten Variablen (z. B. Themen) auftritt, ohne dass ein expliziter Innovationsmechanismus erforderlich ist.

• Unter Verwendung des Gesetzes der totalen Varianz zeigen sie, dass wenn die durchschnittliche Vokabulargröße von einer latenten Variable abhängt (z. B. $\langle h \rangle_t = k(t)m^\nu$), die Varianz über die Realisierungen einen Term enthält, der proportional zur Varianz der latenten Variable ist: $\sigma_h^2 \approx \langle h \rangle + \text{CV}^2[k(t)] \langle h \rangle^2$.
• Für ausreichend große Systemgrößen dominiert der quadratische Term, wodurch die empirische Skalierung reproduziert wird.
• Entscheidend ist, dass die in diesen Rahmen inferierte „effektive“ Innovationswahrscheinlichkeit ($p_n \approx d\langle h \rangle/dm$) ebenfalls gegen die lineare Form konvergiert ($p_n \sim h/m$), nicht aufgrund einer expliziten Regel, sondern als statistische Konsequenz der latenten Heterogenität.

4. Empirische Validierung und Ununterscheidbarkeit
Die Analyse von Genomen (taxonomische Gruppen) und LEGO-Sets (Themen) zeigt, dass die Konditionierung auf bekannte Annotationen die Realisierungen in Gruppen mit unterschiedlichen Diversitätsniveaus (unterschiedliche Präfaktoren $k(t)$) unterteilt, während das Potenzgesetz-Wachstum innerhalb der Gruppen erhalten bleibt. Jedoch bleiben residuelle quadratische Fluktuationen auch nach der Konditionierung bestehen, was darauf hindeutet, dass bekannte Annotationen nur einen Teil der latenten Struktur erfassen.

• Schlussfolgerung zum Mechanismus: Das Paper kommt zu dem Schluss, dass die beiden Frameworks – innovationsgesteuertes Wachstum und Latent-Variable-Sampling – basierend auf Heaps-Gesetz, Fluktuationsskalierung und inferierten Innovationswahrscheinlichkeiten phänomenologisch ununterscheidbar sind. Beide Wege führen zu denselben makroskopischen statistischen Gesetzen.

Bedeutung und Behauptungen
Das Paper beansprucht, eine klarere Interpretation der Diversitätsskalierung in Komponentensystemen zu liefern, indem es eine konzeptionelle Dualität aufzeigt:

• Keine eindeutige Identifizierung: Die beobachteten statistischen Gesetze (Heaps-Gesetz und quadratische Fluktuationen) identifizieren den zugrunde liegenden generativen Mechanismus nicht eindeutig. Sie können entweder aus einem expliziten „Rich-get-richer“-Innovationsprozess oder aus der statistischen Aggregation heterogener latenter Zustände entstehen.
• Vereinheitlichtes statistisches Bild: Die Autoren schlagen ein vereintes Bild vor, in dem die latente Struktur die Komponentenhäufigkeiten, die durchschnittliche Diversität und die Diversitätsfluktuationen erklärt. Der „Diversität-erzeugt-Diversität“-Mechanismus, der in Wachstumsmodellen beobachtet wird, könnte eine emergente effektive Beschreibung der zugrunde liegenden latenten Heterogenität sein.
• Warnhinweis: Die Ergebnisse dienen als Warnung davor, die Diversitätsskalierung als definitiven Beweis für einen spezifischen Innovationsprozess zu interpretieren. In Systemen wie LEGO-Konstruktionen oder Genexpressionsprofilen, in denen sequenzielles Wachstum keine natürliche Beschreibung darstellt, bietet die latente Variable eine sparsamere Erklärung.
• Zukünftige Richtungen: Das Paper identifiziert die Notwendigkeit von Observablen jensehr der Sekundärstatistik (z. B. höherwertige Korrelationen) oder Systemen mit vollständig charakterisierten latenten Variablen, um zwischen diesen Mechanismen zu diskriminieren.

Die Arbeit schlägt eine Brücke zwischen der Theorie komplexer Systeme, statistischer Physik und Biologie und legt nahe, dass die Universalität der Diversitätsskalierung eher aus allgemeinen statistischen Prinzipien (wie dem Gesetz der totalen Varianz) als aus spezifischen dynamischen Regeln resultieren kann.