The Subjectivity of Monoculture

Die Arbeit argumentiert, dass die Bewertung von Monokultur in KI-Modellen keine absolute Eigenschaft darstellt, sondern ein kontextabhängiges Inferenzproblem ist, das maßgeblich von der subjektiven Wahl des Nullmodells und des betrachteten Modellspektrums abhängt.

Das Wesentliche

Stell dir vor, du hast eine Gruppe von 100 verschiedenen Künstlern. Du gibst ihnen allen das gleiche Bild zum Nachmalen. Wenn alle 100 Künstler fast identische Bilder produzieren, würdest du sagen: „Wow, die sind alle gleich!" oder „Die haben sich abgeschrieben!"

In der Welt der Künstlichen Intelligenz (KI) nennen Forscher dieses Phänomen „Monokultur". Es bedeutet, dass verschiedene KI-Modelle (wie große Sprachmodelle) oft zu genau denselben Antworten kommen. Das gilt als problematisch, weil es die Vielfalt verringert und Fehler riskanter macht (wenn alle denselben Fehler machen, ist das System anfällig).

Aber dieses Paper von Nathanael Jo und seinen Kollegen sagt etwas Überraschendes: Ob wir Monokultur sehen oder nicht, hängt nicht nur von den KI-Modellen ab, sondern davon, wie wir das Spiel betrachten.

Hier ist die einfache Erklärung, aufgeteilt in zwei Hauptpunkte, die das Paper macht:

1. Das Problem mit dem „Null-Modell" (Der Vergleichsmaßstab)

Stell dir vor, du willst messen, wie sehr sich zwei Schüler in einer Prüfung ähneln.

• Szenario A: Du vergleichst sie mit dem Zufall. Wenn beide zufällig die richtige Antwort wählen, ist das ein Zufallstreffer.
• Szenario B: Du weißt, dass die Prüfung sehr einfach ist. Fast jeder Schüler würde die Antworten kennen. Wenn beide die richtige Antwort geben, ist das kein Zeichen dafür, dass sie sich abgeschrieben haben. Sie haben es einfach gelernt.

Das Paper sagt: Um zu sagen, KI-Modelle haben eine „Monokultur" (sie sind zu ähnlich), müssen wir erst definieren, was „normaler Zufall" wäre.

• Der Fehler vieler früherer Studien: Sie haben oft nur die allgemeine Intelligenz der Modelle verglichen. Sie sagten: „Modell A hat 80 % Erfolg, Modell B hat 80 % Erfolg. Wenn beide 80 % richtig liegen, ist das zu viel Übereinstimmung!"
• Die neue Erkenntnis: Das ignoriert die Schwierigkeit der Fragen.
  • Die Analogie: Stell dir vor, du hast eine Frage: „Was ist 1+1?" (Sehr leicht) und eine Frage: „Wie löst man die Quantenphysik?" (Sehr schwer).
  • Wenn zwei KI-Modelle beide „1+1" richtig beantworten, ist das keine Monokultur. Das ist einfach, weil die Frage leicht ist.
  • Wenn sie beide die Quantenphysik falsch beantworten, ist das auch keine Monokultur. Das ist einfach, weil die Frage schwer ist.
  • Erst wenn sie bei schwierigen Fragen übereinstimmen, die eigentlich schwer zu lösen sind, oder bei leichten Fragen, die sie beide falsch machen, ist es ein echtes Problem.

Das Paper zeigt: Wenn man die Schwierigkeit der Fragen in die Rechnung einbaut (wie ein Maß für die „Leichtigkeit" oder „Schwere" jeder Aufgabe), verschwindet der Großteil der vermeintlichen Monokultur. Die Modelle sehen nicht mehr so ähnlich aus, weil ihre Ähnlichkeit oft nur durch die gleichen leichten oder schweren Fragen erklärt wird.

2. Das Problem mit der „Bevölkerung" (Wer ist im Raum?)

Stell dir vor, du untersuchst, wie ähnlich sich Menschen in einem Raum verhalten.

• Szenario A: Du nimmst nur 10 Zwillinge. Natürlich sehen sie sich sehr ähnlich! Würdest du daraus schließen, dass alle Menschen auf der Welt sich so ähnlich sind? Nein, das wäre falsch.
• Szenario B: Du nimmst 100 zufällige Menschen aus verschiedenen Kulturen. Jetzt siehst du echte Unterschiede.

Das Paper sagt: Das Ergebnis hängt davon ab, welche Modelle und welche Fragen du in deine Analyse einbeziehst.

• Wenn du nur Modelle vergleichst, die vom selben Hersteller stammen (z. B. nur Modelle von OpenAI), werden sie sich natürlich sehr ähnlich verhalten. Das ist wie der Vergleich von Zwillingen.
• Wenn du aber Modelle von ganz verschiedenen Firmen und mit ganz unterschiedlichen Trainingsmethoden vergleichst, siehst du mehr Vielfalt.
• Die Gefahr: Wenn man nur eine kleine, homogene Gruppe von Modellen testet, kann man leicht zu dem Schluss kommen, es gäbe eine riesige Monokultur. Aber sobald man eine vielfältigere Gruppe hinzunimmt, sieht man, dass die Modelle eigentlich ganz unterschiedlich denken, nur eben bei bestimmten, sehr ähnlichen Aufgaben.

Die große Zusammenfassung (Die „Leiter der Wahrheit")

Die Autoren bauen eine metaphorische Leiter:

• Unten auf der Leiter steht ein einfaches Modell: „Alle Modelle sind gleich intelligent, alle Fragen sind gleich schwer." Hier sieht es aus, als wären die KI-Modelle extrem ähnlich (Monokultur).
• Je höher du auf die Leiter kletterst, desto mehr Details berücksichtigst du: „Okay, diese Frage ist schwer, diese ist leicht. Dieses Modell ist gut in Mathe, jenes in Geschichten."
• Je höher du kletterst, desto mehr verschwindet die Monokultur. Die Übereinstimmung der Modelle wird durch die Eigenschaften der Fragen und die spezifischen Stärken der Modelle erklärt, nicht durch einen bösen „Einheitsgedanken".

Warum ist das wichtig?

Früher haben viele gesagt: „KI-Modelle sind alle gleich! Das ist gefährlich!"
Dieses Paper sagt: Halt, nicht so schnell. Es ist nicht so, dass die Modelle alle denselben Geist haben. Es ist so, dass wir oft die falsche Messlatte anlegen.

• Wenn wir die Schwierigkeit der Aufgaben und die Vielfalt der Modelle richtig berücksichtigen, sehen wir, dass die KI-Welt viel vielfältiger ist, als wir dachten.
• Das bedeutet aber auch: Wir müssen sehr vorsichtig sein, wenn wir über „Gefahren der Monokultur" sprechen. Wir müssen genau sagen: „Wir haben diese Modelle auf diesen Fragen getestet, unter diesen Annahmen."

Kurz gesagt: Monokultur ist keine absolute Tatsache, wie „dieses Auto ist rot". Sie ist eher wie eine Meinung: „Dieses Auto ist zu rot im Vergleich zu diesem anderen Auto." Wenn du das Vergleichsauto änderst, ändert sich die Meinung. Das Paper lehrt uns, die richtigen Vergleichsmodelle zu wählen, um die KI wirklich zu verstehen.

Technische Zusammenfassung

1. Problemstellung

Der Begriff der „algorithmischen Monokultur" beschreibt das Phänomen, dass verschiedene, unabhängig trainierte KI-Modelle (insbesondere Large Language Models, LLMs) übermäßig häufig übereinstimmende Ausgaben produzieren. Dies wird als Risiko für die Robustheit von Systemen, die Vielfalt von Lösungen und die Fairness in Anwendungen wie Kreditvergabe oder Einstellungen angesehen.

Das zentrale Problem, das die Autoren adressieren, ist die Subjektivität und Relativität der Messung von Monokultur. Bisherige Arbeiten behaupten oft, Modelle würden „zu viel" übereinstimmen, ohne jedoch klar zu definieren, was „Zufall" oder „Unabhängigkeit" in diesem Kontext bedeutet. Die Autoren argumentieren, dass die Feststellung von Monokultur keine absolute Eigenschaft der Modelle ist, sondern stark von zwei subjektiven Entscheidungen des Analysten abhängt:

1. Die Wahl des Nullmodells (Baseline): Was wird als erwartete Unabhängigkeit angenommen?
2. Die Wahl der Population: Auf welchem Set von Modellen und welchen Aufgaben (Items) wird die Analyse durchgeführt?

Ohne diese Kontextualisierung können Schlussfolgerungen über Monokultur irreführend sein.

2. Methodik

Die Autoren entwickeln ein formales Rahmenwerk, um Monokultur als ein vergleichendes Inferenzproblem zu betrachten.

A. Das Nullmodell der Unabhängigkeit

Statt Monokultur als absolute Korrelation zu definieren, wird sie als die Diskrepanz zwischen den beobachteten Daten und einem gewählten Nullmodell definiert.

• Formalisierung: Für $n$ Items und $m$ Modelle werden die Ausgaben $Y_{ij}$ betrachtet. Ein Nullmodell ist eine Familie von Verteilungen, bei denen alle Abhängigkeiten zwischen Modellen durch latente Parameter (z. B. Schwierigkeit der Items, Fähigkeiten der Modelle) erklärt werden können.
• Der „Null-Leiter" (Null Ladder): Die Autoren führen das Konzept einer hierarchischen Folge von Nullmodellen ein ($N_1 \subseteq N_2 \subseteq \dots$). Je komplexer das Nullmodell (z. B. durch Hinzufügen von Item-Schwierigkeitsparametern), desto mehr der beobachteten Korrelation kann durch latente Struktur erklärt werden, und desto weniger „überschüssige" Korrelation (Monokultur) bleibt übrig.
• Theorem 1 & 3: Es wird mathematisch bewiesen, dass für jede beliebige Verteilung ein hinreichend ausdrucksstarkes Nullmodell existiert, das die Daten als bedingt unabhängig erscheinen lässt. Folglich kann eine zu reiche Modellierung die Monokultur „wegerklären", während ein zu einfaches Modell sie künstlich erzeugt.

B. Experimenteller Aufbau

Die Autoren nutzen Item Response Theory (IRT) als konkretes Nullmodell, da es eine intuitive Möglichkeit bietet, Item-Schwierigkeit und Modellfähigkeiten zu modellieren.

• Datensätze: Zwei große Benchmarks wurden verwendet:
  1. HELM: 14.042 Fragen, 72 Modelle.
  2. Open LLM Leaderboard (HF): 11.994 Fragen, 451 Modelle.
• Experiment 1 (Dimensionalität): Es wurde untersucht, wie sich die überschüssige Korrelation ändert, wenn die Dimensionalität des IRT-Modells ($K$) erhöht wird (von 1D bis 64D).
• Experiment 2 (Item-Heterogenität): Ein Vergleich zwischen Nullmodellen, die Item-Schwierigkeit ignorieren (ähnlich früheren Arbeiten wie Kim et al., 2025; Goel et al., 2025), und solchen, die Item-Schwierigkeit explizit modellieren.
• Experiment 3 (Populationsabhängigkeit): Analyse, wie sich die Inferenz ändert, wenn die Population der Modelle variiert wird (z. B. nur OpenAI-Modelle vs. gemischte Open-Source-Modelle).

3. Wichtige Beiträge

1. Relativierung der Monokultur: Die Autoren zeigen, dass Monokultur keine absolute Metrik ist, sondern eine relative Diskrepanz zwischen Beobachtung und einem gewählten Nullmodell.
2. Einfluss des Nullmodells: Sie demonstrieren, dass die Wahl des Nullmodells (insbesondere die Berücksichtigung von Item-Schwierigkeit) die Ergebnisse dramatisch verändert. Modelle, die in einem einfachen Modell stark korreliert erscheinen, können in einem Modell mit Item-Heterogenität als unabhängig erscheinen.
3. Populationsabhängigkeit: Die Inferenz von Monokultur hängt kritisch von der Vielfalt der getesteten Modelle und Items ab. In homogenen Populationen (z. B. nur Modelle desselben Anbieters) ist es schwierig, echte Korrelation von gemeinsamen Schwierigkeitsprofilen zu unterscheiden.
4. Diagnostisches Werkzeug: Das vorgeschlagene Framework dient nicht nur zur Messung, sondern als Diagnosewerkzeug, um zu verstehen, welche latenten Strukturen (z. B. gemeinsame Trainingspipelines vs. echte inhaltliche Ähnlichkeit) für Übereinstimmungen verantwortlich sind.

4. Ergebnisse

• Abnahme der Korrelation mit komplexeren Modellen: In Experiment 1 zeigte sich, dass die überschüssige Korrelation (gemessen als mittlere absolute Korrelation der Residuen) monoton mit steigender Dimensionalität $K$ des IRT-Modells abnimmt. Bei hinreichend komplexen Modellen verschwindet die unerklärte Korrelation fast vollständig.
• Item-Schwierigkeit als Schlüsselfaktor: In Experiment 2 wurde gezeigt, dass Nullmodelle, die Item-Schwierigkeit ignorieren (wie in früheren Studien), signifikant höhere Korrelationen messen. Sobald Item-Schwierigkeit modelliert wird (IRT-1), sinkt die geschätzte Monokultur drastisch. Dies liegt daran, dass Modelle oft auf den gleichen „leichten" oder „schweren" Fragen übereinstimmen, was durch das Nullmodell erklärt wird und nicht auf eine echte algorithmische Abhängigkeit hindeutet.
• Instabilität bei homogener Population: In Experiment 3 wurde festgestellt, dass bei einer homogenen Modellpopulation (z. B. nur Random Forests oder nur OpenAI-Modelle) die Inferenz über Schwierigkeitsparameter instabil ist. Das Nullmodell kann Übereinstimmungen willkürlich entweder auf Item-Schwierigkeit oder auf Modellkorrelation zurückführen. Erst durch die Einführung diverser Modelle werden die Parameter identifizierbar und die Schätzung der Monokultur stabil.
• Unterschiede zwischen HELM und HF: Die Struktur der latenten Räume unterschied sich stark. Bei HELM (hauptsächlich geschlossene Modelle) kollabierten die Fähigkeiten auf eine Dimension (Gesamtgenauigkeit). Bei HF (offene Modelle) bildeten sich Cluster, die eher auf gemeinsame Herkunft (Contributor) als auf fachliche Spezialisierung hindeuteten.

5. Bedeutung und Implikationen

• Kritik an bisherigen Studien: Viele aktuelle Arbeiten, die Monokultur behaupten, nutzen zu einfache Nullmodelle (z. B. ohne Item-Schwierigkeit), was zu einer Überschätzung des Problems führt.
• Richtlinien für die Bewertung: Die Autoren fordern, dass zukünftige Evaluierungen von KI-Systemen ihre Wahl des Nullmodells und der Testpopulation explizit begründen müssen. Es gibt keinen „einen wahren" Wert für Monokultur.
• Governance und Regulierung: Für die KI-Governance bedeutet dies, dass pauschale Warnungen vor Monokultur ohne Kontext irreführend sein können. Stattdessen sollten Evaluationen transparent machen, welche Annahmen über „erwartete" Unabhängigkeit getroffen wurden.
• Zukunftsausblick: Das Framework bietet einen Weg, zwischen „produktivem Konsens" (korrekte Antworten aufgrund hoher Fähigkeiten) und „brüchiger Redundanz" (fehlerhafte Übereinstimmung aufgrund fehlender Diversität) zu unterscheiden.

Zusammenfassend verschiebt das Paper den Fokus von der Frage „Gibt es Monokultur?" hin zu „Unter welchen spezifischen Modellannahmen und in welchem Evaluationskontext erscheint Monokultur?". Es etabliert, dass die Messung von Modellkorrelationen inhärent kontextabhängig ist.