Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct

Stellen Sie sich vor, Sie versuchen, ein kniffliges Rätsel zu lösen, aber anstatt nur einen einzigen Freund zu fragen, fragen Sie einen ganzen Raum voller Freunde. Sie hoffen, dass Sie, weil dies alles unterschiedliche Menschen sind, eine große Vielfalt an kreativen Lösungen erhalten. Dies ist die grundlegende Idee hinter der Verwendung von „Ensembles“ von Künstlicher Intelligenz (KI)-Modellen. In der Welt der Informatik ist ein Ensemble einfach eine Gruppe verschiedener KI-Programme, die zusammenarbeiten, um ein Problem zu lösen. Die große Hoffnung ist, dass Sie durch das Sammeln vieler verschiedener „Stimmen“ eine reichere, vielfältigere Menge an Antworten erhalten als durch nur eine einzige.

Aber hier ist der Haken: Nur weil Sie einen Raum voller Menschen haben, bedeutet das nicht, dass sie alle unterschiedliche Dinge sagen. Wenn sie alle dieselbe Schule besucht, dieselben Bücher gelesen und dieselben Regeln gelernt haben, könnten sie am Ende alle exakt dieselbe Antwort geben, nur mit leicht unterschiedlichen Worten. Diese Arbeit taucht in eine spezifische Nische der KI-Forschung ein, die „Diversitätsmessung“ genannt wird. Sie stellt eine einfache, aber tiefgründige Frage: Wenn wir eine Gruppe von KIs bitten, ein Problem zu lösen, das keine einzige richtige Antwort hat (wie etwa die Interpretation einer komplexen menschlichen Emotion), denken sie dann tatsächlich unterschiedlich? Oder sind sie alle nur ihr eigenes Echo? Die Forscher interessieren sich dafür, weil wir, wenn wir glauben, eine breite Palette von Perspektiven zu erhalten, in Wirklichkeit aber nur eine Menge von Klonen vor uns haben, wir falsche Entscheidungen aufgrund eines trügerischen Sicherheitsgefühls treffen könnten.

Das große KI-Echozimmer

In dieser Studie führten die Forscher ein massives Experiment durch, um zu sehen, wie viel „Rauschen“ eine Gruppe von KI-Modellen tatsächlich erzeugt. Sie stellten ein Panel von 16 verschiedenen KI-Modellen aus 10 verschiedenen Familien zusammen (denken Sie an diese als verschiedene Marken oder Abstammungslinien von KI). Sie baten diese Modelle, wie erfahrene Therapeuten zu agieren und eine Fallstudie für einen fiktiven Patienten zu schreiben. Die Geschichte des Patienten war vage genug, dass es nicht nur eine „korrekte“ Art gab, sie zu interpretieren; ein guter Therapeut könnte dieselbe Geschichte betrachten und viele verschiedene Blickwinkel darin sehen.

Das Team wollte den „Dissens“ oder die Uneinigkeit unter den Modellen messen. Sie verwendeten ein spezielles mathematisches Werkzeug namens Vendi-Score. Stellen Sie sich vor, Sie haben eine Gruppe von Menschen, die Antworten rufen. Wenn jeder exakt das gleiche Wort ruft, ist der Vendi-Score niedrig (wie 1). Wenn jeder ein völlig anderes Wort ruft, ist der Score hoch (wie 16). Die Forscher wollten sehen, ob ihre 16 Modelle wie 16 einzigartige Individuen agieren würden oder ob sie zu einer einzigen, langweiligen Stimme kollabieren würden.

Die große Überraschung: Weniger als zwei Stimmen

Die Ergebnisse waren ein kleiner Schock. Obwohl sie 16 verschiedene Modelle aus 10 verschiedenen Familien hatten, verhielt sich die Gruppe im Durchschnitt so, als bestünde sie aus nur 1,69 distinkten Stimmen.

Um dies in Perspektive zu setzen: Die Forscher testeten auch ein einzelnes KI-Modell, indem sie ihm dieselbe Frage 16 Mal für sich selbst stellten. Selbst ein einziges Modell schaffte es, allein durch eine leichte Änderung seiner Stimmung (was Wissenschaftler als „stochastische Variation“ bezeichnen), 1,43 verschiedene Versionen der Antwort zu produzieren. Die gesamte Gruppe von 16 Modellen fügte also nur etwa ein Viertel einer „Stimme“ mehr Diversität hinzu, als ein einzelnes Modell durch sich selbst generieren konnte.

Es ist, als würde man einen Chor aus 16 Sängern aus 10 verschiedenen Musikschulen engagieren, in der Erwartung, eine Symphonie einzigartiger Stile zu hören, nur um festzustellen, dass sie alle wie eine einzige Person klingen, die dieselbe Melodie leicht verstimmt summt. Die Arbeit schließt explizit die Idee aus, dass das bloße Hinzufügen von mehr Modellen zur Gruppe automatisch mehr Diversität schafft. Tatsächlich zeigt die Studie, dass das Hinzufügen von mehr Modellen zu einem Panel ein schlechter Weg ist, um mehr Perspektiven zu gewinnen.

Wer ist der Rebell? (Und es kommt auf die Menge an)

Die Forscher wollten auch wissen: „Gibt es ein spezifisches Modell, das immer der Rebell ist, derjenige, der mit allen anderen uneinig ist?“ Sie verfolgten, welches Modell in jeder einzelnen Runde des Experiments das „divergenteste“ war.

Hier liegt die Wendung: Die Identität des Rebellen änderte sich, je nachdem, wer sonst noch im Raum war.

In einem kleineren Experiment mit nur drei Modellen war ein spezifisches Modell (GPT-4o) die meiste Zeit der Rebell. Aber als das Team die Gruppe auf 16 Modelle erweiterte, fiel dasselbe Modell auf den dritten Platz zurück. Neue „Rebellen“ tauchten auf, wie etwa Ministral 14B und Llama 3.3 70B, die die Führung bei der Uneinigkeit übernahmen.

Dies beweist, dass der Status als „Ausreißer“ keine permanente Persönlichkeitseigenschaft eines spezifischen KI-Modells ist. Es ist eine Beziehung. Ein Modell kann nur deshalb sehr verschieden erscheinen, weil die anderen Modelle in der Gruppe zufällig sehr ähnlich zueinander sind. Wenn man die Gruppe austauscht, kann der „Rebell“ plötzlich wie der „Konformist“ aussehen. Das bedeutet, dass eine Stimme, die Ihnen eine „divergente Sichtweise“ zeigt, um Ihnen bei einer Entscheidung zu helfen, Ihnen mehr über die spezifische Gruppe der anwesenden KIs sagt als über das spezifische KI-Modell selbst.

Spielen Größe oder Marke eine Rolle?

Das Team testete auch zwei verbreitete Annahmen, die Menschen über KI haben:

1. Bedeutet größer auch anders? Sie verglichen „kleine“ Modelle mit „großen“ Modellen innerhalb derselben Familie. Die Ergebnisse waren ungeordnet. Manchmal war das kleinere Modell der Rebell, manchmal das größere. Es gab keine konsistente Regel.
2. Spielt der Familienname eine Rolle? Sie betrachteten Modelle aus derselben „Familie“ (wie verschiedene Versionen derselben Marke). Während Modelle aus derselben Familie dazu neigten, sich untereinander etwas ähnlicher zu sein als zu Fremden, war die Evidenz schwach, da sie nur wenige Paare zum Vergleich hatten.

Die Arbeit kommt zu dem Schluss, dass man nicht vorhersagen kann, wie „divergent“ eine KI ist, indem man nur auf ihre Größe oder ihren Markennamen schaut. Man muss die Divergenz tatsächlich im spezifischen Kontext messen, in dem man sie verwendet.

Worüber streiten sich die KIs eigentlich?

Schließlich prüften die Forscher, ob die Modelle mehr über die Fälle stritten, die darauf ausgelegt waren, für viele Interpretationen offen zu sein. Sie hatten die Patientengeschichten in drei Typen sortiert: solche mit einer klaren Lesart, solche mit einer geteilten, aber ineffektiven Lesart und solche mit genuin unterschiedlichen Lesarten.

Sie erwarteten, dass die Modelle bei den „offenen“ Geschichten am meisten uneinig wären. Das taten sie nicht. Die Modelle waren bei den „offenen“ Geschichten nicht mehr uneinig (oder sogar etwas weniger uneinig) als bei den anderen. Stattdessen wurde das Ausmaß der Uneinigkeit durch den klinischen Inhalt der Geschichte bestimmt. Zum Beispiel lösten Geschichten über „Depression“ mehr Uneinigkeit aus als Geschichten über „Trauma“.

Dies deutet darauf hin, dass die KI-Modelle nicht in der Weise sensibel für die „Offenheit“ eines Problems sind, wie es Menschen vielleicht wären. Sie reagieren auf die spezifischen Details der Geschichte (wie die Art der erwähnten Krankheit) und nicht auf die philosophische Komplexität der Situation.

Das Fazit

Diese Studie sagt nicht, dass KI nutzlos ist; sie sagt nur, dass wir aufhören müssen anzunehmen, dass eine große Gruppe von KIs automatisch eine kluge, diverse Gruppe ist. Wenn Sie 16 Modelle in einen Raum stellen, erhalten Sie vielleicht nur die Weisheit von zwei. Die „Diversität“, die Sie erhalten, ist keine feste Zahl, die man durch das Hinzufügen von mehr Modellen kaufen kann; sie ist etwas Fragiles, das von der spezifischen Mischung der Modelle und dem spezifischen Problem abhängt, das sie lösen.

Die wichtigste Lektion ist: Wenn Sie eine Gruppe von KIs nutzen, um Ihnen bei einer schwierigen Entscheidung zu helfen, zählen Sie nicht einfach nur die Anzahl der Modelle, die Sie haben. Sie müssen messen, wie unterschiedlich sie tatsächlich sind, denn die „abweichende“ Stimme, die Sie hören, ist vielleicht nur ein temporärer Effekt dessen, wer gerade am Tisch sitzt, und kein tiefer Einblick aus einer einzigartigen Maschine.