Wisdom Of The (AI) Crowd: Investigating Artificial Swarm Intelligence In Large Language Models
Diese Arbeit zeigt, dass die Aggregation von Ausgaben aus mehreren großen Sprachmodellen, sowohl innerhalb als auch über verschiedene Architekturen hinweg, Schätzfehler signifikant reduziert und metakognitive Wahrnehmung von Unsicherheit offenbart, was eine skalierbare Alternative zur menschlichen Schwarmintelligenz für die Entscheidungsfindung in Organisationen bietet.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Die große Idee: Kann KI Antworten durch „Crowdsourcing“ intelligenter machen?
Stellen Sie sich vor, Sie versuchen zu erraten, wie viel ein riesiger Ochse wiegt. Wenn Sie eine Person fragen, könnte sie weit daneben liegen. Aber wenn Sie 100 Menschen fragen und den Durchschnitt ihrer Schätzungen bilden, ist das Ergebnis oft unglaublich genau. Dies ist die berühmte „Weisheit der Vielen“ (Wisdom of the Crowd).
Seit Jahrzehnten nutzen Menschen diesen Trick. Aber 100 Menschen zusammenzutrommeln, ist langsam, teuer und schwer zu organisieren.
Dieses Paper stellt eine neue Frage: Können wir eine „künstliche Menge“ (Artificial Crowd) mithilfe von Large Language Models (LLMs) wie GPT-5, Gemini und Claude erschaffen? Anstatt 100 Menschen zu fragen, können wir eine einzige KI 30 Mal fragen oder drei verschiedene KIs jeweils 10 Mal fragen und so ein besseres Ergebnis erzielen als durch die Frage an nur eine einzige?
Das Experiment: Das „Ratespiel“
Die Forscher haben ein kontrolliertes Spiel aufgebaut, um dies zu testen. Sie haben die KIs nicht nach einfachen Fragen wie „Wer ist der Präsident?“ gefragt, da KIs diese Fakten einfach auswendig wissen. Stattdessen gaben sie ihnen 8 knifflige Schätzaufgaben, die Raten und logisches Denken erfordern, wie zum Beispiel:
- „Wie viel würde es kosten, das gesamte New Yorker U-Bahn-System von Grund auf neu aufzubauen?“
- „Wie viele Gallonen Benzin verbraucht ein Auto in seinem Leben?“
- „Wie wird der Aktienkurs eines bestimmten Unternehmens im nächsten Jahr sein?“
Sie behandelten die KIs wie eine Menge von Menschen. Dabei nutzten sie drei Hauptstrategien:
- Der Solokünstler: Sie fragten eine spezifische KI (z. B. nur GPT-5) dieselbe Frage 30 Mal. Da KI leicht zufällig arbeitet (ähnlich wie ein Mensch, der einen „schlechten Tag“ oder einen „guten Tag“ hat), lieferte sie 30 leicht unterschiedliche Antworten.
- Das Expertengremium: Sie fragten drei verschiedene KIs (GPT-5, Gemini und Claude) dieselbe Frage jeweils 10 Mal.
- Der große Durchschnitt: Sie nahmen all diese Antworten und berechneten deren Durchschnitt, um zu sehen, ob die „Menge“ klüger war als jedes einzelne Individuum.
Was sie herausfanden
1. Die Menge ist klüger (meistens)
Genau wie bei Menschen war die „künstliche Menge“ meist genauer als die Schätzung einer einzelnen KI.
- Die Analogie: Stellen Sie sich drei Freunde vor, die die Anzahl der Jellybeans in einem Glas erraten. Einer schätzt 500, einer 1.000 und einer 2.000. Der Durchschnitt ist 1.166. Wenn die echte Antwort 1.100 ist, liegt der Durchschnitt viel näher am Ziel als die Schätzung eines einzelnen Freundes.
- Das Ergebnis: Durch das Mitteln der Antworten sanken die Fehler signifikant. In einigen Fällen war die „Menge“ bis zu 37 % genauer als eine einzelne KI-Schätzung.
2. Das „Echo-Kammer“-Problem
Wenn sie dieselbe KI 30 Mal fragten, half das zwar, aber nicht so sehr wie das Fragen verschiedener KIs.
- Die Analogie: Wenn man dieselbe Person 30 Mal fragt, kann es sein, dass sie denselben Fehler 30 Mal wiederholt oder dass ihre „schlechte Laune“ alle 30 Schätzungen in die gleiche falsche Richtung lenkt.
- Das Ergebnis: Das Mischen verschiedener Arten von KIs (das „Expertengremium“) funktionierte am besten, weil sie unterschiedliche Arten von Fehlern machten, die sich gegenseitig aufhoben.
3. Der „Konfidenz-Meter“ funktioniert
Die Forscher baten die KIs nicht nur um eine Zahl, sondern auch um ein „Konfidenzintervall“ (einen Bereich, in dem sie die Antwort vermuten).
- Die Analogie: Stellen Sie sich einen Wetterbericht vor, der sagt: „Es wird regnen, und ich bin mir zu 90 % sicher, dass es zwischen 13:00 und 15:00 Uhr regnen wird.“
- Das Ergebnis: Die KIs waren überraschend gut darin, zu wissen, wann sie unsicher waren. Wenn sie einen weiten Bereich angaben (z. B. „Es könnte irgendwo zwischen 10 und 100 liegen“), lagen sie meistens sehr falsch. Wenn sie einen engen Bereich angaben (z. B. „Es liegt definitiv zwischen 40 und 42“), lagen sie meistens richtig. Dies deutet darauf hin, dass die KI eine Form von „Selbstwahrnehmung“ bezüglich ihrer eigenen Unsicherheit besitzt.
4. Nicht alle Schätzungen sind gleichwertig
Die „Menge“ funktionierte am besten bei Problemen mit historischen Mustern, wie Aktienkursen oder Wirtschaftstrends.
- Die Analogie: Es ist leicht, die durchschnittliche Temperatur im Juli zu erraten, weil man Daten aus den letzten 10 Jahren hat. Es ist sehr schwer, die Kosten für ein hypothetisches neues U-Bahn-System zu erraten, das noch nie gebaut wurde.
- Das Ergebnis: Die KI-Menge war gut darin, Trends vorherzusagen, hatte aber Schwierigkeiten mit völlig neuen, kreativen „Was-wäre-wenn“-Szenarien, bei denen es keine vergangenen Daten gab, auf die man zurückgreifen konnte.
Das Fazit
Dieses Paper beweist, dass KI die „Weisheit der Vielen“ imitieren kann. Indem man mehrere KI-Modelle fragt (oder eine einzige KI sehr oft fragt) und deren Antworten mittelt, kann man deutlich genauere Ergebnisse erzielen, als wenn man sich auf eine einzige KI verlässt.
Es zeigt auch, dass diese KI-Modelle uns sagen können, wann sie blind raten (indem sie weite Konfidenzbereiche angeben), was ein nützliches Werkzeug für jeden ist, der Entscheidungen mit KI treffen möchte. Diese „Super-Menge“ funktioniert jedoch am besten, wenn es Daten oder eine Historie gibt, die die Schätzung leiten können, statt reiner Fantasie.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.