Wisdom of LLM Crowds: Aggregation and Contamination in Language Model Ensembles
Diese Arbeit zeigt auf, dass das Aggregieren von Vorhersagen aus diversen großen Sprachmodellen mittels gelernter Methoden die Einzelleistung einzelner Modelle übertreffen kann, während sie gleichzeitig hervorhebt, dass Kontaminationen durch Trainings-Cutoffs die Leistungsbewertungen signifikant verzerren und der primäre Vorteil solcher Ensembles aus der linearen Kombination diverser Modellausgaben resultiert, statt aus komplexen nichtlinearen Interaktionen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich eine Welt vor, in der die klügste Person im Raum gar nicht wirklich die Klügste ist. Stattdessen ist das wahre Genie die gesamte Gruppe, die um den Tisch sitzt. Diese Idee, bekannt als die „Weisheit der Massen“, legt nahe, dass man, wenn man die Schätzungen vieler verschiedener Menschen nimmt und diese mittelt, das Ergebnis oft genauer ist als die Schätzung des einzelnen besten Experten. Denken Sie an einen Vogelschwarm: Kein einzelner Vogel sieht das gesamte Bild, aber zusammen navigieren sie perfekt. Wissenschaftler wissen schon lange, dass dies bei Menschen funktioniert. Aber jetzt, da Künstliche Intelligenz (KI) überall präsent ist, ist eine große Frage aufgetaucht: Funktioniert dieser Zaubertrick auch für Roboter? Wenn man einer Gruppe von verschiedenen KI-Modellen die Aufgabe stellt, den Ausgang eines zukünftigen Ereignisses zu erraten, wird ihre kombinierte Antwort dann klüger sein als eine einzelne KI? Dies ist nicht nur ein lustiges Spiel; es ist wichtig, weil wir, falls KI-Crowds funktionieren, sie nutzen könnten, um alles von Wetter bis hin zu Aktienmärkten vorherzusagen, ohne ein Team von menschlichen Experten zu benötigen. Aber es gibt einen Haken: KI-Modelle werden mit Daten aus der Vergangenheit trainiert, und wenn sie die Antwort bereits in ihren Trainingsdaten „gesehen“ haben, raten sie nicht wirklich – sie schummeln nur durch Erinnern.
Diese Arbeit befasst sich genau mit dieser Frage und behandelt 1-5 verschiedene Large Language Models (LLMs) wie ein Team von Teilnehmern in einem Vorhersagespiel. Die Forscher baten diese KIs, die Ergebnisse von 254 realen Fragen zu erraten, ähnlich wie eine Wette darauf, ob ein Sportteam gewinnt oder ein Politiker gewählt wird. Sie versuchten dann, die Antworten der KIs auf verschiedene Arten zu kombinieren, um zu sehen, ob die Gruppe die Individuen schlagen kann. Die Ergebnisse waren eine Mischung aus aufregenden Neuigkeiten und einem großen Warnhinweis.
Zuerst die guten Nachrichten: Die „Weisheit der Massen“ scheint auch für KI zu funktionieren, aber nur, wenn man sie richtig kombiniert. Die Forscher fanden heraus, dass es nicht die beste Strategie war, einfach den Durchschnitt aller KI-Schätzungen zu nehmen. Stattdessen verwendeten sie ein cleveres Computerprogramm (einen „gelernten Aggregator“), um herauszufinden, wie man die Antworten mischt. Dieser kluge Mixer war besser als jedes einzelne KI-Modell und sogar besser als der einfache Durchschnitt. Interessanterweise deutet die Studie darauf an, dass diese Verbesserung nicht dadurch zustande kam, dass der KI-Mixer eine komplexe, magische Mathematik anwandte. Stattdessen funktionierte es, weil er lernte, den Modellen mehr Gewicht zu geben, die unterschiedliche Arten von Fehlern machten. Es ist wie ein Sporttrainer, der erkennt, dass wenn ein Spieler großartig in der Verteidigung, aber schlecht in der Offensive ist, und ein anderer das Gegenteil, das Zusammenstellen beider die Lücken schließt. Die Studie fand heraus, dass eine einfache lineare Kombination – im Grunde ein gewichteter Durchschnitt – ausreichte, um die besten Ergebnisse zu erzielen, was darauf hindeutet, dass der Schlüssel zur KI-Crowd-Weisheit in der Diversität der Fehler liegt und nicht in komplexen Interaktionen.
Es gibt jedoch ein massives „Aber“, das alles verändert. Die Forscher entdeckten, dass viele der KI-Modelle heimlich schummelten. Da diese Modelle auf riesigen Teilen des Internets bis zu einem bestimmten Datum trainiert wurden, „erinnerten“ sie sich oft an die Antworten auf Fragen, die vor dem Ende ihres Trainings gelöst wurden. Dies wird als „Kontamination“ bezeichnet. Als die Forscher alle Fragen herausfilterten, deren Antworten die KIs bereits kennen könnten, änderten sich die Ergebnisse dramatisch. Der riesige Abstand zwischen den prächtigen, teuren „Cloud“-Modellen und den kleineren, lokalen Modellen verschwand fast vollständig. Die großen Modelle wirkten viel weniger beeindruckend, als sie nicht mehr auf ihr Gedächtnis zurückgreifen konnten. Tatsächlich war selbst die beste KI-Crowd immer noch deutlich schlechter als ein echter menschlicher Vorhersagemarkt, in dem Menschen Echtzeit-Wetten auf Ausgänge platzieren. Der menschliche Markt war etwa doppelt so genau wie die KI-Crowd, selbst wenn die Menschen dieselben Informationen betrachteten wie die KIs.
Was ist also die Lehre daraus? KI-Crowds können klug sein, aber sie lassen sich leicht von ihren eigenen Erinnerungen täuschen. Wenn Sie wissen wollen, ob eine KI tatsächlich gut darin ist, die Zukunft vorherzusagen, müssen Sie sie an Dingen testen, die erst nach Abschluss ihres Lernprozesses passiert sind. Bis dahin könnte die „Weisheit“ einer KI-Crowd lediglich ein Spiegelbild dessen sein, was sie bereits weiß, anstatt dessen, was sie herausfinden kann. Die Studie legt nahe, dass wir zwar bessere KI-Teams durch das Mischen verschiedener Modelle aufbauen können, wir aber noch einen weiten Weg vor uns haben, bevor sie die dynamische, Echtzeit-Intelligenz einer menschlichen Menge erreichen können.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.