Collective Intelligence with Foundation Models
Dieses Paper schlägt ein Multi-Agenten-Framework vor, das auf Foundation-Modellen basiert, wobei ein heterogenes Ensemble spezialisierter Agenten anstelle redundanter homogener Agenten die Genauigkeit des Schließens, die Fehlererkennung und die Zuverlässigkeit der Lösungen durch kollaboratives Entwerfen, Kritisieren und Konsens-Synthetisieren signifikant verbessert.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, die schwierigsten Rätsel der Welt zu lösen, von Kalkül bis Chemie. Sie könnten einen einzigen superintelligenten Roboter bitten, dies allein zu tun, oder Sie könnten ein ganzes Team von Robotern zusammenstellen, um es gemeinsam herauszufinden. In dieser Arbeit geht es darum, zu testen, welcher Ansatz tatsächlich am besten funktioniert.
Die Forscher führten ein „Roboterteam“-Experiment durch, um zu sehen, ob es die KI-Modelle intelligenter macht, wenn sie miteinander kommunizieren. Sie haben jedoch nicht einfach wahllos Bots zusammengeworfen. Sie bauten ein spezifisches Fließband mit vier unterschiedlichen Rollen auf:
- Die Löser: Drei verschiedene Roboter, die jeweils versuchen, das Problem eigenständig zu lösen und eigene Entwürfe erstellen.
- Der Kritiker: Ein vierter Roboter, dessen einzige Aufgabe es ist, diese Entwürfe zu lesen, Fehler zu finden und Korrekturen vorzuschlagen.
- Der Aggregator: Ein fünfter Roboter, der all die korrigierten Entwürfe nimmt, sie miteinander verschmilzt und die endgültige, gemeinsam vereinbarte Antwort schreibt.
- Der Punktezähler: Ein System, das nicht nur prüft, ob die endgültige Antwort richtig ist, sondern auch, ob jeder einzelne Schritt des Denkprozesses korrekt war.
Sie testeten dieses Team an einer riesigen Bibliothek von Problemen, die acht verschiedene Gebiete wie Physik, Biologie, Wirtschaft und Mathematik abdeckten und von einfach bis sehr schwer reichten.
Hier ist die große Überraschung, die sie fanden: Es kommt nicht auf ein großes Team an; es kommt auf ein diverses Team an.
Als die Forscher das Team mit der gleichen Art von Roboter versuchten (indem sie exakt dasselbe Modell für den Löser, den Kritiker und den Aggregator verwendeten), waren die Ergebnisse etwas seltsam. Das Team brachte die endgültige Antwort zwar häufiger richtig als ein einzelner Roboter, der alleine arbeitet, aber der Weg dorthin war tatsächlich schlechter. Es war, als würden sich eine Gruppe identischer Zwillinge untereinander streiten; sie könnten versehentlich ihre Fehler gegenseitig aufheben und so auf die richtige Antwort kommen, aber ihre Argumentation war voller Lücken. Tatsächlich sank die Qualität der schrittweisen Argumentation, wenn sie dasselbe Modell für alle verwendeten, auf einen Wert von etwa 0,27 oder 0,28, was niedriger war als bei einem einzelnen Roboter, der solo arbeitete (der einen Wert von 0,50 erreichte).
Doch als sie verschiedene Arten von Robotern einsetzten – indem sie drei unterschiedliche Modelle für die Löser und zwei andere spezialisierte Modelle für den Kritiker und den Aggregator verwendeten – geschah das Wunder. Dieses „heterogene“ Team lieferte nicht nur die richtigen Antworten; es beherrschte auch das Denken richtig. Ihre Genauigkeit bei der schrittweisen Argumentation sprang auf 0,64. Das ist eine 2,3-fache Verbesserung gegenüber dem Team aus identischen Robotern!
Das Papier legt nahe, dass dies geschieht, weil verschiedene KI-Modelle unterschiedliche „blinde Flecken“ haben. Wenn man dasselbe Modell für alles verwendet, übersehen sie alle dieselben Fehler. Aber wenn man sie mischt, wird die Schwäche des einen Roboters zur Stärke des anderen. Der spezialisierte Kritiker kann Fehler entdecken, die die Löser niemals sehen würden, weil sie anders trainiert wurden.
Die Forscher testeten auch einige andere Ideen, um zu sehen, was wirklich wichtig war:
- Nur die Teamstruktur zu haben: Selbst wenn alle der gleiche Roboter sind, hilft allein die Existenz eines Kritikers und eines Aggregators ein wenig und hebt den Wert von 0,52 (ein Roboter allein) auf 0,60.
- Mehr von demselben Roboter zu haben: Wenn man statt eines einzelnen Roboters einfach drei Kopien desselben Roboters als Löser verwendet, hilft das kaum und hebt den Wert nur geringfügig auf 0,61.
- Der wahre Gewinner: Der enorme Sprung auf 0,63 (und der massive Anstieg der Argumentationsqualität) geschah nur, wenn sie verschiedene Modelle für verschiedene Aufgaben einsetzten.
Das Papier maß diese Ergebnisse über tausende von Problemen hinweg und fand heraus, dass dieser „gemischte Team“-Ansatz konsistent gut funktionierte, egal ob die Probleme einfach, mittel oder schwer waren. Tatsächlich schnitt das Team bei den schwierigsten Problemen überraschend gut ab, was darauf hindeutet, dass komplexe Herausforderungen dem diversen Team tatsächlich mehr Material zum Arbeiten bieten.
Die Hauptbotschaft lautet also: Damit KI wirklich zuverlässig und erklärbar sein kann, darf man nicht einfach den klügsten Roboter, den man hat, klonen und ihn in jeden Sitz setzen. Man braucht ein Komitee aus verschiedenen Arten von Experten, die das Denken des jeweils anderen infrage stellen können. Wie die Autoren anmerken, hilft dieser Ansatz dabei, eine KI zu schaffen, die nicht nur durch Glück die richtige Antwort gibt, sondern Ihnen genau zeigen kann, wie sie es Schritt für Schritt herausgefunden hat.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.