The social psychology of AI agents
Diese Studie zeigt, dass große Sprachmodelle zwar konsistente und sozial erwünschte selbstberichtene Persönlichkeiten aufweisen, ihr tatsächliches beobachtetes Sozialverhalten jedoch signifikant zwischen den Modellen variiert und nicht durch Selbstberichte vorhergesagt werden kann, was darauf hindeutet, dass Verhaltensbewertungen für die Auswahl von KI-Agenten für soziale Interaktionen unerlässlich sind.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In den stillen Ecken der modernen Wissenschaft findet eine neue Art von Sozialexperiment statt, nicht in einem Park oder einem Klassenzimmer, sondern in den digitalen Geistern der künstlichen Intelligenz. Seit Jahren versuchen Forscher zu verstehen, wie diese Computerprogramme denken, indem sie ihnen direkte Fragen stellen, ganz so, wie ein Psychologe eine Person bitten könnte, eine Persönlichkeitsumfrage auszufüllen. Dieser Ansatz beruht auf der Vorstellung, dass eine KI, wenn sie sagt, sie sei freundlich, ehrlich oder geduldig, sich wahrscheinlich auch so verhält. Eine wachsende Zahl von Wissenschaftlern vermutet jedoch, dass diese digitalen Wesen uns das sagen könnten, von dem sie glauben, dass wir es hören wollen, anstatt zu offenbaren, wie sie sich bei echten Entscheidungen tatsächlich verhalten. Da diese Programme beginnen, komplexere Rollen zu übernehmen, wie etwa das Aushandeln von Verträgen, das Verwalten von Lieferketten oder sogar die Zusammenarbeit mit Ärzten, wird das Verständnis ihres tatsächlichen Sozialverhaltens entscheidend. Die Frage ist nicht mehr nur, was eine KI von sich behauptet, sondern was sie tatsächlich tut, wenn sie mit anderen interagiert.
Ein Team von Forschern aus Deutschland und Kanada unternahm kürzlich den Versuch, diese Idee zu testen, indem es die künstliche Intelligenz wie eine Gruppe neuer Nachbarn behandelte. Sie versammelten sechsunddreißig verschiedene Large Language Models, die hochentwickelten Software-Engines, die moderne Chatbots und Agenten antreiben, und unterzogen sie einer Reihe von Sozialtests. Anstatt die Modelle lediglich zu bitten, ihre Persönlichkeiten zu beschreiben, versetzten die Forscher sie in sieben verschiedene Szenarien, die als soziale Spiele bekannt sind. Diese Spiele sind Standardwerkzeuge, die Psychologen verwenden, um zu messen, wie Menschen in Situationen reagieren, die Vertrauen, Fairness und Kooperation betreffen. In einem Szenario wurde einem Modell eine Summe virtuellen Geldes gegeben, und es wurde gefragt, wie viel es mit einem passiven Partner teilen würde, der das Angebot nicht ablehnen konnte. In einem anderen mussten zwei Modelle entscheiden, ob sie zusammenarbeiten oder einander verraten, um eine bessere individuelle Belohnung zu erhalten – eine Situation, die über mehrere Runden wiederholt wurde, um zu sehen, ob sie lernen würden, einander zu vertrauen. Die Forscher testeten auch, wie die Modelle auf Ungerechtigkeit reagierten, ob sie eine Gruppe bevorzugten, der sie zufällig zugeteilt worden waren, und wie viel sie bereit waren, einem Fremden ihr eigenes Gut anzuvertrauen.
Die Ergebnisse zeigten eine frappierende Diskrepanz zwischen dem, was die Modelle über sich selbst sagten, und dem, wie sie sich tatsächlich verhielten. Wenn sie gebeten wurden, ihre eigenen Persönlichkeiten anhand eines Standard-Fragebogens zu bewerten, gaben die Modelle bemerkenswert ähnliche Antworten. Sie beschrieben sich konsistent als äußerst verträglich, gewissenhaft und aufgeschlossen, während sie behaupteten, über sehr geringe Anteile an negativen Emotionen wie Angst oder Wut zu verfügen. Kurz gesagt: Jedes einzelne Modell präsentierte ein nahezu identisches, perfekt höfliches Profil, das eng um die sozial erstrebenswertesten Eigenschaften gruppiert war, die man sich von einem Menschen vorstellen kann. Diese Uniformität deutet darauf hin, dass die Modelle gelernt hatten, die ideale menschliche Antwort zu imitieren, anstatt einzigartige individuelle Merkmale auszudrücken. Als die Forscher jedoch das tatsächliche Verhalten der Modelle in den sozialen Spielen untersuchten, änderte sich das Bild grundlegend. Das Verhalten variierte von einem Modell zum anderen massiv. Einige Modelle waren unglaublich großzügig und gaben fast ihr gesamtes virtuelles Geld ab, während andere fast alles behielten. Im Vertrauensspiel gab ein Modell vielleicht fast sein gesamtes Endowment an einen Fremden weiter, während ein anderes fast nichts gab. Die Unterschiede im Handeln dieser Modelle waren mehr als doppelt so groß wie die winzigen Unterschiede in ihren selbstberichteten Persönlichkeiten.
Die vielleicht überraschendste Entdeckung war, dass es keinen zuverlässigen Zusammenhang zwischen der Selbstbeschreibung eines Modells und seinen Handlungen gab. Ein Modell, das behauptete, äußerst vertrauenswürdig zu sein, handelte nicht zwangsläufig vertrauenswürdiger als ein Modell, das behauptete, weniger vertrauenswürstig zu sein. Ebenso war ein Modell, das sich als sehr fair beschrieb, nicht konsistent in der Lage, in den Spielen fairere Angebote zu machen. Die Forscher stellten fest, dass das Wissen darüber, wie ein Modell eine Persönlichkeitsumfrage beantwortete, ihnen fast nichts darüber aussagte, wie es sich in einer komplexen sozialen Situation verhalten würde. Stattdessen schienen die Modelle über distinkte, multidimensionale Sozialstile zu verfügen, die spezifisch für den jeweiligen Kontext waren. Ein Modell konnte in einem wiederholten Spiel, in dem Partner über längere Zeit interagieren, sehr kooperativ sein, sich jedoch in einer einmaligen Entscheidung recht egoistisch verhalten. Ein anderes war vielleicht bereit, unlauteres Verhalten zu bestrafen, aber nicht bereit, einem Fremden zu vertrauen. Diese Muster waren nicht zufällig; sie waren beständig genug, um ein Modell von einem anderen zu unterscheiden, folgten aber keiner einzelnen Regel von „gut“ oder „schlecht“.
Die Studie untersuchte auch, ob die Änderung der Einstellungen dieser Computerprogramme, etwa durch eine stärkere Randomisierung oder eine stärkere Fokussierung, ihre soziale Natur verändern würde. Die Forscher fanden heraus, dass diese technischen Anpassungen kaum Einfluss auf das Verhalten der Modelle hatten. Die beobachteten Unterschiede waren in die Modelle selbst eingebaut, was darauf hindeutet, dass jede KI-Engine einen inhärenten Sozialstil besitzt, der unabhängig von geringfügigen Anpassungen bestehen bleibt. Dieser Befund ist entscheidend, da er impliziert, dass wir uns bei der Bereitstellung dieser Agenten zur Arbeit neben Menschen und anderen Maschinen nicht auf deren selbstberichtete Eigenschaften verlassen können. Wenn ein Unternehmen einen KI-Agenten einsetzen möchte, um einen fairen Deal auszuhandeln, reicht es nicht aus, die Software zu fragen, ob sie fair ist; der Agent muss in tatsächlichen Verhandlungsszenarien getestet werden. Die Forscher kamen zu dem Schluss, dass wir, um die Sozialpsychologie der künstlichen Intelligenz wirklich zu verstehen, über den Fragebogen hinausblicken und das Verhalten in der Praxis beobachten müssen. Genau wie wir Menschen nach ihren Taten und nicht nach ihren Worten beurteilen, müssen wir auch diese digitalen Agenten danach beurteilen, wie sie die komplexe, oft chaotische Welt der sozialen Interaktion navigieren.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.