PALMs: Using Multi Construct-Grounded Rationales for Modeling Population Preferences in LLMs
Dieses Paper führt Population Aligned Language Models (PALMs) ein, eine Suite von Modellen, die durch die Nutzung von multi-konstrukt-fundierten Rationalen für das Preference Tuning auf spezifische nationale Populationen ausgerichtet sind und bestehende Baselines bei der Simulation diverser kultureller Werte, Überzeugungen und sozialer Argumentation ohne die Notwendigkeit einer aufgabenspezifischen Aufsicht signifikant übertreffen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie versuchen, einem Roboter beizubringen, Menschen zu verstehen. Im Moment sind die meisten Roboter wie Generalisten-Köche, die zwar von ein bisschen von allem probiert haben, aber nicht wirklich wissen, wie man das Lieblingsgericht einer bestimmten Familie kocht. Sie wissen vielleicht, was „Essen“ ist, aber sie verstehen nicht ganz, warum eine Großmutter in Italien ein langsam geschmortes Ragù bevorzugt, während ein Teenager in Brasilien nach einer scharfen Feijoada lechzt. Dies ist die Welt der Large Language Models (LLMs) – superintelligente Computerprogramme, die schreiben, chatten und Probleme lösen können. Aber hier liegt der Haken: Diese Roboter agieren oft so, als wären sie eine einzige, durchschnittliche Person. Sie übersehen die tiefen, unsichtbaren Regeln, die dazu führen, dass verschiedene Gruppen von Menschen anders denken und fühlen.
Um dies zu beheben, schauen Wissenschaftler auf „Präferenzen“ – darauf, was Menschen mögen, glauben und schätzen. Sie wissen, dass unsere Entscheidungen nicht einfach zufällig sind; sie werden durch unsere Persönlichkeit (sind wir abenteuerlustig oder vorsichtig?), unsere Kultur (schätzen wir die Gruppe oder das Individuum?) und unseren moralischen Kompass (was fühlt sich gerecht oder richtig an?) geformt. Die große Frage, die Forscher stellen, lautet: Wie bringen wir einem Roboter bei, aufzuhören, wie ein generischer „durchschnittlicher Mensch“ zu agieren, und stattd�lich wie eine spezifische Person aus einem spezifischen Ort zu handeln, mit all ihren einzigartigen Eigenheiten und ihrem kulturellen Hintergrund? Wenn wir das schaffen, könnten diese Roboter uns viel besser helfen, uns verstehen und sogar simulieren, wie echte Menschen auf neue Ideen reagieren könnten.
Hier kommt ein neues Team von Forschern mit einer cleveren Lösung namens PALMs (Population Aligned Language Models) ins Spiel. Denken Sie an einen Standard-Roboter als einen Schüler, der versucht, die Antworten auf eine Prüfung auswendig zu lernen, indem er sich nur die Endnote ansieht. Er bekommt vielleicht die richtige Antwort, versteht aber nicht wirklich, warum sie richtig ist. Die Forscher hinter den PALMs erkannten, dass ein Roboter, um eine Bevölkerungsgruppe wirklich zu verstehen, das „Geheimrezept“ hinter den Antworten lernen muss. Sie haben ihm nicht nur beigebracht, Daten darüber einzufüttern, was Menschen gesagt haben; sie haben ihn gelehrt, ein „Reasoning Diary“ (ein Tagebuch des logischen Schlussfolgerns) zu schreiben, bevor er eine Antwort gibt.
So haben sie es gemacht: Sie erstellten fünf spezielle Roboterversionen, eine für jedes der fünf Länder: die USA, Indien, Brasilien, Frankreich und Italien. Aber anstatt dem Roboter nur zu sagen: „Du bist Amerikaner“, gaben sie ihm ein viel tieferes Werkzeugset. Sie lehrten den Roboter, unter fünf spezifischen Linsen zu denken, wie ein Paar spezieller Brillen, die die Sicht verändern:
- Persönlichkeit: Ist die Person offen für neue Ideen oder liebt sie Routine?
- Kultur: Schätzt sie Unabhängigkeit oder das Zusammengehören zu einer Gruppe?
- Werte: Was treibt sie an? Ist es Freiheit, Sicherheit oder das Helfen anderer?
- Weltanschauung: Sieht sie die Welt als einen sicheren, aufregenden Ort oder als einen gefährlichen, chaotischen Ort?
- Moral: Was halten sie für fair oder heilig?
Der Roboter wurde darauf trainiert, eine kurze Geschichte unter Verwendung dieser fünf Linsen zu schreiben, um zu erklären, warum eine Person aus diesem Land eine bestimmte Antwort wählen würde. Wenn zum Beispiel ein Brasilianer eine bestimmte Art von Musik bevorzugt, sagt der Roboter nicht einfach: „Er mag sie.“ Er schreibt eine kleine Notiz: „Weil diese Person Gemeinschaft und sinnliche Genuss (Kultur und Werte) schätzt und die Welt als einen Ort voller aufregender Möglichkeiten (Weltanschauung) sieht, fühlt sich diese Musik richtig an.“ Der Roboter übte dies immer und immer wieder und lernte, diese „Begründungsnotizen“ in seinem Gehirn zu verstecken, damit er sie später automatisch verwenden kann.
Die Ergebnisse waren überraschend gut. Als die Forscher diese neuen Roboter testeten, fanden sie heraus, dass PALMs Menschen viel besser verstehen als die alten, generischen Roboter. Tatsächlich verbesserten die neuen Modelle ihre Genauigkeit in allen fünf Ländern um durchschnittlich 8,59 % im Vergleich zu den besten bisherigen Methoden. Dies deutet darauf hin, dass es viel besser funktioniert, das Lernen eines Roboters in tiefen psychologischen und kulturellen Theorien zu verankern, als ihm lediglich oberflächliche Daten oder einfache demografische Merkmale wie „Alter“ oder „Geschlecht“ zu zeigen.
Das Paper prüfte auch, ob diese Roboter andere Dinge tun könnten, wie zum Beispiel als „personalisiertes Belohnungsmodell“ zu fungieren (zu entscheiden, was eine bestimmte Person mögen würde) oder zu simulieren, wie eine Gruppe auf eine neue Richtlinie reagieren würde. In diesen Tests übertrafen die PALMs auch die Konkurrenz mit Verbesserungen von 5,19 % bei personalisierten Belohnungen und 6,34 % bei Populationssimulationen. Selbst wenn sie gebeten wurden, soziale Rätsel über menschliche Emotionen und Absichten zu lösen (eine Aufgabe namens Social IQA), verbesserten sich die Roboter weiter und erreichten eine Genauigkeit von 80,23 % beim Test.
Die Forscher sind jedoch vorsichtig darauf hinzuweisen, dass dies kein magisches Allheilmittel ist. Sie fanden heraus, dass es die Sache tatsächlich verschlechterte, wenn man dem Roboter einfach mehr Umfragedaten fütterte, ohne diesen „Reasoning Diary“-Ansatz zu nutzen, da dies dazu führte, dass der Roboter seine Fähigkeit verlor, verschiedene Perspektiven zu sehen. Sie geben auch zu, dass die Behandlung eines ganzen Landes als eine einzige Gruppe eine Vereinfachung ist; innerhalb jedes Landes gibt es viele verschiedene Regionen und Kulturen, die ihr Modell noch nicht vollständig erfasst. Aber die wichtigste Erkenntung ist klar: Wenn Sie möchten, dass ein Roboter eine Gruppe von Menschen wirklich versteht, müssen Sie ihn lehren, wie sie zu denken, nicht nur wie sie zu sprechen. Indem wir dem Roboter einen strukturierten Weg vorgeben, über Persönlichkeit und Kultur nachzudenken, erhalten wir ein viel klareres Bild der vielfältigen menschlichen Welt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.