Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Dieses Paper führt das „Semantic Bandit“-Framework ein, um zu demonstrieren, dass die Exploration-Exploitation-Trade-offs von Large Language Models signifikant durch semantische Priors aus dem Pre-training verzerrt werden, wobei informative Labels die Performance entweder verbessern oder verschlechtern können, abhängig von der Ausrichtung auf Belohnungen, und negative Belohnungen aufgrund von Erwartungsskalen-Biases überproportional Exploration auslösen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich ein Computerprogramm vor, das fast jedes Buch, jeden Artikel und jede Website im Internet gelesen hat. Es kann Gedichte schreiben, mathematische Probleme lösen und Gespräche führen, die bemerkenswert menschlich wirken. Dies ist ein großes Sprachmodell. Stellen Sie sich nun vor, man gibt diesem Programm eine Aufgabe, bei der es eine Reihe von Entscheidungen treffen muss, um die bestmögliche Belohnung zu erhalten, wie etwa ein Bauer, der entscheidet, in welches Feld er Pflanzen setzt, oder eine Empfehlungs-Engine, die entscheidet, welches Hemd sie einem Kunden zeigen soll. Dies ist eine Entscheidungsaufgabe. In der Welt der Informatik gibt es eine klassische Methode, um zu testen, wie gut ein Agent aus Erfahrung lernt: das Multi-Armed-Bandit-Problem. Es ist nach einer Reihe von Spielautomaten in einem Casino benannt, von denen jeder eine andere, unbekannte Auszahlung hat. Um am meisten Geld zu gewinnen, muss man zwei konkurrierende Bedürfnisse ausbalancieren: sich an den Automaten zu halten, der im Moment am meisten auszuzahlen scheint, und die anderen Automaten auszuprobieren, nur für den Fall, dass einer von ihnen tatsächlich besser ist. Dieses Gleichgewicht wird als Exploration versus Exploitation bezeichnet. Jahrzehntelang haben Forscher untersucht, wie man dies mathematisch löst. Doch als sie begannen, diese leistungsstarken Sprachmodelle als Entscheidungsträger einzusetzen, bemerkten sie etwas Seltsames. Die Modelle betrachteten nicht nur die Zahlen; sie lasen die Wörter.
Ein Team von Forschern der McGill University und von Mila beschloss, dieses Phänomen zu untersuchen, indem sie eine neue Art von Test namens „semantischer Bandit“ entwickelten. In einem Standardtest sind die Entscheidungen mit neutralen Codes wie „Arm A“ oder „Arm B“ beschriftet. In diesem neuen Test gaben die Forscher den Entscheidungen Namen, die eine Bedeutung trugen, wie zum Beispiel „göttlich“, „mild“ oder „ekelhaft“. Sie wollten sehen, ob der Computer die Bedeutung dieser Wörter zulassen würde, um die tatsächlichen Daten, die er sammelte, zu überlagern. Sie legten ein Szenario fest, in dem der Computer als Bauer agierte, der zwischen drei Feldern wählt. Jedes Feld lieferte eine zufällige Menge an Ernteertrag, und das Ziel war es, die gesamte Ernte über die Zeit zu maximieren. Die Forscher gaben den Feldern Namen, die deren Qualität suggerierten. In einer Version war das beste Feld „göttlich“ genannt und das schlechteste „ekelhaft“. In einer anderen Version vertauschten sie die Namen, sodass das beste Feld „ekelhaft“ und das schlechteste „göttlich“ hieß.
Die Ergebnisse waren verblüffend. Wenn die Namen mit der Realität der Felder übereinstimmten – wenn das „göttliche“ Feld tatsächlich die meisten Ernten produzierte – lernte der Computer unglaublich schnell. Er hörte fast sofort auf, die anderen Felder auszuprobieren, und blieb bei dem „göttlichen“ Feld, wobei er mit sehr wenig Versuch und Irrtum eine perfekte Punktzahl erreichte. Wenn die Namen jedoch irreführend waren, beging der Computer einen katastrophalen Fehler. Er war davon überzeugt, dass das Feld namens „göttlich“ das beste sei, selbst nachdem die Daten gezeigt hatten, dass es die schlechteste Ernte lieferte. Er ignorierte die Beweise und wählte beharrlich das „göttliche“ Feld, während das Feld „ekelhaft“ (das eigentlich das beste war) unberührt blieb. Der Computer handelte nicht nach den Zahlen; er handelte nach den Assoziationen, die er beim Lesen von Milliarden von Wörtern während seines Trainings gelernt hatte. Er hatte gelernt, dass „göttlich“ meistens etwas Gutes bedeutet und „ekelhaft“ meistens etwas Schlechtes, und er wandte diese Regel an, selbst wenn die spezifischen Zahlen vor ihm etwas anderes sagten.
Die Forscher entdeckten auch, dass der Computer unterschiedlich auf positive und negative Zahlen reagierte. Wenn der Computer eine negative Belohnung erhielt – einen Verlust oder eine Strafe – wurde er plötzlich viel neugieriger. Er begann, alle verschiedenen Optionen wieder zu testen und erkundete die unbekannten Felder mit hoher Energie. Aber wenn er eine positive Belohnung erhielt, selbst eine kleine, neigte er dazu, das Erkunden einzustellen und bei dem zu bleiben, was er wusste. Dies deutet darauf darauf hin, dass der Computer Zahlen nicht als abstrakte Signale im Vakuum sieht. Stattdessen scheint er eine interne Erwartung darüber zu haben, wie eine „normale“ Belohnung aussieht, die wahrscheinlich durch die Art und Weise geformt wurde, wie Belohnungen in den Texten beschrieben werden, mit denen er trainiert wurde. Eine negative Zahl bricht diese Erwartung so schwerwiegend, dass sie den Computer zwingt, alles neu zu bewerten, während eine positive Zahl sich sicher anfühlt und ihn dazu ermutigt, auf dem Kurs zu bleiben.
Dieses Verhalten war nicht auf ein spezifisches Computermodell beschränkt. Die Forscher testeten drei verschiedene große Sprachmodelle, die von Open-Source-Systemen bis hin zu fortgeschrittenen kommerziellen Versionen reichten, und alle zeigten dieselbe Voreingenommenheit. Der Effekt war so stark, dass er ein einfaches Entscheidungsproblem in ein Scheitern verwandeln konnte. In einer Aufgabe, die ein klassisches Computerprogramm in wenigen Schritten lösen würde, konnte das Sprachmodell völlig versagen, wenn die Wörter leicht irreführend waren. Die Forscher fanden heraus, dass sie dies teilweise beheben konnten, indem sie dem Computer in seinen Anweisungen explizit sagten, die Namen zu ignorieren und weiter zu explorieren, aber die Voreingenommenheit war tief verwurzelt. Selbst mit Warnungen hatten die Modelle oft Schwierigkeiten, die Bedeutung der Wörter von der Realität der Zahlen zu trennen.
Die Studie kommt zu dem Schluss, dass die Verwendung von Sprache zur Beschreibung einer Entscheidungsumgebung unvermeidbare Verzerrungen einführt. Da diese Modelle auf der gemeinsamen Vorkommenshäufigkeit von Wörtern in menschlichen Texten trainiert wurden, tragen sie eine Reihe von Annahmen darüber in sich, wie die Welt funktioniert. Wenn diese Annahmen mit der Aufgabe übereinstimmen, ist das Modell ein Genie und lernt schneller als jeder traditionelle Algorithmus. Wenn sie kollidieren, wird das Modell stur und ignoriert klare Beweise, weil es zu sehr damit beschäftigt ist, der Geschichte zu folgen, die die Wörter ihm erzählen. Dies ist kein Fehler im Code, sondern ein Merkmal der Art und Weise, wie diese Systeme Sprache lernen. Wenn diese Modelle in realen Situationen eingesetzt werden, von Finanzberatung bis hin zum autonomen Fahren, ist das Verständnis darüber, wann ihre linguistische Intuition hilft und wann sie sie in die Irre führt, entscheidend. Die Forscher fanden heraus, dass ein Computer in einem einfachsten Entscheidungsszenario durch das bloße Ändern des Labels auf einem Knopf in die Lage gebracht werden kann, die schlechteste Entscheidung zu treffen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.