Benchmarking In-context Experiential Learning Through Repeated Product Recommendations
Dieses Paper führt BELA ein, einen Benchmark für erfahrungsbasiertes Lernen in Szenarien mit wiederholter Produktempfehlung unter Verwendung von realen Produkten und synthetischen Kunden-Personas, welcher aufzeigt, dass aktuelle LLM-basierte Agenten zwar innerhalb einzelner Interaktionen adaptieren können, es ihnen jedoch schwerfällt, ihre Strategien über mehrere Episoden hinweg zu verbessern, indem sie gemeinsame latente Strukturen erschließen.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Detektiv, der versucht, ein Rätsel zu lösen, aber die Hinweise sind in einem Gespräch verborgen. In der Welt der künstlichen Intelligenz gibt es einen großen Unterschied zwischen dem Lösen eines einzelnen Puzzles und dem Lernen, wie man Puzzles im Laufe der Zeit besser löst. Die meisten KI-Tests heute sind so, als würde man einem Schüler eine einzelne Matheaufgabe geben, bei der bereits alle Zahlen aufgeschrieben sind; das Ziel ist es nur, jetzt gerade die richtige Antwort zu erhalten. Aber das echte Leben ist chaotischer. Es ist eher wie ein Detektiv, der mit einem Zeugen spricht, ein paar Fragen stellt, eine Antwort erhält und dann diese Erfahrung nutzen muss, um das nächste Interview mit dem nächsten Zeugen effektiver zu führen. Dieses Paper taucht in eine spezifische Ecke der KI-Forschung namens „erfahrungsorientiertes Lernen“ (experiential learning) ein. Es stellt eine einfache, aber knifflige Frage: Kann eine KI klüger darin werden, herauszufinden, was Menschen wollen, indem sie immer und immer wieder mit ihnen spricht? Die Forscher testen, ob diese digitalen Agenten aus ihren vergangenen Gesprächen lernen können, um in der Zukunft bessere Detektive zu werden, anstatt nur gut darin zu sein, einen einzelnen isolierten Fall zu lösen.
Die Autoren dieses Papers, ein Team der Columbia Business School und der Sun Yat-sen University, beschlossen, diese Idee anhand eines Szenarios zu testen, das wir alle kennen: den Einkauf von Produkten. Sie bauten einen riesigen, virtuellen Spielplatz namens BELA (Benchmark for Experiental Learning and Active Exploration). Betrachten Sie BELA als ein riesiges, unendliches Einkaufszentrum, in dem die KI die Rolle eines Verkäufers übernimmt. In diesem Einkumszentrum muss die KI mit tausenden verschiedenen „Kunden“ (die tatsächlich Computersimulationen von Menschen mit spezifischen Geschmäckern sind) sprechen, um herauszufinden, welches Produkt sie kaufen sollten. Der Clou ist, dass die KI nicht nur einen Versuch hat. Sie spricht mit einem Kunden, gibt eine Empfehlung ab, erhält Feedback und geht dann zum nächsten Kunden über. Der große Test ist, ob die KI sich an das erinnert, was sie vom ersten Kunden gelernt hat, und dieses Wissen nutzt, um dem zweiten, dritten und zehnten Kunden bessere Fragen zu stellen.
Um diesen Test fair und gewaltig zu gestalten, haben die Forscher nicht einfach nur ein paar Fake-Personen erfunden. Sie kreierten ein System mit 71.000 echten Produkten von Amazon und 2.000 verschiedenen Produktgruppen (wie etwa einer Gruppe von Haargelen oder einer Gruppe von Reisgerichten). Diese kombinierten sie mit 1 Million verschiedenen Kundenpersönlichkeiten (simuliert durch andere KIs), die sehr spezifische, beständige Vorlieben und Abneigungen haben. Dies ergibt eine atemberaubende Anzahl von 2 Milliarden möglichen Kombinationen aus „Kunde + Produktgruppe“. Es ist, als hätte man eine Bibliothek jedes möglichen Einkaufsbummel, den man sich jemals vorstellen könnte, was es den Forschern ermöglicht, zu sehen, ob die KI Muster innerhalb der Menge erkennen kann.
Die Forscher führten ihre Experimente mit den klügsten verfügbaren KI-Modellen durch, einschließlich Giganten wie GPT-5.4, Gemini-3.1 und Claude-Opus. Sie beobachteten, wie diese Modelle versuchten, Produkte über eine Serie von 10 Einkaufsreisen (Episoden) zu verkaufen. Sie wollten zwei Dinge sehen: Erstens, konnte die KI während eines einzelnen Gesprächs lernen (die richtigen Folgefragen stellen)? Zweitens, konnte die KI über verschiedene Gespräche hinweg lernen (mit zunehmender Erfahrung besser im Job werden)?
Hier ist das überraschende Ergebnis: Die KI-Modelle waren im ersten Teil eigentlich ziemlich gut. Wenn sie mit einem einzelnen Kunden sprachen, konnten sie aus dem Gespräch lernen und im Verlauf des Chats bessere Fragen stellen. Sie scheiterten jedoch völlig am zweiten Teil. Nachdem sie mit neun verschiedenen Kunden gesprochen hatten, war die KI nicht besser darin, zu erraten, was der zehnte Kunde wollte, als sie es beim ersten war. Es war wie ein Verkäufer, der zwar sehr gut darin ist, herauszufinden, was einer einzelnen Person gefällt, aber jedes Mal, wenn ein neuer Kunde den Laden betritt, wieder ganz von vorne anfängt und alles vergisst, was er von den neun vorherigen Personen gelernt hat.
Das Paper legt nahe, dass es diesen aktuellen „Frontier“-Modellen eine entscheidende Fähigkeit fehlt: Sie können nicht auf ihre vergangenen Erfahrungen zurückblicken und sagen: „Oh, ich sehe ein Muster; ich sollte als Nächstes diese Art von Frage stellen.“ Stattdessen scheinen sie jeden neuen Kunden als ein völlig neues Rätsel zu behandeln, selbst wenn sie erst vor fünf Minuten jemanden mit sehr ähnlichem Geschmack getroffen haben. Die Forscher fanden auch heraus, dass die KI nicht besser darin wurde, einzuschätzen, wie sicher sie sich sein sollte; sie stellte weiterhin die gleiche Anzahl an Fragen, selbst wenn sie hätte lernen müssen, weniger Fragen zu stellen.
Um zu beweisen, dass die Aufgabe nicht einfach nur zu schwer war, erstellten die Forscher einen „idealen Pfad“. Sie führten die KI manuell durch die bestmöglichen Fragen und zeigten, dass die KI ihre Empfehlungen drastisch hätte verbessern und weniger Fragen stellen können, wenn sie ihre vergangenen Erfahrungen korrekt genutzt hätte. Dies beweist, dass die Informationen vorhanden waren, um daraus zu lernen, die aktuellen Modelle sie aber einfach nicht aufgriffen.
Kurz gesagt deutet dieses Paper darauf hin, dass unsere heutige KI zwar sehr gut darin wird, ein einzelnes, intelligentes Gespräch zu führen, aber noch nicht gelernt hat, eine „lernende Maschine“ zu sein, die über ihre gesamte Karriere hinweg klüger wird. Es ist ein wenig wie ein Schüler, der eine Prüfung bestehen kann, wenn er die Nacht zuvor gelernt hat, aber in dem Moment alles vergisst, wenn die Glocke läutet – unfähig, das, was er am Montag gelernt hat, um seinem Erfolg am Dienstag zu helfen. Die Autoren kommen zu dem Schluss, dass die KI, um die chaotische, sich ständig ändernde reale Welt wirklich bewältigen zu können, die Fähigkeit entwickeln muss, aus Erfahrungen über mehrere Episoden hinweg zu lernen – eine Fähigkeit, an der selbst die fortschrittlichsten Modelle von heute noch zu scheitern scheinen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.