PersonaTrail: Benchmarking Personalized Web Agents through Browsing Trails
Dieses Paper führt PersonaTrail ein, einen Benchmark zur Evaluierung der Fähigkeit personalisierter Web-Agenten, Nutzerpräferenzen aus rohen Browserverläufen abzuleiten, zusammen mit PACMem, einem Framework, das diesen Verlauf in faktische und präferenzbasierte Gedächtnisse strukturiert, um die Navigationsleistung signifikant zu verbessern.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der für Sie im Internet surfen kann. Sie bitten ihn: „Finde einen Film“, und er tut es. Aber in der realen Welt geben Sie selten perfekte Anweisungen. Sie sagen vielleicht: „Finde mir einen Film, der so ist wie die, die ich normalerweise schaue“, oder „Zeig mir das Rezept, nach dem ich letzten Dienstag gesucht habe“. Um dies zu tun, muss der Roboter sich an Ihre vergangenen Gewohnheiten und spezifischen Momente aus Ihrem digitalen Leben erinnern können. Dies ist die Welt der Web-Agenten: Software, die wie ein Mensch auf Websites agiert, Buttons anklickt und Seiten liest, um Aufgaben zu erledigen. Eine Zeit lang testeten Wissenschaftler diese Roboter mit sehr strengen, perfekten Anweisungen, wie einer Matheaufgabe, bei der alle Zahlen bereits ausgefüllt sind. Aber das fühlt sich nicht nach dem echten Leben an. Das echte Leben ist chaotisch, voller unvollendeter Gedanken und Erinnerungen an Dinge, die wir vor Tagen getan haben. Die große Frage ist: Können diese Roboter tatsächlich Sie aus Ihrer chaotischen Geschichte lernen, oder folgen sie einfach nur blind Befehlen?
Dieses Paper stellt eine neue Methode vor, um diese Roboter zu testen, genannt PERSONATRAIL. Die Forscher bauten einen riesigen Spielplatz, in dem sie künstliche, aber realistische „Nutzer“ mit spezifischen Hobbys, Berufen und Geschmäckern erschufen. Dann beobachteten sie, wie diese Nutzer im Web surften, und erstellten so eine lange Spur aus Klicks, Suchanfragen und Seitenbesuchen. Sie gaben den Robotern zwei schwierige Herausforderungen. Erstens: Preference Inference (Präferenzableitung): Der Robot muss erraten, was Sie mögen, basررierend auf einem Muster. Wenn Sie zum Beispiel immer auf „Mystery“-Filme und „One-Pot“-Rezepte klicken, muss der Roboter herausfinden, dass Sie Krimis und einfaches Kochen lieben, selbst wenn Sie es nicht laut aussprechen. Zweitens: Episodic Grounding (Episodische Verankerung): Der Roboter muss eine spezifische Erinnerung finden. Wenn Sie sagen: „Zeig mir das Curry-Rezept, nach dem ich letzten Dienstag gesucht habe“, muss der Roboter in seinem Gedächtnisspeicher graben, um genau diesen Moment zu finden und dorthin zurückzukehren.
Die Forscher fanden heraus, dass die meisten existierenden Roboter darin schrecklich waren. Sie waren wie Schüler, die ein Lehrbuch auswendig gelernt haben, es aber nicht auf eine neue Situation anwenden können. Wenn die Roboter versuchten, sich an Ihre Vergangenheit zu erinnern, warfen sie oft die wichtigen Details weg, also das Was Sie angeklickt haben, und behielten nur die allgemeine Idee davon, Wie Sie geklickt haben. Um dies zu beheben, entwickelte das Team ein neues Gedächtnissystem namens PACMEM. Betrachten Sie PACMEM als einen superorganisierten Bibliothekar für den Roboter. Anstatt einfach nur einen Stapel Papier auf den Schreibtisch zu werfen, sortiert dieser Bibliothekar sie in zwei spezielle Behälter. Der eine Behälter, das Factual Memory (Faktenbasiertes Gedächtnis), ist ein Tagebuch darüber, was an bestimmten Tagen genau passiert ist (z. B. „Am 24. Mai hat Sarah Bird Box geschaut“). Der andere Behälter, das Preference Memory (Präferenzgedächtnis), ist eine Zusammenfassung Ihrer Gewohnheiten (z. B. „Sarah wählt immer Mystery-Filme und Bewertungen über 6.0 aus“).
Wenn der Roboter eine Frage erhält, schüttet PACMEM nicht einfach die gesamte Historie auf ihn. Es prüft schnell den Tagebuch-Behälter, wenn die Frage einen bestimmten Tag betrifft, oder den Gewohnheits-Behälter, wenn es darum geht, was Sie mögen. Die Ergebnisse zeigten, dass Roboter, die dieses Zwei-Behälter-System nutzen, viel besser darin waren, diese personalisierten Rätsel zu lösen als die alten Modelle. Sie haben nicht nur geraten; sie haben tatsächlich die richtigen Hinweise genutzt, um den richtigen Film oder das richtige Rezept zu finden. Das Paper legt nahe, dass Roboter, um uns in der realen Welt wirklich helfen zu können, aufhören müssen, unsere Browser-Historie wie einen chaotischen Müllhaufen zu behandeln, und stattdessen damit beginnen müssen, sie in klare Geschichten und Gewohnheiten zu organisieren. Obwohl dies ein großer Schritt nach vorne ist, merken die Forscher an, dass das echte Leben noch komplizierter ist als ihr Test – mit sich ändernden Gewohnheiten und Fragen, die unmöglich zu beantworten sind –, aber dieses neue System bietet uns ein solides Fundament, um intelligentere, persönlichere Helfer zu bauen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.