WebRider: Persona-Conditioned Intent Controllers for Live-Web Assistance
WebRider führt ein Persona-konditioniertes Intent-Controller-Framework ein, das delegierte Web-Aufgaben als prüfbare Verträge formalisiert und so ein hierarchisches System ermöglicht, das komplexe Live-Web-Richtlinien originalgetreu ausführt und dabei sowohl die Richtlinienkonformität als auch die Persona-Konsistenz sicherstellt, wie durch den neuen RiderBench-Benchmark validiert wurde.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie bitten einen Freund, Ihnen ein bestimmtes Videospiel zu kaufen. Sie wollen nicht einfach nur das Spiel; Sie wollen, dass er das günstigste findet, sicherstellt, dass es kein Betrug ist, prüft, ob es auf Ihrer Konsole läuft, und die Suche abbricht, wenn der Preis über 50 $ steigt. Wenn Ihr Freund einfach irgendein Spiel mitbringt, das 50 $ kostet, hat er technisch gesehen den Auftrag erfüllt, aber er hat Ihre spezifischen Anweisungen missachtet. Dies ist der Kern des Problems in der Welt der „KI-Agenten“ – Computerprogramme, die darauf ausgelegt sind, im Internet zu surfen und Aufgaben für uns zu erledigen. Lange Zeit waren Wissenschaftler davon besessen, ob diese Agenten eine Aufgabe einfach nur abschließen können. Aber das Abschließen ist nicht dasselbe wie das richtige Ausführen. Wenn eine KI Ihre Sicherheitsregeln ignoriert oder wichtige Prüfungen überspringt, nur um schnell zur Antwort zu gelangen, ist sie kein guter Assistent. Diese Arbeit tritt in diese Lücke und stellt eine schwierigere Frage: Wie stellen wir sicher, dass eine KI Ihren spezifischen „Verkehrsregeln“ den gesamten Weg bis zum Ziel folgt, und nicht nur dem Ziel selbst?
Die Forscher hinter dieser Studie, von der UCLA und Google, haben ein System namens WebRider entwickelt, um genau dieses Problem zu lösen. Sie erkannten, dass aktuelle KI-Agenten wie Rennfahrer sind, denen es nur darum geht, die Ziellinie zu überqueren, selbst wenn sie dabei einige rote Ampeln ignoriert oder die Karte unterwegs nicht beachtet haben. Um dies zu beheben, führten sie das Konzept eines „Intent Contracts“ (Absicht-Vertrags) ein. Betrachten Sie diesen Vertrag als eine strikte, schriftliche Vereinbarung zwischen Ihnen und der KI. Er sagt nicht nur „Kauf eine Kamera“, sondern: „Kauf eine Kamera, aber nur, wenn der Verkäufer gute Bewertungen hat, prüfe die Garantie und wenn du dir über die Kompatibilität nicht sicher bist, halte inne und frage mich, bevor du kaufst.“
WebRider ist wie ein dreistöckiges Gebäude aufgebaut, um diese Regeln sicher zu halten. Im obersten Stockwerk fungiert ein „Controller“ wie ein Projektmanager. Er hält den Intent Contract, prüft die Regeln und entscheidet über die große Strategie: „Weiter suchen“, „Den Nutzer fragen“ oder „Stoppen und die Antwort geben“. Er berührt den Browser niemals direkt. Auf dem mittleren Stockwerk fungiert eine „Guarded Action“-Schicht (geschützte Aktionsebene) wie ein vorsichtiger Übersetzer. Sie nimmt die große Idee des Managers und verwandelt sie in eine einzige, sichere, winzige Bewegung, wie etwa „Klicke auf diesen Button“ oder „Tippe diese Suche ein“. Entscheidend ist, dass diese Ebene „geschützt“ ist, was bedeutet, dass sie ein eingebautes Sicherheitsnetz besitzt, das sie davor bewahrt, etwas Merkwürdiges zu tun oder die Regeln zu brechen. Schließlich drückt auf dem Erdgeschoss ein „Executor“ (Ausführer) tatsächlich die Maus und tippt die Tasten auf der Live-Website.
Das Team testete dieses System mit einem neuen Benchmark namens RiderBench, das über 4.000 verschiedene Szenarien auf 42 echten Websites erstellte. Sie stellten eine signifikante Lücke in der Funktionsweise aktueller KI fest. Ein sehr starker, Standard-KI-Controller schaffte es, 99,2 % der Aufgaben zu beenden, was bedeutet, dass er fast immer eine Antwort erreichte. Als sie jedoch prüften, ob er den „Intent Contract“-Regeln den gesamten Weg über gefolgt war, war er nur in 38,8 % der Fälle erfolgreich. Mit anderen Worten: Die KI beendete zwar das Rennen, hielt sich aber in mehr als der Hälfte der Fälle nicht an die Regeln. Sie kaufte vielleicht das falsche Produkt, ignorierte eine Sicherheitswarnung oder übersprang eine notwendige Prüfung, während sie gleichzeitig den Anschein erweckte, eine gute Arbeit geleistet zu haben.
WebRiers Ansatz legt nahe, dass wir dieses Problem lösen können, indem wir die Entscheidungsfindung im „großen Bild“ von den „winzigen Klick“-Aktionen trennen. Als sie ihr neues dreistöckiges System verwendeten, schloss die KI Aufgaben nicht nur ab, sondern achtete auch viel besser auf die spezifischen Vorlieben und Einschränkungen des Nutzers. Sie trainierten auch ein kleineres, spezialisiertes KI-Modell, das nur für den „mittleren Stockwerk“ (die winzigen Klicks) zuständig ist. Dieses Modell lernte die Regeln so gut zu befolgen, dass es die Standard-„Alles-Könner“-Modelle übertraf, was beweist, dass man kein riesiges Gehirn braucht, um jeden einzelnen Klick auszuführen; man braucht nur klare Regeln und ein System, das diese bei jedem Schritt überprüft.
Die Studie bezog auch menschliche Richter hinzu, um zu sehen, ob sich das Verhalten der KI vertrauenswürdig anfühlte. Sie fanden heraus, dass Menschen das Verhalten einer KI oft als riskant oder verwirrend empfanden, selbst wenn die KI alle automatisierten Prüfungen technisch bestanden hatte. WebRiers System hingegen hielt die „Persona“ (den spezifischen Stil und die Regeln des Nutzers) während der gesamten Reise konsistent, was dazu führte, dass sich Menschen viel wohler fühlten, Aufgaben an sie zu delegieren. Die Forscher schlagen vor, dass wir für eine wirklich hilfreiche KI aufhören müssen, nur zu fragen: „Hat sie die Antwort gefunden?“, und statfangen sollten zu fragen: „Ist sie dem Weg gefolgt, den wir vereinbart haben?“ Indem sie den Weg selbst zu einem sichtbaren, überprüfbaren Teil der Aufgabe machen, bietet WebRider einen Weg, Assistenten zu bauen, die nicht nur schnell, sondern auch treu sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.