Skills That Don't Exist: A Large-Scale Study of Hallucinated Skill Recommendation in LLM Agents
Diese Arbeit offenbart eine kritische Schwachstelle in der Lieferkette von LLM-Agenten, bei der diese mit hoher Konsistenz nicht existierende Skill-Namen halluzinieren, was einen ausnutzbaren Angriffsvektor schafft, der nicht allein durch Modellabstimmung gelöst werden kann, sondern strukturelle Änderungen auf Ökosystemebene wie etwa Registrierungs-basierte Namensreservierungen erfordert.
Originalarbeit unter CC0 1.0 der Gemeinfreiheit gewidmet (http://creativecommons.org/publicdomain/zero/1.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie hätten einen superintelligenten Roboter-Assistenten, der neue Tricks lernen kann. Anstatt dass Sie selbst in einer riesigen Bibliothek nach dem richtigen Trick suchen müssen, fragen Sie den Roboter einfach: „Hey, was ist ein guter Trick, um meine Dateien zu organisieren?“ Der Roboter soll dann ein echtes, vorgefertigtes Handbuch (ein sogenanntes „Skill“) heraussuchen und Ihnen den Namen nennen, damit Sie es herunterladen können.
Aber hier ist der beängstigende Teil: Der Roboter ist ein selbstbewusster Lügner.
Der Zaubertrick, der keine Magie ist
In dieser Studie fragten Forscher 12 verschiedene Roboter-Gehirne (einige sind reine Gehirne, andere sind Gehirne mit Web-Suchwerkzeugen), sie sollten Skills für 15.000 verschiedene Fragen empfehlen. Sie fanden heraus, dass jeder einzelne von ihnen gefälschte Skill-Namen erfand.
Im Durchschnitt erfand ein eigenständiges Roboter-Gehirn in 36,0 % der Fälle einen Namen. Wenn der Roboter Teil eines vollständigen „Agenten“-Systems war (mit Werkzeugen und Suche), lag die Falschrate bei 36,9 %. Und wenn die Fragen von echten Entwicklern kamen, die um Hilfe baten, sprang die Lügenrate auf 43,1 %.
Die Roboter sagten nicht einfach nur „Ich weiß es nicht“. Sie sagten selbstbewusst: „Oh, Sie brauchen file-system-operations!“ oder „Versuchen Sie visual-studio-code!“ Das Problem? Diese Skills existieren nicht. Die Roboter nahmen eine Beschreibung dessen, was sie dachten, dass Sie benötigen, und wandelten sie in einen Namen um – wie ein Koch, der, wenn er nach einem Rezept für „scharfe Suppe“ gefragt wird, ein Gericht namens „scharfe-suppe-rezept“ erfindet, das noch nie jemand wirklich gekocht hat.
Die „Geister“-Falle
Warum ist das gefährlich? Stellen Sie sich einen Dieb vor, der vor einem Spielzeuggeschäft steht. Der Dieb hört dem Roboter zu, wie er einem Kind sagt: „Du brauchst das super-cool-bike!“ Das Kind sucht danach, aber es ist nicht da.
Der Dieb weiß, dass der Roboter dem nächsten Kind dasselbe sagen wird. Also geht der Dieb zum Katalog des Ladens und registriert ein echtes Fahrrad namens super-cool-bike, baut aber heimlich eine Falle in die Anleitung ein. Nun, wenn das nächste Kind den Roboter fragt, sagt der Roboter: „Hol dir das super-cool-bike!“ Das Kind lädt es herunter, und – bam – die Falle schnappt zu.
Die Forscher haben bewiesen, dass dies möglich ist. Sie fanden heraus, dass Roboter überraschend stur sind. Wenn man demselben Roboter dieselbe Frage 10 Mal stellt, wird er oft bis zu 7,8 Mal von 10 Mal exakt denselben falschen Namen nennen. Es ist kein zufälliges Rauschen; es ist ein vorhersagbares Muster.
Tatsächlich fanden die Forscher 410 gefälschte Namen, die so populär waren, dass verschiedene Roboter sie immer wieder erfanden. Wenn ein Bösewicht nur die obersten 500 dieser gefälschten Namen registrieren würde, könnte er potenziell 57 % aller Opfer täuschen, die in ihren Tests um Hilfe baten.
Warum können wir es nicht einfach beheben?
Sie denken vielleicht: „Kann der Roboter nicht einfach das Internet prüfen, um zu sehen, ob der Skill existiert?“ Die Forscher testeten dies. Sie gaben den Robotern Web-Suchwerkzeuge und sagten ihnen: „Prüfe, bevor du antwortest!“
Es funktionierte nicht. Die Roboter lügten immer noch. Warum? Weil der Roboter, wenn er nach file-system-operations suchte, im Internet voll von Artikeln über Dateisysteme war. Der Roboter sah die Wörter und dachte: „Aha! Es existiert!“ Er merkte nicht, dass er nach einem spezifischen Skill-File suchte, das gar nicht existierte. Die Suche bestätigte das Konzept, aber nicht den Skill.
Das Versagen der „Selbstprüfung“
Die Forscher fragten die Roboter auch, sie ihre eigene Arbeit überprüfen zu lassen. „Hast du das gerade erfunden?“ fragten sie.
Die Roboter versagten kläglich. Sie waren nicht besser als ein Münzwurf und kamen nur in 51 % der Fälle richtig. Es ist, als würde man einer Person, die gerade eine Lüge erzählt hat, fragen, ob sie lügt; meistens beißt sie sich durch.
Der „Sicherheits“-Kompromiss
Also, wie stoppen wir das? Die Forscher probierten ein paar Dinge aus:
- Retrieval-Augmented Generation (RAG): Dies zwingt den Roboter, eine Liste von echten Skills anzusehen, bevor er antwortet. Das funktionierte großartig, um die Lügen zu stoppen, und senkte die Falschrate von 40,8 % auf 3,2 %.
- Der Haken: Der Roboter wurde unbrauchbar. Weil er so sehr Angst hatte, einen Fehler zu machen, hörte er auf, die meisten Fragen zu beantworten. Selbst mit diesem Sicherheitsnetz fand der Roboter den korrekten Skill nur etwa einmal von sechs Mal.
- Abstimmung (Voting): Sie versuchten, mehrere Roboter eine Antwort vereinheitlichen zu lassen. Dies stoppte 92,8 % der Lügen, senkte aber wiederum die Erfolgsquote für echte Skills erheblich.
Das Fazit
Das Paper kommt zu dem Schluss, dass dies kein Bug ist, den man einfach beheben kann, indem man den Roboter „feintunt“ oder ihm sagt, er solle vorsichtiger sein. Das Problem liegt darin, wie diese Roboter denken. Sie sind zu gut darin, zu erraten, wie ein Name aussehen sollte, und zu schlecht darin, zu wissen, was tatsächlich existiert.
Um dies zu beheben, sagen die Forscher, dass wir uns nicht nur auf die Roboter verlassen können. Wir müssen das gesamte System ändern: Die „Bibliotheken“, in denen die Skills leben, müssen Namen reservieren, damit Roboter sie nicht erfinden können, und die Roboter benötigen eine Möglichkeit, eine verifizierte Liste zu prüfen, bevor sie sprechen. Bis dahin gilt: Wenn Ihr Roboter-Assistent einen neuen Skill empfiehlt, prüfen Sie zuerst, ob er tatsächlich existiert, denn es könnte einfach nur ein Geist sein.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.