LatentSkill: From In-Context Textual Skills to In-Weight Latent Skills for LLM Agents
LatentSkill ist ein Framework, das textuelle Fähigkeiten über ein vortrainiertes Hypernetwork in Plug-and-Play-LoRA-Adapter umwandelt, wodurch es LLM-Agenten ermöglicht, wiederverwendbare Aufgabenprozeduren im Gewichtsraum anstatt im Kontextraum zu speichern, was den Token-Overhead signifikant reduziert und gleichzeitig die Leistung verbessert sowie eine modulare Skill-Komposition ermöglicht.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind mittlerweile bemerkenswert fähig darin, komplexe Probleme zu lösen, wobei sie oft als digitale Agenten fungieren, die planen, suchen und mit Software interagieren können, um Aufgaben zu bewältigen. Um spezialisierte Jobs zu erledigen, verlassen sich diese Agenten häufig auf „Skills“ (Fähigkeiten) – im Wesentlichen geschriebene Anweisungen oder Verfahren, die dem Modell sagen, wie es eine bestimmte Art von Problem löst, wie etwa das Organisieren eines virtuellen Raums oder das Beantworten einer mehrstufigen Frage. Traditionell werden diese Skills jedes Mal direkt in den Input des Modells eingespeist, wenn es sie verwenden muss, ganz so, als würde man vor jeder Handlung eine Seite aus einem Handbuch lesen. Dies funktioniert zwar, erzeugt aber einen erheblichen Engpass: Je komplexer die Aufgabe und je größer die Bibliothek der Skills ist, desto mehr Text muss das Modell verarbeiten, was es verlangsamt und enorme Mengen an Rechenleistung verbraucht. Zudem lässt das Behalten dieser Anweisungen als reinen Text im Input sie anfällig für Fehlinterpretationen oder Manipulationen durch andere Teile des Systems.
Forscher der Shanghai Jiao Tong University und des OPPO Research Institute haben einen anderen Ansatz namens LatentSkill vorgeschlagen, der diese Anweisungen aus dem Texteingang in die interne Speicherstruktur des Modells verlagert. Anstatt eine Skill-Beschreibung jedes Mal neu zu lesen, nutzt das System einen spezialisierten Generator, der den Text eines Skills in einen kompakten Satz interner Anpassungen konvertiert, die als „Adapter“ bekannt sind und dauerhaft an das „Gehirn“ des Modells angehängt werden. Dies ermöglicht es dem Agenten, den Skill zu „kennen“, ohne die Anweisungen erneut lesen zu müssen. Das Team stellte fest, dass diese Methode nicht nur den Prozess beschleunigt und die Menge der vom Modell zu verarbeitenden Daten reduziert, sondern auch einen verborgenen, organisierten Raum schafft, in dem verschiedene Skills mit mathematischer Präzision gemischt und kombiniert werden können.
Der Kern dieser Arbeit besteht darin, einen Skill nicht als ein Dokument zu betrachten, das gelesen werden muss, sondern als einen Satz von Gewichten, die geladen werden können. In ihrem Framework nimmt ein „Skill-Compiler“ eine schriftliche Beschreibung einer Aufgabe und generiert sofort eine einzigartige Menge interner Modifikationen für das Sprachmodell. Diese Modifikationen sind klein, effizient und modular, was bedeutet, dass sie an das Hauptmodell angehängt oder von ihm getrennt werden können, ohne das gesamte System neu trainieren zu müssen. Sobald ein Skill in dieses interne Format konvertiert wurde, wird der ursprüngliche Text aus dem Input-Stream entfernt. Das Modell arbeitet dann unter Verwendung dieser verborgenen Anpassungen, die sein Verhalten genauso effektiv steuern wie der Text es tun würde, jedoch ohne die hohen Kosten der Verarbeitung tausender zusätzlicher Wörter bei jedem einzelnen Schritt einer Aufgabe.
Um dies zu testen, wandten die Forscher ihr System auf zwei unterschiedliche Herausforderungen an: eine textbasierte Simulation eines Roboters, der durch ein Haus navigiert, um Hausarbeiten zu erledigen, und eine Serie komplexer Fragen-Antwort-Aufgaben, die das Durchsuchen mehrerer Informationsquellen erfordern. Bei der Hausnavigationsaufgabe musste das System lernen, wie man Objekte aufhebt, sie reinigt und an bestimmten Orten platziert. Bei der Fragen-Antwort-Aufgabe musste es Antworten finden, die die Verknüpfung mehrerer Informationsteile erforderten. Im Vergleich zur Standardmethode, bei der Skill-Anweisungen in den Prompt kopiert werden, erwies sich der neue Ansatz als signifikant effizienter. Bei den Hausnavigationsaufgaben verbesserte das System seine Erfolgsrate bei vertrauten Aufgaben um über zwanzig Prozentpunkte und bei neuen, unbekannten Aufgaben um mehr als dreizehn Punkte, während es fast zwei Drittel weniger Input-Token verwendete. Bei den Fragen-Antwort-Benchmarks erreichte es eine höhere Genauigkeitsrate bei einer Reduzierung der pro Schritt verarbeiteten Token um mehr als siebzig Prozent.
Über die bloße Zeit- und Ressourcenersparnis hinaus entdeckten die Forscher, dass diese internen Skill-Anpassungen eine überraschende Struktur besitzen. Als sie den mathematischen Raum kartierten, in dem diese Skills existieren, stellten sie fest, dass Skills derselben Kategorie, wie etwa Reinigungs- oder Suchaufgaben, sich natürlich gruppieren und distinkte Cluster bilden. Dies deutet darauf hin, dass das System nicht nur Text auswendig lernt, sondern die zugrunde liegende Logik der Abläufe begreift. Diese Struktur ermöglicht eine hohe Kontrolle; die Forscher fanden heraus, dass sie die Stärke eines Skills einfach durch das Drehen an einem Regler anpassen konnten, der durch eine Skalierungszahl repräsentiert wird. Wenn die Zahl zu niedrig war, hatte der Skill keine Auswirkung; wenn sie zu hoch war, wurde das Modell verwirrt. Bei der richtigen Einstellung arbeitete das Modell jedoch optimal, und dieser „Sweet Spot“ blieb über verschiedene Arten von Aufgaben hinweg konsistent.
Die vielleicht faszinierendste Erkenntnis war, dass diese internen Skills kombiniert werden konnten. So wie man Zutaten mischt, um ein neues Gericht zuzubereiten, zeigten die Forscher, dass sie die internen Anpassungen zweier verschiedener Skills zusammennehmen und addieren können, um einen neuen, zusammengesetzten Skill zu erschaffen. Dies funktionierte jedoch nur zuverlässig, wenn die Skills vor dem Mischen in ihre kleinsten, aufeinander abgestimmten Komponenten zerlegt wurden. Wenn sie einfach die gesamten Skill-Blöcke addierten, war das Ergebnis oft weniger effektiv. Durch die sorgfältige Abstimmung der Teile konnten sie einen Skill erschaffen, der eine komplexe Sequenz von Aktionen ausführte, ohne die Fähigkeit zu verlieren, die einzelnen Schritte zu vollziehen. Dies deutet darauf hin, dass das System komplexe Verhaltensweisen aufbauen kann, indem es modulare Wissenseinheiten auf eine Weise zusammensetzt, die sowohl flexibel als auch präzise ist.
Die Studie hob auch einen bedeutenden Sicherheitsvorteil hervor. Da die Skills als interne Anpassungen und nicht als sichtbarer Text gespeichert sind, sind sie viel schwerer zu manipulieren. Als die Forscher das System Tests unterzogen, die darauf abzielten, die Anweisungen zu kapern oder das verborgene Wissen zu extrahieren, hielt die neue Methode der Angriffen bemerkenswert gut stand. Während der traditionelle textbasierte Ansatz bei Angriffen oft zusammenbrach oder seine Geheimnisse preisgab, bewahrte die interne Skill-Version ihre Leistung und hielt ihre Anweisungen verborgen. Dies zeigt, dass die Verlagerung von Skills aus dem sichtbaren Prompt in die internen Gewichte des Modells einen robusteren und sichereren Weg darstellt, um künstliche Agenten mit spezialisiertem Wissen auszustatten.
Die Forscher kommen zu dem Schluss, dass dieser Ansatz einen praktischen Weg bietet, um leistungsfähigere und effizientere KI-Agenten zu bauen. Indem sie die Speicherung prozedalen Wissens vom Input-Stream zu den internen Parametern des Modells verlagern, haben sie demonstriert, wie Agenten schneller, sicherer und besser darin gemacht werden können, verschiedene Fähigkeiten zu kombinieren. Die Ergebnisse legen nahe, dass die Zukunft der KI-Agenten nicht darin liegen könnte, ihnen mehr Text zuzuführen, sondern sie zu lehren, ihre Skills intern zu tragen, bereit, mit einem einfachen, unsichtbaren Schalter eingesetzt zu werden.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.