Tunable Tool-Call Rates in LLM Agents via Representation Steering
Diese Arbeit zeigt, dass die Tool-Call-Raten in LLM-Agenten zur Inferenzzeit präzise gesteuert werden können, ohne ein Retraining durchzuführen, indem eine einzige, trainingsfreie lineare Steuerungsrichtung angewendet wird, die aus dem Residualstrom des Modells extrahiert wurde und die Aufrufneigung monoton anpasst, um den Genauigkeits-Kosten-Trade-off über verschiedene Architekturen und Tool-Typen hinweg zu optimieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Große Sprachmodelle sind leistungsstarke Motoren für Texte, die in der Lage sind, Fragen zu beantworten, Geschichten zu schreiben und Probleme zu lösen. Dennoch operieren diese Systeme mit einer grundlegenden Einschränkung: Sie verlassen sich vollständig auf die Informationen, die in ihrem internen Speicher gespeichert sind. Wenn eine Frage Fakten erfordert, die zu obskur, zu neu oder zu komplex sind, um auswendig gelernt zu werden, rät das Modell oft mit gefährlicher Zuversicht und produziert Antworten, die plausibel klingen, aber völlig falsch sind. Um dies zu beheben, haben Entwickler diese Modelle dazu gebracht, externe Werkzeuge wie Suchmaschinen oder Taschenrechner zu nutzen, um Informationen nachzuschlagen, bevor sie antworten. Es ist jedoch überraschend schwierig, einem Modell beizubringen, wann es innehalten und nach einem Werkzeug greifen soll. Wenn das Modell zu oft ein Werkzeug aufruft, verschwendet es Zeit und Geld und riskiert, unerwünschte Aktionen auszulösen. Wenn es zu selten ein Werkzeug aufruft, verpasst es die Chance, die richtige Antwort zu finden, und bleibt selbstbewusst im Irrtum.
Forscher suchen schon lange nach Wegen, diese Entscheidungen zuverlässiger zu machen, meist indem sie das Modell mit neuen Beispielen neu trainieren oder die ihm gegebenen Anweisungen sorgfältig umschreiben. Diese Methoden sind teuer und starr; sobald ein Modell auf eine bestimmte Weise trainiert oder gepromptet wurde, erfordert die Änderung seines Verhaltens, den gesamten Prozess von vorne zu beginnen. Eine neue Studie von Forschern der UC Santa Cruz und der UC Berkeley schlägt einen anderen Ansatz vor. Sie entdeckten, dass die Entscheidung, ein Werkzeug zu benutzen, kein komplexer, verborgener Prozess ist, der ein Retraining erfordert. Stattdessen wird sie durch ein einzelnes, einfaches Signal innerhalb der internen Abläufe des Modells gesteuert, das in Echtzeit angepasst werden kann – wie das Drehen an einem Regler –, ohne das Training oder die Anweisungen des Modells zu verändern.
Die Forscher begannen mit der Beobachtung, wie sich ein Sprachmodell verhält, wenn ihm eine Liste verfügbarer Werkzeuge präsentiert wird, wie etwa eine Suchmaschine, ein Taschenrechner und ein Programmierinterpreter. Sie stellten fest, dass das Modell, bevor es tatsächlich eine Antwort spricht oder schreibt, ein spezifisches internes Signal erzeugt, das angibt, ob es die Absicht hat, überhaupt ein Werkzeug zu verwenden. Durch den Vergleich des internen Zustands des Modells, wenn es entscheidet, ein Werkzeug zu benutzen, im Vergleich zu dem Moment, in dem es entscheidet, aus dem Gedächtnis zu antworten, identifizierte das Team eine spezifische Richtung in dem mathematischen Raum des Modells, die den „Drang“ repräsentiert, ein Werkzeug aufzurufen. Diese Richtung ist nicht an ein spezifisches Werkzeug wie einen Taschenrechner oder eine Suchmaschine gebunden; vielmehr ist es ein allgemeines Signal, das schlicht bedeutet: „Benutze ein Werkzeug“.
Um diese Entdeckung zu testen, haben die Forscher das Modell nicht neu trainiert oder seine Prompts geändert. Stattdessen nahmen sie diese identifizierte Richtung und fügten sie während der Generierung einer Antwort in die interne Verarbeitung des Modells ein. Indem sie eine kleine Menge dieses Signals hinzufügten, konnten sie das Modell dazu ermutigen, häufiger Werkzeuge zu benutzen. Indem sie es subtrahierten, konnten sie den Drang, Werkzeuge zu benutzen, vollständig unterdrücken. Sie fanden heraus, dass diese Anpassung mit bemerkenswerter Präzision funktionierte. Wenn sie die Stärke des Signals erhöhten, stieg die Rate, mit der das Modell Werkzeuge aufrief, reibungslos von nahezu Null auf fast hundert Prozent. Entscheidend war, dass das Modell nicht begann, Werkzeuge wahllos aufzurufen. Wenn die Forscher das Modell dazu drängten, häufiger Werkzeuge zu benutzen, zielte es spezifisch auf die Fragen, die es nicht aus sich selbst heraus beantworten konnte, wie etwa obskure historische Fakten oder komplexe Berechnungen, während es Fragen, deren Antwort es bereits kannte, ignorierte.
Die Studie zeigte auch, dass dieser Steuerungsmechanismus hochgradig anpassungsfähig ist. Die Forscher extrahierten das „Werkzeugnutzungs“-Signal aus einem Setup mit drei spezifischen Werkzeugen und wandten es dann auf einen völlig anderen Satz von Werkzeugen an, einschließlich Wettervorhersagen, Börsenkursabfragen und dem Versenden von E-Mails. Dasselbe Signal bewirkte erfolgreich, dass das Modell diese neuen Werkzeuge mit derselben Effektivität nutzte, als wäre es speziell für sie trainiert worden. Darüber hinaus funktionierte diese Methode über eine Vielzahl unterschiedlicher Modellarchitekturen hinweg, von kleineren Standardmodellen bis hin zu massiven, komplexen Systemen, die in der Industrie eingesetzt werden. In jedem Fall ermöglichte das einzelne Signal den Forschern, das Werkzeugaufruf-Verhalten hoch- oder runterzuregeln, ohne die Fähigkeit des Modells zu brechen, korrekte Sätze zu bilden oder das angemessene Werkzeug nach einem Aufruf auszuwählen.
Als die Forscher diese Methode in einer Live-Umgebung testeten, in der das Modell tatsächlich Websuchen durchführen konnte, waren die Ergebnisse beeindruckend. Bei einer Reihe schwieriger faktischer Fragen antwortete das ungesteuerte Modell nur in etwa 29 Prozent der Fälle korrekt und rät oft, wenn es eigentlich hätte suchen sollen. Durch Anwendung des Steuerungs-Signals zur Förderung der Werkzeugnutzung sprang die Genauigkeit auf 56 Prozent, was die Leistung des Modells nahezu verdoppelte. Diese Verbesserung ging mit vertretbaren Kosten einher, da das Modell etwa einen Suchaufruf pro Frage tätigte. Die Forscher konnten einen klaren Pfad zwischen den Kosten der Werkzeugnutzung und der Genauigkeit der Antworten nachzeichnen und zeigten, dass Betreiber eine spezifische Balance wählen können, die ihren Bedürfnissen entspricht.
Diese Arbeit stellt die Annahme infrage, dass die Kontrolle des Verhaltens einer KI ein schweres Retraining oder komplexes Prompt Engineering erfordert. Sie zeigt, dass ein kritischer Entscheidungsprozess – zu wissen, wann man nach externer Hilfe greift – in einer einfachen, linearen Richtung innerhalb des internen Zustands eines Modells kodiert ist. Durch das Finden und Anpassen dieser Richtung können Forscher KI-Agenten zuverlässiger und effizienter machen, ohne ihr grundlegendes Training zu verändern. Die Methode bietet einen leichtgewichtigen Weg, um die Kosten und die Genauigkeit von KI-Systemen abzustimmen, sodass sie ihre Werkzeuge nur dann nutzen, wenn es notwendig ist, und die Fallstricke sowohl der Überreaktion als auch des gefährlichen Ratens vermeiden. Während die Technik nicht Fehler bei der Ausführung eines Werkzeugs behebt, bietet sie einen leistungsstarken neuen Hebel, um die grundlegendste und kostspieligste Entscheidung zu steuern, die ein KI-Agent trifft: ob er aus eigenem Antrieb handelt oder Hilfe sucht.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.