Small Reasoning Models are Instruction Followers in Function Calling
Dieses Paper stellt Instruction-Followed Function Calling (IFFC) vor, ein Framework, das die Logik des Funktionsaufrufs an ein kleineres, instruktionsfolgendes Modell delegiert, um im Vergleich zu nativen oder promptbasierten Ansätzen eine überlegene Genauigkeit und Robustheit unter Quantisierung zu erreichen, insbesondere für reasoning-orientierte LLMs.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
In der sich schnell entwickelnden Welt der künstlichen Intelligenz vollzieht sich ein Wandel von Computern, die lediglich Text generieren, hin zu Systemen, die in der Lage sind, Handlungen vorzunehmen. Diese neuen Systeme, die oft als „agentische“ Modelle bezeichnet werden, sind darauf ausgelegt, Probleme zu lösen, indem sie sich mit der Außenwelt vernetzen. Dies geschieht, indem sie Werkzeuge auswählen, wie etwa Wetter-Apps oder Taschenrechner, und diese nutzen, um Informationen zu sammeln, bevor sie eine Frage beantworten. Lange Zeit waren nur die leistungsstärksten und teuersten Computermodelle darauf vertraut, diese Aufgaben auszuführen. Sie wurden mit einer spezifischen, starren internen Sprache gebaut, um mit diesen Werkzeugen zu kommunizieren, eine Methode, die als natives Funktionsaufrufen (native function calling) bekannt ist. Doch da die Technologie gereift ist, haben Forscher begonnen, viel kleinere, effizientere Computermodelle in Betracht zu ziehen. Diese kompakten Modelle sind einfacher auf alltäglichen Geräten wie Smartphones und Laptops auszuführen, was eine bessere Privatsphäre und geringere Kosten bietet, aber sie hatten historisch gesehen Schwierigkeiten mit den strengen, komplexen Regeln, die erforderlich sind, um externe Werkzeuge korrekt zu nutzen.
Ein Team von Forschern aus Universitäten im Iran hat die Annahme infrage gestellt, dass diese kleineren Modelle denselben starren Regeln folgen müssen wie die riesigen Modelle, um erfolgreich zu sein. In ihrer jüngsten Arbeit entdeckten sie, dass kleine Modelle tatsächlich viel besser abschneiden, wenn man sie bittet, Werkzeuge durch ein einfaches Gespräch zu nutzen, anstatt durch eine spezialisierte, technische Befehlsstruktur. Sie fanden heraus, dass ein kleines Modell weitaus weniger Fehler macht, wenn es wie ein hilfreicher Assistent behandelt wird, der einer klaren Anleitung in natürlicher Sprache folgt, als wenn es gezwungen wird, einen spezifischen Maschinencode zu sprechen. Diese Erkenntnis führte zur Entwicklung eines neuen Systems, das die Arbeit zwischen zwei verschiedenen Modellen aufteilt. Ein kleines, schnelles Modell fungiert als Entscheidungsträger, hört dem Nutzer zu und findet heraus, ob ein Werkzeug benötigt wird. Wenn ein Werkzeug erforderlich ist, bearbeitet dieses kleine Modell die Anfrage unter Verwendung von Anweisungen in natürlicher Sprache. Das eigentliche, größere Modell nimmt diese Information dann entgegen und formuliert die endgültige Antwort für den Nutzer.
Die Forscher testeten diesen Ansatz mit einer Vielzahl kleiner Modelle, einige davon mit nur einer Milliarde Parametern – ein Maß für die Größe und Komplexität des Modells. Sie verglichen ihre neue Methode mit den Standardwegen, wie diese Modelle normalerweise beigebracht werden, Werkzeuge zu nutzen. Die Ergebnisse waren bemerkenswert. Das neue System, das sie „Instruction-Followed Function Calling“ nannten, ermöglichte es größeren kompakten Modellen, wie dem 4-Milliarden-Parameter-Modell Qwen-3, die hochperformanten proprietären Baselines wie GPT-5.2 und Claude 4.5 Sonnet zu übertreffen, die normalerweise als Goldstandard gelten. Beispielsweise erreichte das Qwen-3 4B Modell unter Anwendung ihrer neuen Methode eine Genauigkeit von 94,1 % auf einem Non-Live-Evaluierungsuntersatz eines schwierigen Tests zur Werkzeugnutzung und übertraf damit signifikant die Leistung desselben Modells unter Verwendung traditioneller Methoden. Während die kleinsten getesteten Modelle (0,6B) in bestimmten Kategorien immer noch hinter den sehr großen proprietären Giganten zurückblieben, demonstrierte das Framework, dass spezialisierte, reasoning-fähige kleine Modelle massive Systeme erreichen oder sogar übertreffen können, wenn die architektonische Last starrer Werkzeugdefinitionen entfernt wird.
Ein wesentlicher Teil ihrer Entdeckung war das Verständnis darüber, wie diese Modelle denken. Die Forscher fanden heraus, dass Modelle, die darauf ausgelegt sind, ein Problem erst zu „durchdenken“, bevor sie antworten, weitaus zuverlässiger sind als solche, die lediglich eine unmittelbare Antwort generieren. Wenn diese Reasoning-Modelle die Aufgabe erhielten, zu entscheiden, welches Werkzeug zu verwenden ist, konnten sie ihre eigenen Fehler korrigieren und komplexe Anweisungen mit hoher Präzision befolgen. Dies galt insbesondere, wenn die Modelle komprimiert wurden, um auf kleineren Geräten zu laufen. Normalerweise führt das Verkleinern eines Modells oder das Ausführen auf weniger leistungsstarker Hardware dazu, dass die Leistung drastisch abfällt. Die Forscher stellten jedoch fest, dass ihre neue Methode unglaublich robust war. Selbst wenn die Modelle verkleinert wurden, um sehr wenig Speicher zu verbrauchen, behielten diejenigen, die die Methode der natürlichen Sprachinstruktion nutzten, ihre hohe Genauigkeit bei. Dies deutet darauf hin, dass die Fähigkeit zu argumentieren und einem Gespräch zu folgen, ein stabileres Fundament für die Werkzeugnutzung ist als das Auswendiglernen eines starren technischen Formats.
Die Studie hob auch einen Mangel in der aktuellen Bauweise vieler Systeme hervor. Oft wird ein einziges großes Modell gebeten, alles zu tun: den Nutzer zu verstehen, zu entscheiden, welches Werkzeug zu verwenden ist, und die endgültige Antwort zu schreiben. Die Forscher zeigten, dass dieser Ansatz das Modell oft verwirrt, da die komplexen Details der Werkzeuge mit dem Gespräch vermischt werden. Durch die Trennung der Aufgaben hält ihr neues System das Gespräch sauber. Das kleine Modell übernimmt die schwere Arbeit des Herausfindens, welches Werkzeug zu verwenden ist, und das Hauptmodell konzentriert sich ausschließlich darauf, mit dem Nutzer zu kommunizieren. Diese Trennung verhindert, dass das System von zu vielen Informationen auf einmal überfordert wird. Die Forscher demonstrierten, dass diese Methode auch in realen Szenarien gut funktioniert, in denen Geschwindigkeit und Privatsphäre entscheidend sind, wie etwa auf einem Armaturenbrett eines Autos oder bei einem Heimassistenten, wo das Senden von Daten an einen entfernten Server keine Option ist.
Letztlich deutet diese Arbeit auf einen neuen Weg für die künstliche Intelligenz auf alltäglichen Geräten hin. Sie zeigt, dass wir nicht darauf angewiesen sind, massive, energiehungrige Computer einzusetzen, um komplexe Aufgaben zu bewältigen. Stattdessen können wir, indem wir die Art und Weise ändern, wie wir kleinere Modelle arbeiten lassen – indem wir sie als intelligente Assistenten behandeln, die Anweisungen folgen, statt als Maschinen, die Code ausführen –, Ergebnisse erzielen, die sowohl hochpräzise als auch effizient sind. Die Ergebnisse deuten darauf an, dass die Zukunft der persönlichen, privaten und reaktionsschnellen künstlichen Intelligenz nicht darin liegen könnte, größere Modelle zu bauen, sondern in klügeren Wegen, die kleineren Modelle, die wir bereits haben, zu nutzen.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.