Training on Broken Contexts: Source Loss and Repair in Tool-Augmented LLM Post-Training
Dieses Paper identifiziert und quantifiziert ein kritisches Versagen beim Training von werkzeug-augmentierten LLMs, bei dem Standard-Sequenzkonstruktions-Policies die Verbindung zwischen den Assistant-Targets und deren zugrunde liegenden Tool-Observations unterbrechen, und schlägt Rekonstruktionsstrategien vor, welche die Supervision-Abdeckung sowie die Kontextintegrität signifikant verbessern und gleichzeitig die Token-Redundanz reduzieren.
Originalarbeit lizenziert unter CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Moderne künstliche Intelligenz-Assistenten sind zunehmend darauf ausgelegt, als Agenten zu agieren, die in der Lage sind, auf externe Werkzeuge zuzugreifen, um Probleme zu lösen. Wenn ein Benutzer eine Frage stellt, könnte das Modell entscheiden, eine Datenbank abzufragen, einen Wetterdienst zu prüfen oder einen Bestellstatus abzurufen. Um einem Modell beizubringen, dies zu tun, stellen Forscher ihm Tausende von Beispielen dieser Interaktionen zur Verfügung. Diese Beispiele sind nicht nur einfache Fragen und Antworten; es sind komplexe Konversationen, die die Anfrage des Benutzers, die Entscheidung des Modells, ein Werkzeug zu nutzen, die vom Werkzeug zurückgegebenen Rohdaten und schließlich die Antwort des Modells enthalten, die diese Daten nutzt, um die Frage des Benutzers zu beantworten. Das Ziel des Trainings besteht darin, dem Modell die gesamte Geschichte zu zeigen, damit es lernt, die Verbindung zwischen dem Output eines Werkzeugs und der endgültigen Antwort herzustellen.
Es gibt jedoch einen verborgenen Schritt in diesem Prozess, der stattfindet, nachdem die Konversationen aufgeschrieben wurden, aber bevor das Modell tatsächlich von ihnen lernt. Um diese langen Geschichten in den Computerspeicher einzupassen, muss die Trainingssoftware sie zerstückeln, umordnen oder kürzen, um sie an eine spezifische Größenbeschränkung anzupassen. Diese Arbeit untersucht, was passiert, wenn dieses Zerstückeln und Umordnen schiefgeht. Die Forscher stellten eine einfache, aber kritische Frage: Wenn der Computer eine Konversation zerstückelt, um sie in ein Trainingskontingent einzupassen, behält er dann manchmal die endgültige Antwort, während er versehentlich die Werkzeugdaten wegwirft, auf denen diese Antwort basiert? Wenn das Modell für eine Antwort bewertet wird, der Beweis für diese Antwort aber in seiner Sichtweise fehlt, wird vom Modell verlangt, einen Zaubertrick zu lernen anstatt eines logischen Prozesses.
Die Forscher untersuchten drei große Sammlungen von werkzeugnutzenden Konversationen, die üblicherweise verwendet werden, um diese Systeme zu trainieren. Sie bauten ein Tracking-System, das jedes einzelne Textstück aus der ursprünglichen Konversation durch den Prozess des Zerstückelns und Umordnens verfolgte. Sie suchten gezielt nach Momenten, in denen das Modell von einem Wert lernen sollte, der von einem Werkzeug zurückgegeben wurde, wie etwa einer spezifischen Bestellnummer oder einem Fehlercode, und prüften, ob dieser Wert für das Modell noch sichtbar war, wenn es lernte, die Antwort zu schreiben. Sie testeten dies über verschiedene Größen von Trainings-Chunks hinweg, die von sehr kurz bis recht lang reichten, und verwendeten mehrere verschiedene Methoden dafür, wie die Software entscheidet, den Text zu schneiden und zu packen.
Die Ergebnisse offenbarten ein erhebliches Problem mit der Art und Weise, wie einige Trainingsdaten derzeit vorbereitet werden. Wenn die Software eine Methode verwendet, die lange Konversationen in kleinere Stücke aufteilt, um sie in eine feste Größe einzupassen, trennt sie häufig die Antwort von den Werkzeugdaten, auf die sie sich stützt. In einem der von ihnen untersuchten Datensätze wurden fast vierzig Prozent der beibehaltenen Antworten dem Modell beigebracht, ohne die Werkzeugbeobachtung, die sie rechtfertigte. In einem anderen Datensatz waren etwa zwanzig Prozent der Antworten ähnlich verwaist. Dies bedeutet, dass das Modell belohnt wird, Text zu generieren, den es unmöglich kennen kann, weil die Beweise, die es benötigt, weggeschnitten und in einen anderen Teil der Trainingssequenz gelegt wurden, den das Modell in diesem Moment nicht sehen kann.
Die Studie fand auch heraus, dass die Art und Weise, wie die Daten geschnitten werden, beeinflusst, was das Modell tatsächlich lernt. Eine gängige Methode des Packens, die versucht, so viele Beispiele wie möglich in einen einzigen Chunk einzupassen, ohne sie zu trennen, vermeidet dieses Trennungsproblem vollständig. Diese Methode ist jedoch so streng, dass sie den Großteil der Trainingsdaten wegwirft und nur einen winzigen Bruchteil der ursprünglichen Konversationen behält. Die Forscher zeigten, dass es einen Trade-off gibt: Methoden, die fast alle Daten behalten, unterbrechen oft die Verbindung zwischen dem Werkzeug und der Antwort, während Methoden, die die Verbindung intakt halten, oft zu viel der Daten verwerfen, um nützlich zu sein.
Um dies zu beheben, schlugen die Forscher einen neuen Weg zur Rekonstruktion der Trainingsbeispiele vor. Anstatt den Text blind zu schneiden, schlugen sie vor, zusammengehörige Teile derselben Konversation zusammenzugruppieren, sodass die Werkzeugdaten und die Antwort immer im selben Sichtfenster bleiben. Sie fanden heraus, dass sie durch die sorgfältige Gruppierung dieser Teile die gleiche Anzahl an korrekten Antworten beibehalten konnten, während sie weniger Computerspeicher verwendeten und Tausende von duplizierten Teilen von Text eliminierten. Sie entdeckten auch, dass für einige Datensätze die Listen der Regeln, die beschreiben, wie ein Werkzeug zu nutzen ist, so viel Platz einnehmen, dass sie die eigentliche Konversation aus dem Fenster drängen. Durch die Vereinfachung dieser Regellisten, um nur die spezifischen Teile anzuzeigen, die für einen einzelnen Aufruf benötigt werden, konnten sie viel mehr nützliche Beispiele in den Trainingsprozess einpassen.
Schließlich überprüften die Forscher den Softwarecode, der von vielen Entwicklern verwendet wird, um diese Daten vorzubereiten, und fanden einen versteckten Fehler in einer weit verbreiteten Version. Dieser Fehler verursachte, dass die Software versehentlich Teile des Textes wiederholte oder die Reihenfolge der Wörter vertauschte, während sie große Datenmengen verarbeitete, wodurch ein Informationsstrom entstand, der überhaupt nicht mehr der ursprünglichen Konversation entsprach. Diese Entdeckung verdeutlicht, dass das Problem nicht nur in den Daten selbst liegt, sondern in den Werkzeugen, die zur Vorbereitung verwendet werden. Die Arbeit kommt zu dem Schluss, dass die Art und Weise, wie Trainingsdaten konstruiert werden, genauso wichtig ist wie die Daten selbst. Wenn die Verbindung zwischen dem Output eines Werkzeugs und der Antwort des Modells während der Vorbereitung unterbrochen wird, kann das Modell das Werkzeug nicht korrekt benutzen lernen, egal wie viele Daten es sieht. Die Forscher mahnen, dass zukünftige Trainingssysteme verifizieren müssen, dass der für eine Antwort erforderliche Kontext tatsächlich präsent ist, wenn das Modell von ihr lernt.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.