Stellen Sie sich einen digitalen Assistenten vor, der ganze Bibliotheken lesen, komplexe Software schreiben oder ein Forschungsprojekt über Wochen hinweg verwalten kann. Um dies zu tun, führt der Assistent ein fortlaufendes Protokoll über alles, was er gesehen und getan hat – eine Historie, die mit jeder Aktion länger wird. Diese Historie wird in einem temporären Speicherplatz namens Kontextfenster gespeichert. Obwohl diese Fenster riesig sind und Hunderttausende von Wörtern fassen können, sind sie nicht unendlich. Wenn sich eine Aufgabe zu lange hinzieht, füllt sich der Speicher, und der Assistent läuft Gefahr, die wichtigsten Details vom Anfang zu vergessen. Um dies zu lösen, nutzen Ingenieure eine Technik namens Zusammenfassung (Summarization). Die Idee ist simpel: Bevor der Speicher zu voll wird, verdichtet der Assistent seine lange Historie zu einer kürzeren, kompakteren Version, indem er das Rauschen aussortiert und das Signal beibehält, und setzt dann seine Arbeit auf Basis dieser Zusammenfassung fort. Es ist eine digitale Form des Notiznehmens, um sich an ein langes Gespräch zu erinnern.

Ein neues Paper von Forschern der Pennsylvania State University legt jedoch nahe, dass dieses Sicherheitsnetz auf eine subtile, aber kritische Weise versagt. Die Forscher untersuchten, ob man diesen KI-Modellen tatsächlich sagen könne, sie sollten beim Zusammenfassen mehr Details beibehalten. Sie wollten wissen, ob mit der Historie auch die Zusammenfassung länger werden könnte, um einen stetigen Bruchteil der ursprünglichen Informationen zu bewahren. Stattdessen fanden sie heraus, dass die Modelle eine harte Grenze haben. Egal wie lang die Geschichte wird, die Zusammenfassung bleibt in etwa gleich groß, wodurch der Anteil der beibehaltenen Informationen auf einen winzigen Bruchteil schrumpft. Selbst wenn Menschen den Computer explizit bitten, eine längere Zusammenfassung zu schreiben, weigert sich der Computer zu gehorchen und hält an seinen eigenen kurzen Gewohnheiten fest. Die Forscher entdeckten, dass der einzige Weg, dieses Verhalten zu ändern, nicht darin besteht, höflich zu fragen, sondern den Computer mit Beispielen längerer Zusammenfassungen neu zu trainieren.

Das Team testete dieses Verhalten bei elf verschiedenen Large Language Models, die von allgemeinen Assistenten bis hin zu spezialisierten Werkzeugen für Codierung und logisches Denken reichten. Sie fütterten diese Modelle mit Eingaben, die von nur tausend Words bis hin zu einhunderttausend Wörtern anwuchsen, wobei sie sowohl lange Dokumente als auch reale Protokolle eines Agenten bei der Lösung von Programmierproblemen verwendeten. In einem perfekten System sollte die Zusammenfassung proportional mit der Eingabe wachsen, wenn die Eingabe einhundertmal größer wird, um das gleiche Detailniveau beizubehalten. Stattdessen verhielten sich die Modelle, als steckten sie in einer Sackgasse. Als die Eingabe auf einhunderttausend Wörter anschwoll, wuchsen die Zusammenfassungen kaum noch an. Tatsächlich überlebte bei diesem massiven Maßstab weniger als ein Prozent der ursprünglichen Eingabe in der Zusammenfassung. Für ein Dokument dieser Größe bedeutet das: Von je hundert Sätzen im Originaltext gelangte nur etwa ein Satz in die endgültige Zusammenfassung. Der Rest ging verloren. Dieses Muster blieb bestehen, unabhängig davon, ob das Modell für das Schreiben von Code, allgemeine Konversationen oder komplexes logisches Denken entwickelt worden war. Die Größe des Modells selbst half nicht weiter; selbst die größten, leistungsstärksten Modelle erzeugten Zusammenfassungen, die viel zu kurz für die Aufgabe waren.

Die Forscher versuchten es dann mit einem direkteren Ansatz. Sie vermuteten, dass die Modelle lediglich eine klarere Anweisung benötigen könnten. Sie nahmen dieselben massiven Eingaben und fügten spezifische Befehle zum Prompt hinzu, indem sie die Modelle anwiesen, Zusammenfassungen einer bestimmten Länge zu schreiben, gemessen in Wörtern, Zeichen oder Tokens. Sie verlangten Zusammenfassungen, die ein Viertel, ein Drittel oder sogar die Hälfte der Größe des Originaltextes ausmachten. Die Ergebnisse waren frustrierend konsistent. Obwohl die Modelle etwas längere Zusammenfassungen schrieben, wenn man sie darum bat, erreichten sie sehr schnell eine harte Obergrenze. Wenn die Forscher um eine Zusammenfassung von sechzehntausend Wörtern baten, hörten die Modelle nach einigen tausend Worten auf zu schreiben und ignorierten den Rest der Anfrage. Die Modelle schienen unfähig zu sein, ihre Ausgabe so weit zu dehnen, um der Nachfrage gerecht zu werden, unabhängig davon, wie die Länge gemessen oder wie die Anfrage formuliert wurde. Die Anweisungen bewirkten nur einen kleinen Zuwachs an Länge, aber bei weitem nicht genug, um den Verlust kritischer Details zu verhindern.

Dies führte die Forscher zu einem überraschenden Schluss: Das Problem liegt nicht im Prompt oder in der Eingabe, sondern in den Trainingsdaten. Um dies zu beweisen, nahmen sie zwei der Modelle und unterzogen sie einem leichten Retraining, dem sogenannten Fine-Tuning, unter Verwendung von Zusammenfassungen unterschiedlicher Längen. Eine Gruppe wurde mit sehr kurzen Zusammenfassungen trainiert, die andere mit deutlich längeren. Als sie diese neu trainierten Modelle mit denselben neutralen Anweisungen testeten, verschob sich das Ergebnis dramatisch. Das Modell, das auf kurze Zusammenfassungen trainiert worden war, schrieb noch kürzere Texte, während dasjenige, das auf lange Zusammenfassungen trainiert worden war, signifikant längere Texte produzierte, obwohl in der Anweisung nie etwas über die Länge erwähnt wurde. Dies deutet darauf hin, dass die Modelle eine Standardgewohnheit der Kürze aus ihren Trainingsdaten gelernt haben, eine Gewohnheit, die jede Aufforderung etwas anderes außer Kraft setzt. Die Länge der Zusammenfassung ist keine flexible Berechnung basierend auf der Eingabegröße; sie ist ein starres Verhalten, das in der DNA des Modells verankert ist.

Die Auswirkungen für autonome Agenten sind erheblich. Diese Systeme verlassen sich auf die Zusammenfassung, um lange Aufgaben zu bewältigen, aber wenn die Zusammenfassung zu kurz ist, gehen lebenswichtige Informationen wie ein Dateipfad, ein fehlgeschlagener Versuch oder eine spezifische Einschränkung für immer verloren. Einmal verloren, kann der Agent diese Information nicht wiederherstellen und muss Zeit damit verschwenden, sie erneut zu entdecken, oder blind weitermachen. Die Studie zeigt, dass es nicht ausreicht, einen Agenten einfach dazu aufzufordern, sich „mehr zu merken“, indem man eine längere Zusammenfassung verlangt. Die Lösung liegt nicht in besseren Prompts, sondern in der Änderung der Daten, die zur Ausbildung der Zusammenfassungs-Modelle verwendet werden. Bis die Trainingsdaten diese Modelle lehren, mehr Details zu bewahren, während der Kontext wächst, werden die digitalen Assistenten, auf die wir uns bei langfristigen Aufgaben verlassen, weiterhin ihr Gedächtnis verlieren – eine kleine, unveränderliche Zusammenfassung nach der anderen.