Compress and Forget: bitsandbytes Quantization Amplifies Proactive Interference in LLMs

Stellen Sie sich ein großes Sprachmodell wie einen sehr aufmerksamen Assistenten vor, der in der Lage ist, ein Gespräch zu führen, Details zu behalten und sein Wissen zu aktualisieren, wenn neue Informationen eintreffen. In der realen Welt werden diese Assistenten oft gebeten, sich verändernde Fakten zu merken: eine Besprechungszeit, die sich von zwei auf drei auf vier Uhr verschiebt, oder eine Präferenz eines Nutzers, die sich im Laufe eines langen Dialogs entwickelt. Damit diese Systeme nützlich sind, müssen sie nicht nur die neueste Aktualisierung speichern, sondern auch die älteren, nun nicht mehr korrekten Versionen ignorieren. Doch Forscher haben eine spezifische Schwäche entdeckt, wie diese Modelle mit solchen Aktualisierungen umgehen. Wenn ein Stück Information viele Male überschrieben wird, lässt die Fähigkeit des Modells, die aktuellste Version abzurufen, nach. Es beginnt, die aktuelle Antwort mit einer der älteren, verworfenen Versionen zu verwechseln. Dieses Phänomen, das als proaktive Interferenz bekannt ist, ist ein dokumentierter Ausfallmodus, bei dem die Anhäufung vergangener Aktualisierungen es erschwert, die gegenwärtige Wahrheit abzurufen – ein Problem, das einem ähnlichen Kampf findet man auch im menschlichen Arbeitsgedächtnis.

Während diese Modelle aus den Forschungslaboren in alltägliche Anwendungen übergehen, stehen Entwickler vor einer praktischen Herausforderung: Wie lässt sich das Modell effizient auf Standard-Hardware betreiben? Um Speicher zu sparen und die Verarbeitungsgeschwindigkeit zu erhöhen, hat sich die Industrie weitgehend für eine Technik namens Post-Training-Quantisierung entschieden. Bei diesem Prozess wird die interne Zahlenwelt des Modells komprimiert, wodurch die Präzision von einem hochpräzisen Format auf eine viel kleinere, gröbere Version reduziert wird. Eine verbreitete Annahme ist entstanden, dass diese Kompression sicher sei und nur einen vernachlässigbaren Verlust an der Gesamtleistung verursache. Die Annahme lautet, dass das Modell trotz der etwas geringeren Präzision der Zahlen seine grundlegende Intelligenz behält. Aber diese Annahme wurde nie gegen diese spezifische, fragile Aufgabe des Verfolgens häufig wechselnder Informationen getestet.

Ein Forscherteam setzte sich zum Ziel, diese Annahme direkt zu prüfen. Sie nahmen drei verschiedene, populäre Open-Source-Sprachmodelle und unterzogen sie einem strengen Gedächtnistest, der darauf ausgelegt war, proaktive Interferenz zu messen. In diesem Test wurden den Modellen wiederholt Attribute einer Figur präsentiert, wie etwa die Lieblingsfarbe oder der Beruf, die aktualisiert wurden. Die Anzahl der Aktualisierungen reichte von nur einem bis zu neunundneunzig sechs. Nach der letzten Aktualisierung wurden die Modelle gefragt, nur den aktuellsten Wert abzurufen. Die Forscher führten denselben Test an jedem Modell mit drei verschiedenen Präzisionsstufen durch: der ursprünglichen High-Fidelity-Version, einer komprimierten Acht-Bit-Version und einer stark komprimierten Vier-Bit-Version. Sie hielten die Aufgabe exakt gleich und änderten lediglich die Präzision der internen Zahlen des Modells.

Die Ergebnisse zeigten ein klares und besorgniserregendes Muster. Während die Modelle bei Verwendung ihrer ursprünglichen High-Fidelity-Einstellungen nahezu perfekt funktionierten, hatten die stark komprimierten Vier-Bit-Versionen bei einer hohen Anzahl von Aktualisierungen erheblich zu kämpfen. In einem der getesteten Modelle sank die Genauigkeit von einundachtzig Prozent in der High-Fidelity-Version auf nur achtundsechzig Prozent in der Vier-Bit-Version, wenn mit einer hohen Anzahl von Aktualisierungen konfrontiert. Dies war keine geringfügige Fluktuation; statistische Analysen bestätigten, dass der Abfall real und über alle drei getesteten Modelle hinweg konsistent war. Die Forscher fanden heraus, dass die komprimierten Modelle nicht einfach zufällige Fehler machten. Stattdessen verwechselten sie gezielt die aktuelle Antwort mit einem der älteren, überschriebenen Werte. Wenn das Modell scheiterte, wählte es fast immer einen Wert, der früher im Gespräch wahr war, aber nicht mehr korrekt war.

Entscheidend war, dass die Studie zeigte, dass dieses Problem nicht durch allgemeines Rauschen oder einen einfachen Verlust an Intelligenz verursacht wurde. Wenn die Forscher die Modelle mit numerischen Werten testeten, wie etwa Aktienkursen oder Temperaturen, bei denen die Zahlen keine ähnliche Bedeutung teilen, hatte die Vier-Bit-Kompression fast keine negativen Auswirkungen. Die Modelle bewältigten die numerischen Aktualisierungen genauso gut wie die High-Fidelity-Versionen. Diese Unterscheidung ist wichtig, da sie beweist, dass die Kompression das Modell nicht einfach nur flächendeckend „dümmer“ macht. Stattdessen verschwimmt sie gezielt die Grenzen zwischen semantisch ähnlichen Dingen, was es dem Modell erschwert, distinkte Konzepte bei wiederholten Aktualisierungen voneinander abzugrenzen.

Die Forscher untersuchten auch, wo in dem Modell dieser Zusammenbruch auftrat. Sie fanden heraus, dass das Problem im Hauptteil des Modells liegt, also dem Teil, der für die Verarbeitung und das Halten von Informationen zuständig ist, und nicht in der finalen Schicht, die die Antwort produziert. Dies deutet darauf hin, dass der Kompressionsprozess selbst die Art und Weise verändert, wie das Modell ähnliche Ideen repräsentiert, was dazu führt, dass sie sich überlappen und so Verwirrung stiften. Darüber hinaus stellte die Studie die Idee infrage, dass ein mittleres Kompressionsniveau mittels Acht-Bit-Präzision völlig sicher sei. Obwohl die Acht-Bit-Kompression besser abschnitt als die Vier-Bit-Version, stellten die Forscher fest, dass sie in zwei der drei getesteten Modelle dennoch eine kleine, aber messbare Einbuße mit sich brachte. Dies zeigt, dass selbst die „sichereren“ Kompressionsstufen nicht völlig risikofrei sind, wenn es um Aufgaben mit häufigen Aktualisierungen geht.

Diese Erkenntnisse legen nahe, dass die weit verbreitete Praxis, Sprachmodelle zur Ressourceneinsparung zu komprimieren, mit versteckten Kosten für Anwendungen einhergehen kann, die auf der Verfolgung sich entwickelnder, semantisch dichter Informationen basieren. Für einen Chatbot, der ein langes Gespräch verwaltet, oder ein System, das die sich ändernden Präferenzen eines Nutzers verfolgt, könnten die Standard-Benchmarks, die eine hohe Gesamtgenauigkeit zeigen, eine spezifische Schwachstelle verbergen. Die Modelle mögen in allgemeinen Tests perfekt erscheinen, aber wenn sie mit einem Strom von Aktualisierungen konfrontiert werden, bei denen die Vergangenheit vergessen werden muss, um die Gegenwart zu erinnern, neigen die komprimierten Versionen eher dazu, zu stolpern. Die Studie kommt zu dem Schluss, dass Kompression zwar ein mächtiges Werkzeug für die Bereitstellung ist, aber kein neutrales: Sie untergräbt selektiv den Mechanismus, der es diesen Modellen ermöglicht, der Verwirrung durch ähnliche Ideen zu widerstehen – ein Defizit, das nur durch gezielte Tests aufgedeckt werden kann.