💬 NLP

MultiHashFormer: Hash-based Generative Language Models

MultiHashFormer führt ein neuartiges Hash-basiertes autoregressives Framework ein, das Token als eindeutige Sequenzen von Hash-IDs darstellt, um ein parametereffizientes Sprachmodell mit konstantem Vokabular-Footprint zu ermöglichen, wobei es eine überlegene Leistung gegenüber Standard-Transformern über mehrere Skalen und multilinguale Szenarien hinweg demonstriert.

Ursprüngliche Autoren: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Veröffentlicht 2026-06-29

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Huiyin Xue, Atsuki Yamaguchi, Nikolaos Aletras

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, einem Roboter eine neue Sprache beizubringen. Das größte Problem bei aktuellen Robotern (Sprachmodellen) ist ihr „Wörterbuch“.

Das Problem: Das schwere Wörterbuch

In Standard-KI-Modellen bekommt jedes einzelne Wort oder jedes Wortstück (wie „Katze“, „Karte“ oder „Physik“) seinen eigenen, einzigartigen, schweren Rucksack. Wenn Sie möchten, dass der Roboter 100.000 Wörter lernt, benötigen Sie 100.000 schwere Rucksäcke. Das macht den Roboter riesig, teuer im Betrieb und schwer zu aktualisieren. Wenn Sie später eine neue Sprache oder seltene Wörter hinzufügen wollen, müssen Sie einen ganz neuen Satz an Rucksäcken bauen, was so ist, als würde man versuchen, einen neuen Flügel an ein Haus anzubauen, ohne das Fundament zu verändern.

Frühere Versuche, dies zu lösen, nutzten einen „Hashing“-Trick: Anstatt jedem Wort einen eigenen Rucksack zu geben, steckten sie viele Wörter in denselben Rucksack.

Der Fehler: Stellen Sie sich vor, Sie stecken „Katze“, „Karte“ und „Physik“ alle in Rucksack Nr. 40. Wenn der Roboter „Rucksack Nr. 40“ vorhersagt, hat er keine Ahnung, welches Wort er eigentlich meinte. Es ist ein Ratespiel. Das funktionierte beim Lesen (Encoder) gut, aber scheiterte beim Schreiben (Generator), weil der Roboter nicht entscheiden konnte, welches Wort er als Nächstes sagen sollte.

Die Lösung: MultiHashFormer (Das ID-Karten-System)

Die Autoren dieser Arbeit schlagen ein neues System namens MultiHashFormer vor. Anstatt eines Rucksacks geben sie jedem Wort eine einzigartige ID-Karte, die aus einer kurzen Sequenz von Zahlen besteht.

Stellen Sie sich das wie ein Sicherheitssystem bei einem Konzert vor:

Die alte Methode: Sie haben ein Ticket. Wenn 100 Leute dieselbe Ticketnummer haben, kann der Wachmann nicht erkennen, wer wer ist.
Die MultiHashFormer-Methode: Jeder bekommt eine einzigartige ID-Karte mit vier verschiedenen Zahlen (z. B. [12, 40, 56, 99]). Selbst wenn zwei Personen die Zahl „40“ teilen, werden sie nicht die gesamte Sequenz teilen.
- „Katze“ könnte sein: [12, 40, 56, 99]
- „Karte“ könnte sein: [99, 40, 3, 12]
- „Physik“ könnte sein: [5, 40, 88, 2]

Da die Kombination der Zahlen einzigartig ist, kann der Roboter immer genau herausfinden, welches Wort gemeint ist, selbst wenn sich die Zahlen überschneiden.

Wie es funktioniert (Die Fließbandarbeit)

Das Papier beschreibt einen dreistufigen Prozess:

Der Encoder (Der Übersetzer): Wenn der Roboter ein Wort sieht, sucht er nicht nach einem schweren Rucksack. Stattdessen jagt er das Wort durch vier verschiedene „Hash-Maschinen“, um seine einzigartige 4-Zahlen-ID-Karte zu generieren. Dann komprimiert er diese ID-Karte in einen effizienten, einzelnen „Gedanken-Vektor“, um ihn an das Gehirn weiterzugeben.
Das Gehirn (Der Transformer): Das Gehirn des Roboters verarbeitet diese Gedanken genau wie eine normale KI und versteht den Kontext des Satzes.
Der Decoder (Der Prädiktor): Wenn der Roboter das nächste Wort vorhersagen muss, rät er nicht direkt das Wort. Er rät die vier Zahlen der ID-Karte des nächsten Wortes, eine nach der anderen.
- Zuerst rät er die erste Zahl.
- Dann nutzt er diese Zahl als Hinweis, um die zweite Zahl zu erraten.
- Er fährt fort, bis er die vollständige 4-Zahlen-Sequenz hat.
- Schließlich sucht er nach, welches Wort genau zu dieser Sequenz passt, und sagt es aus.

Warum das eine große Sache ist

Das Papier beansprucht drei Siege für sich:

Es schreibt besser: Durch die Verwendung dieses ID-Kartensystems schreibt der Roboter tatsächlich besser als Standard-Roboter gleicher Größe. Sie testeten Modelle mit 100 Millionen, 1 Milliarde und 3 Milliarden „Parametern“ (Gehirnzellen) und fanden heraus, dass MultiHashFormer konsistent höher bei Logik, Leseverständnis und Sprachaufgaben abschnitt.
Es kennt seltene Wörter besser: Da das System dafür sorgt, dass seltene Wörter ihren „Speicherplatz“ auf eine intelligente Weise teilen (wie eine überfüllte Bibliothek, in der Bücher durch mehrere Tags organisiert sind), versteht der Roboter auch obskure oder seltene Wörter besser als Standardmodelle.
Die „magische“ Erweiterung: Das ist der coolste Teil. Wenn Sie dem Roboter eine neue Sprache beibringen oder 15.000 neue Wörter hinzufügen wollen, müssen Sie kein neues Gedächtnis hinzufügen oder den Roboter größer machen.
- Bei einem normalen Roboter macht das Hinzufügen von Wörtern ihn schwerer.
- Bei MultiHashFormer registrieren Sie einfach neue ID-Karten-Kombinationen im System. Die Größe des Roboters bleibt exakt gleich, aber sein Wortschatz wächst augenblicklich. Das Papier zeigte, dass sie den Wortschatz von 32.000 auf 48.000 Wörter erweitern konnten, ohne einen einzigen neuen Parameter hinzuzufügen, und der Roboter behielt seine Leistung bei.

Das Fazit

MultiHashFormer ist wie ein Upgrade für das Wörterbuch eines Roboters – von einem Haufen schwerer, einmal verwendbarer Bücher hin zu einem leichtgewichtigen, digitalen ID-Kartensystem. Es ermöglicht dem Roboter, mehr Sprachen zu sprechen und mehr Wörter zu kennen, ohne schwerer zu werden, während er gleichzeitig sogar intelligenter wird.

Technisches Resümee: MultiHashFormer

Problemstellung

Standardmäßige Sprachmodelle (LMs) verlassen sich auf gelernte Embedding-Matrizen, die linear mit der Vokabulargröße skalieren, was einen „Vokabular-Engpass“ erzeugt. Diese lineare Skalierung bindet Modelle an feste Token-Kapazitäten, was ihre Fähigkeit einschränkt, sich an neue Domänen oder Sprachen anzupassen, ohne den Parameterbestand signifikant zu erhöhen. Während vorangegangene Forschungen das Token-Hashing untersuchten, um den Parameter-Fußabdruck zu begrenzen, nutzen bestehende Hash-basierte Modelle (z. B. Proformer, HashFormer) Viele-zu-eins-Abbildungen. In diesen Systemen teilen sich mehrere Token einen einzigen Hash-Index. Während dieser Ansatz parametereffizient ist, verursacht er Token-Kollisionen, die eine deterministische Token-Rekonstruktion während der autoregressiven Generierung verhindern. Infolgedessen waren bisherige Hash-basierte Methoden auf Encoder-only-Architekturen und diskriminatives Training beschränkt, was sie für kausale (Decoder-only) generative Sprachmodelle unbrauchbar macht.

Methodik

Die Autoren schlagen MultiHashFormer vor, ein Framework, das darauf ausgelegt ist, die Hash-basierte Autoregression durch die Eliminierung von Token-Kollisionen mittels eines Multi-Identifikator-Signatur-Ansatzes zu ermöglichen. Die Architektur besteht aus drei primären Modulen:

Hash-Encoder:
- Multi-Hash-Indizierung: Anstatt ein Token auf eine einzige Hash-ID abzubilden, wird jedes Token in eine einzigartige „Hash-Signatur“ umgewwandelt, die aus einer kurzen Sequenz diskreter Hash-IDs besteht, welche durch $H$ unabhängige Hash-Funktionen (unter Verwendung des MurmurHash3-Algorithmus) generiert werden. Beispielsweise könnte ein Token als $[12, 40, 56]$ dargestellt werden. Diese Multi-ID-Abbildung unterstützt theoretisch eine enorme Vokabular-Kapazität (z. B. $B^H$ eindeutige Signaturen) bei einem strikt sublinearen Parameter-Fußabdruck.
- Gated Compositional Embedding: Um die Tatsache zu handhaben, dass Hash-Buckets global geteilt werden (was potenziell Kollisionen zwischen semantisch unzusammenhängenden Tokens verursachen kann), verwendet das Modell ein kontextabhängiges kompositorisches Gate. Dieses Modul komprimiert die einzelnen Hash-Embeddings in einen einheitlichen, dichten latenten Vektor. Es verwendet ein Feed-Forward-Bottleneck-Netzwerk mit Softmax-Normalisierung, um den Beitrag jedes Buckets zu bestimmen, gefolgt von einem linearen Adapter, um die kombinierte Repräsentation in den latenten Raum des Backbones zu projizieren.
Sequence Processing Backbone:
- Die komprimierten latenten Vektoren durchlaufen einen Standard-Stack von Transformer-Decoder-Schichten (basierend auf der Qwen3-Architektur), um kontextualisierte Repräsentationen zu generieren.
Hash-Decoder:
- Kaskadierter Prädiktor: Um das nächste Token zu rekonstruieren, sagt das Modell nicht eine einzelne Token-ID voraus. Stattdessen rekonstruiert es autoregressiv die Multi-ID-Signatur des nächsten Tokens. Dies wird über ein strukturiertes, iteratives Fehlerkorrektursystem erreicht.
- Der Decoder initialisiert eine Vorhersageschleife mit dem finalen Hidden State des Backbones. Er sagt dann iterativ jede Koordinate der Hash-Signatur ( $H_1, H_2, \dots, H_H$ ) sequenziell voraus.
- Soft Embedding Retrieval: Um die Differenzierbarkeit während der Kaskade aufrechtzuerhalten, berechnet das Modell ein „Soft Bucket Embedding“ (den Erwartungswert der Embedding-Matrix, gewichtet durch Logit-Wahrscheinlichkeiten), anstatt für Zwischenschritte harte diskrete Indizes zu verwenden.
- State Update: Ein rekursiver Cascade Mixer aktualisiert den internen Zustand, indem er den aktuellen Zustand mit dem abgerufenen Soft Embedding konkateniert und die gemeinsame Repräsentation durch ein Bottleneck-Layer leitet, um die Vorhersage der nachfolgenden Hash-Koordinate zu steuern.
Wahrscheinlichkeitsmodellierung:
- Training: Das Modell optimiert das Produkt unabhängiger Koordinaten-Wahrscheinlichkeiten ( $\prod P(H_i(w) | \cdot)$ ), was Vorhersagen über Koordinatenkombinationen ermöglicht, die möglicherweise nicht zu tatsächlichen Vokabular-Einträgen führen, um die Optimierung zu vereinfachen.
- Inferenz: Um eine valide Generierung zu gewährleisten, schließt das Modell während der Inferenz unzugewiesene Signaturen explizit aus und re-normalisiert die Wahrscheinlichkeitsverteilung strikt über das wahre Token-Vokabular ( $V_{actl}$ ).

Zentrale Beiträge

Erstes Hash-basiertes kausales LM: MultiHashFormer ist das erste Framework, das kausale Sprachmodellierung mittels Hashing unterstützt, indem es Token-Kollisionen durch Multi-ID-Signatur-Generierung verhindert.
Parametereffizienz und Leistung: Das Modell übertrifft Standard-Transformer-LMs konsistent über 10 Benchmarks hinweg bei 100M, 1B und 3B Parametern. Es zeigt, dass die Entkopplung des Vokabulars von der Parameter-Matrix effektiver ist als das bloße Hinzufügen von Schichten zu Standardmodellen.
Vokabular-Erweiterung ohne Parameter: Das Framework ermöglicht eine nahtlose Vokabular-Erweiterung (z. B. von 32K auf 48K Tokens), ohne die Anzahl der Parameter zu erhöhen oder strukturelle Modifikationen zu erfordern. Das Modell handhabt die mehrsprachige Erweiterung durch Registrierung neuer, eindeutiger virtueller Signaturen.
Verbesserte Repräsentationen seltener Wörter: Der geteilte Bucket-Mechanismus verbessert die Repräsentation seltener Wörter, wie die höhere Korrelation mit menschlichen Annotationen auf dem Card-660-Datensatz im Vergleich zu Standard-Baselines zeigt.

Ergebnisse

Kernkompetenzen: Bei den Skalen 1B und 3B übertrifft MultiHashFormer (speziell die H4B16K-Konfiguration) die Standard-Baselines in 9 von 11 Aufgaben, einschließlich signifikanter Gewinne in LAMBADA (Sprachmodellierung) und HellaSwag (narrative Logik).
Parameter-Matching: Wenn es mit Baselines mit äquivalenten Parameterzahlen (oder sogar Baselines mit hinzugefügten Schichten, um die Gesamtparameterzahl anzugleichen) verglichen wird, erzielen MultiHashFormer-Varianten eine überlegene Leistung in der Mehrheit der Aufgaben.
Vokabular-Erweiterung: In Experimenten zum kontinuierlichen Pre-Training zur Erweiterung des Vokabulars von 32K auf 48K (Hinzufügen von arabischen, chinesischen und Hindi-Tokens) behielt MultiHashFormer die Leistung in multilingualen Aufgaben bei oder verbesserte sie, ohne die ~31 Millionen zusätzlichen Parameter zu benötigen, die Standard-Baselines zur Aufnahme der neuen Tokens erforderlich wären.
Seltene Wörter: MultiHashFormer zeigte höhere Pearson- und Spearman-Korrelationen mit menschlichen Ähnlichkeitswerten für seltene Wortpaare im Vergleich zu Standardmodellen, insbesondere bei der Analyse der Hidden States der vorletzten Decoder-Schicht.

Bedeutung und Behauptungen

Das Paper behauptet, dass MultiHashFormer erfolgreich den traditionellen Vokabular-Engpass für Decoder-basierte LMs umgeht. Durch den Ersatz der linearen Embedding-Matrix durch eine modulare Hashing-Schnittstelle erreicht das Modell einen strikt sublinearen Parameter-Fußabdruck, während es die Vokabular-Kapazität auf theoretische Grenzen (z. B. Quadrillionen von Signaturen) skaliert. Die Autoren argumentieren, dass dieser Ansatz die Mehrdeutigkeit von Token-Kollisionen in generativen Settings löst – eine Einschränkung, die Hashing zuvor auf Encoder-only-Modelle beschränkt hatte. Darüber hinaus bietet das Framework eine praktische Lösung für die mehrsprachige Anpassung, die es Modellen ermöglicht, neue Sprachen und Tokens zu integrieren, ohne die mit der Erweiterung von Embedding-Matrizen verbundenen Rechen- und Speicherkosten zu verursachen. Die Ergebnisse legen nahe, dass der durch den Hash-Encoder und -Decoder bereitgestellte induktive Bias robust ist und aus der Architektur selbst resultiert, anstatt aus zufälliger Stichprobenvarianz.