Enhancing Lexicon-Based Text Embeddings with Large Language Models

Die Arbeit stellt LENS vor, ein lexikonbasiertes Embedding-Verfahren, das Large Language Models durch Token-Clustering und optimierte Pooling-Strategien nutzt, um wettbewerbsfähige und komprimierte Repräsentationen zu erzeugen, die in Kombination mit dichten Embeddings state-of-the-art Ergebnisse auf dem MTEB-Benchmark erzielen.

Das Wesentliche

Stell dir vor, du hast einen riesigen, extrem intelligenten Bibliothekar (das ist unser Large Language Model oder LLM). Dieser Bibliothekar kennt jedes Wort der Welt, aber er hat ein kleines Problem: Er ist verwirrt von der Art und Weise, wie Wörter geschrieben werden.

Wenn du ihm das Wort „Hund" gibst, sieht er vielleicht „Hund", „hund", „HUND" oder sogar „Hun" und „d" als völlig verschiedene, getrennte Dinge. Das macht es für ihn schwer, zu verstehen, dass es sich eigentlich um dasselbe Konzept handelt.

Die Forscher in diesem Papier haben eine neue Methode namens LENS entwickelt, um diesem Bibliothekar zu helfen, Texte besser zu verstehen und zu speichern. Hier ist die Erklärung in einfachen Worten:

1. Das Problem: Der verwirrte Bibliothekar

Normalerweise versuchen Computer, Texte in eine lange Liste von Zahlen zu verwandeln (sogenannte „Embeddings"), damit sie sie vergleichen können.

• Die alte Methode (Dicht): Der Bibliothekar fasst den ganzen Text in einen einzigen, dichten Zahlenblock zusammen. Das ist wie ein Foto: Es sieht gut aus, aber man kann nicht genau sagen, welches Wort für welche Farbe steht.
• Die neue Idee (Lexikon-basiert): Statt eines Fotos machen wir eine Liste. Jedes Wort im Text bekommt seinen eigenen Platz in der Liste. Das ist transparenter: Man sieht genau, welche Wörter wichtig waren.

Aber: Da der Bibliothekar (das LLM) Wörter oft in kleine Fragmente zerlegt (z. B. „Bildung" wird zu „Bild" und „ung"), ist seine Liste riesig und voller Duplikate. Er verwechselt „Haus" und „Haus." (mit Punkt) als zwei verschiedene Dinge. Das macht die Liste unübersichtlich und langsam.

2. Die Lösung: LENS (Der Sortier-Trick)

LENS ist wie ein cleverer Assistent, der dem Bibliothekar hilft, seine Liste zu ordnen.

• Der Clustering-Trick (Das Zusammenfassen):
  Stell dir vor, der Bibliothekar hat 30.000 Schubladen für Wörter. LENS nimmt diese Schubladen und sortiert sie in Gruppen.

  • Alle Varianten von „laufen" (läuft, lief, gelaufen) kommen in eine Schublade.
  • Alle Varianten von „schnell" (rapid, schnell, rasch) kommen in eine andere.
  • Statt 30.000 Schubladen hat er jetzt nur noch 4.000 oder 8.000 gut sortierte Gruppen.
    Das spart Platz und macht die Suche viel schneller, ohne dass Informationen verloren gehen.

• Der Blick in beide Richtungen (Bidirektionale Aufmerksamkeit):
  Früher las der Bibliothekar Texte nur von links nach rechts (wie ein Buch, das man nicht umblättern darf). Er wusste also nicht, was nach einem Wort kommt, wenn er es gerade liest.
  LENS erlaubt ihm, hin und her zu schauen. Er kann ein Wort im Kontext des ganzen Satzes verstehen, nicht nur des Vorgängers. Das ist wie ein Gespräch, bei dem man auf alles hört, was gesagt wurde, nicht nur auf das letzte Wort.

3. Warum ist das so cool?

• Es ist transparent: Wenn du fragst: „Warum hat der Computer das Ergebnis gefunden?", kann LENS sagen: „Weil das Wort 'Hund' in der Gruppe 'Haustiere' eine hohe Punktzahl hatte." Bei den alten Methoden war das oft ein Rätsel (ein „Black Box").
• Es ist effizient: Da die Liste so gut sortiert ist, kann man sie extrem komprimieren. Man kann 90% der Liste wegwerfen, ohne dass die Qualität leidet. Das ist wie beim Packen eines Koffers: Man packt nur das Wichtigste ein, aber es passt trotzdem alles rein.
• Die Super-Kombination: Die Forscher haben entdeckt, dass man die alte Methode (das Foto) und die neue Methode (die sortierte Liste) mischen kann. Das Ergebnis ist ein Weltmeister in der Textsuche. Es ist, als würdest du ein scharfes Foto mit einer detaillierten Beschreibung kombinieren – das Ergebnis ist unschlagbar.

Zusammenfassung in einem Satz

LENS nimmt einen super-intelligenten, aber etwas chaotischen KI-Bibliothekar, ordnet seine riesige Wörterliste in sinnvolle Gruppen, lässt ihn Texte von beiden Seiten lesen und sorgt dafür, dass er Texte nicht nur „fühlt", sondern auch genau weiß, welche Wörter er gefunden hat – und das alles schneller und effizienter als zuvor.

Das Papier zeigt also, dass man nicht nur „dunkle" KI-Modelle braucht, um Texte zu verstehen, sondern dass man sie auch clever organisieren kann, um bessere und verständlichere Ergebnisse zu erzielen.

Technische Zusammenfassung

1. Problemstellung

Text-Embeddings sind entscheidend für Anwendungen wie Information Retrieval, Frage-Antwort-Systeme und Clustering. Während dichte (dense) Embeddings, die Texte in niedrigdimensionale latente Räume abbilden, den aktuellen Forschungsstand dominieren, bieten lexikonbasierte Embeddings (bei denen jede Dimension einem spezifischen Vokabular-Token entspricht) Vorteile wie Transparenz und bessere Kompatibilität mit den Vorausbildungszielen von Sprachmodellen.

Die Autoren identifizieren jedoch zwei Hauptprobleme bei der Anwendung lexikonbasierter Embeddings auf moderne Large Language Models (LLMs):

• Redundanz und Rauschen im Tokenizer: Moderne Tokenizer (z. B. Subword-Tokenierung) zerlegen Wörter fragmentiert (z. B. „education" in „edu" und „cation") und behandeln semantisch äquivalente Token als unterschiedlich (z. B. „what", „What", „ what"). Dies führt zu Inkonsistenzen und einer ineffizienten Vokabulargröße.
• Fehlende bidirektionale Aufmerksamkeit: Kausale LLMs (Decoder-only) nutzen während des Trainings typischerweise unidirektionale Aufmerksamkeit (nur Blick nach links). Da lexikonbasierte Embeddings aus den Ausgaben aller Token abgeleitet werden, kann ein Token den Kontext nicht vollständig nutzen, was die Qualität der Repräsentation mindert.

Bisherige Ansätze wie PromptReps oder Mistral-SPLADE versuchen dies durch Prompts zu umgehen, erreichen aber nicht die Leistung dichter Embeddings.

2. Methodik: Das LENS-Framework

LENS (Lexicon-based Embeddings from LLMs) ist ein Framework, das LLMs nutzt, um kompakte und leistungsfähige lexikonbasierte Embeddings zu generieren. Die Kernkomponenten sind:

• Token-Clustering zur Redundanzreduktion:
  Statt die ursprüngliche Vokabulargröße des LLM zu nutzen, werden die Token-Embeddings des Language Modeling Heads mittels K-Means-Clustering gruppiert. Ähnliche Token (z. B. verschiedene Groß-/Kleinschreibungen, Subword-Fragmente desselben Wortes) werden in Clustern zusammengefasst.

  • Die Zentren (Centroids) dieser Cluster ersetzen die ursprünglichen Token-Embeddings im Kopf des Modells.
  • Dies reduziert die Dimensionalität der Embeddings erheblich (z. B. von ~32.000 auf 4.000 oder 8.000 Dimensionen), während semantisch relevante Informationen erhalten bleiben.

• Bidirektionale Aufmerksamkeit:
  Im Gegensatz zu vorherigen Arbeiten, die die Architektur des LLM unverändert ließen, modifiziert LENS die Aufmerksamkeit während des Fine-Tunings auf bidirektional. Dies ermöglicht es jedem Token, den gesamten Kontext zu sehen, was für die Generierung hochwertiger lexikonbasierter Repräsentationen entscheidend ist.

• Repräsentationsgenerierung und Pooling:

  • Eingabedaten werden mit Task-spezifischen Anweisungen (Instructions) versehen.
  • Das Modell generiert Logits für die Cluster.
  • Es wird eine Log-Saturation-Transformation angewendet, um Gewichte nicht-negativ zu machen.
  • Anschließend wird Max-Pooling über die Sequenzdimension durchgeführt, um das finale Embedding für jedes Cluster zu erhalten.
  • Wichtig: Nur die Logits, die den ursprünglichen Query-Text entsprechen (nicht die Instruction-Tokens), werden für das Query-Embedding verwendet.

• Training:
  LENS wird mit einem einfachen, einstufigen Contrastive Learning-Ansatz (InfoNCE Loss) trainiert, der ausschließlich auf öffentlichen Daten basiert (ähnlich wie BGE-en-ICL). Es werden keine komplexen zwei-stufigen Pipelines oder synthetischen Daten benötigt.

3. Wichtige Beiträge

1. Erste leistungsfähige lexikonbasierte Embeddings mit LLMs: LENS ist das erste Framework, das LLMs nutzt, um lexikonbasierte Embeddings zu erzeugen, die mit dichten Embeddings konkurrieren können.
2. Effiziente Dimensionsreduktion durch Clustering: Durch das Zusammenfassen von Token-Clustern wird die Vokabulargröße drastisch reduziert, was die Integration in bestehende dichte Frameworks (wie FAISS) erleichtert und die Rechenkosten senkt.
3. Natürliche Sparsity (Top-K Pruning): Da jede Dimension einem spezifischen Cluster entspricht, können Embeddings effizient durch Beibehaltung der Top-K aktivsten Dimensionen (z. B. Top-256 von 4000) geschnitten werden, ohne dass spezielle Trainingsziele (wie Matryoshka Representation Learning) erforderlich sind.
4. Hybride Ansätze: Die Kombination von LENS (lexikonbasiert) mit dichten Embeddings (BGE-en-ICL) führt zu State-of-the-Art-Ergebnissen.

4. Ergebnisse

Die Evaluation erfolgte auf dem MTEB (Massive Text Embedding Benchmark) und AIR-Bench.

• MTEB Performance:

  • LENS-8000 (8.000 Cluster) erreicht unter Modellen, die nur mit öffentlichen Daten trainiert wurden, die beste durchschnittliche Leistung auf MTEB und schlägt sogar das starke dichte Modell BGE-en-ICL in 6 von 7 Aufgabenkategorien.
  • LENS-8000 erzielt insgesamt den zweiten Platz unter allen Modellen (hinter NV-Embed-v2, das jedoch komplexere Trainingsverfahren nutzt).
  • Auf dem Retrieval-Teil von MTEB (BEIR) erreicht die Kombination aus LENS-8000 und BGE-en-ICL mit 63,00 nDCG@10 den State-of-the-Art (besser als NV-Embed-v2 mit 62,65).

• AIR-Bench:

  • LENS-8000 zeigt starke Generalisierungsfähigkeiten und übertrifft auf diesem Benchmark das führende Modell NV-Embed-v2.

• Qualitative Analyse:

  • Die Cluster zeigen eine hohe semantische Kohärenz (z. B. werden „rapid", „quickly", „swift" gruppiert).
  • Die Embeddings erfassen tiefere semantische Zusammenhänge (z. B. Assoziation von „hypoxia" mit „oxygen").

• Effizienz:

  • Durch Top-K Pruning (z. B. Reduktion auf 256 Dimensionen) bleibt die Leistung von LENS hoch, während die Speicher- und Suchkosten sinken. Im Vergleich zu Gecko (das für variable Größen trainiert wurde) zeigt LENS bei der Pruning einen geringeren Leistungsabfall.

5. Bedeutung und Fazit

Das Paper demonstriert, dass lexikonbasierte Embeddings nicht nur für Retrieval-Aufgaben geeignet sind, sondern auch für Clustering, Klassifikation und andere Aufgaben, bei denen sie oft als unterlegen galten.

• Transparenz: Im Gegensatz zu dichten Embeddings bieten LENS-Embeddings Interpretierbarkeit, da jede Dimension einem semantischen Cluster entspricht.
• Architektonische Einsicht: Die Studie widerlegt die Annahme, dass die Beibehaltung der ursprünglichen unidirektionalen Architektur von LLMs für Embeddings optimal sei. Sie zeigt, dass bidirektionale Aufmerksamkeit für lexikonbasierte Methoden essenziell ist.
• Zukunftsperspektive: Die Kombination aus lexikonbasierten und dichten Embeddings stellt einen vielversprechenden Weg dar, um die Vorteile beider Welten (Transparenz/Interpretierbarkeit vs. semantische Dichte) zu vereinen und State-of-the-Art-Leistungen zu erzielen.

Einschränkungen: Die Arbeit konzentriert sich derzeit nur auf englische Daten und nutzt Mistral-7B als Backbone. Die Rechenkosten durch den Einsatz von LLMs sind höher als bei kleineren Modellen wie SPLADE.