💬 NLP

DiffRetriever: Parallel Representative Tokens for Retrieval with Diffusion Language Models

DiffRetriever führt eine parallele Methode zur Abrufung repräsentativer Token für Diffusions-Sprachmodelle ein, die mehrere maskierte Positionen an Prompts anhängt und diese in einem einzigen bidirektionalen Durchgang ausliest, wodurch eine überlegene Leistung und Effizienz gegenüber sequenziellen autoregressiven Mehr-Token-Ansätzen und bestehenden kontrastiv feinabgestimmten Abrufsystemen erreicht wird.

Ursprüngliche Autoren: Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Veröffentlicht 2026-05-11

📖 4 Min. Lesezeit☕ Kaffeepausen-Lektüre

CC BY 4.0

Ursprüngliche Autoren: Shuai Wang, Yin Yu, Shengyao Zhuang, Bevan Koopman, Guido Zuccon

Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen

Stellen Sie sich vor, Sie versuchen, in einer riesigen Bibliothek das perfekte Buch anhand eines einzigen Satzes zu finden, den Sie auf eine Serviette geschrieben haben. Das ist es, was ein Computer-„Retriever" tut: Er nimmt Ihre Anfrage und findet die am besten passenden Dokumente.

Lange Zeit war der beste Weg, dies zu tun, die Verwendung eines „klugen Bibliothekars" (eines KI-Modells), das Ihren Satz liest und ein einziges Wort aufschreibt, um die gesamte Idee darzustellen. Das ist schnell, aber manchmal reicht ein Wort nicht aus, um einen komplexen Gedanken einzufangen.

Forscher versuchten, den Bibliothekar zu veranlassen, mehrere Wörter zu schreiben, um präziser zu sein. Doch bei der alten Art von KI (genannt „autoregressiv") musste der Bibliothekar diese Wörter eins nach dem anderen, in einer Reihe schreiben. Wenn Sie nach 20 Wörtern fragten, mussten sie das erste schreiben, warten, das zweite schreiben, warten und so weiter. Das war so langsam, dass die zusätzlichen Wörter die Wartezeit nicht wert schienen, und die Ergebnisse wurden nicht viel besser.

Enter DiffRetriever: Der Bibliothekar des „Gruppen-Denkens"

Diese Arbeit stellt einen neuen Typ von Bibliothekar vor, der DiffRetriever heißt und eine andere Art von KI verwendet, ein Diffusions-Sprachmodell.

Hier ist der Trick:
Anstatt Wörter eins nach dem anderen in einer Reihe zu schreiben, betrachtet der Diffusions-Bibliothekar eine leere Seite mit 20 leeren Feldern (maskierten Positionen) und füllt alle 20 Felder genau gleichzeitig aus.

Stellen Sie es sich so vor:

Der alte Weg (Autoregressiv): Sie bitten einen Freund, einen Film zu beschreiben. Er sagt: „Es war..." (Pause) „ein..." (Pause) „großartiger..." (Pause) „Action..." (Pause) „Film." Er muss auf jedes Wort warten, bevor er mit dem nächsten beginnt. Wenn Sie 20 Wörter wollen, dauert es ewig.
Der neue Weg (Diffusion): Sie übergeben Ihrem Freund ein Blatt mit 20 leeren Kästchen. Sie sagen: „Füllen Sie diese Kästchen mit der Beschreibung." Er betrachtet das ganze Blatt, denkt über den Film nach und füllt gleichzeitig alle 20 Kästchen in einem einzigen Blick aus.

Was die Arbeit herausfand

Geschwindigkeit vs. Qualität: Die Forscher testeten dies an zwei Arten von KI: den alten „eins-nach-dem-anderen"-Schreibern und den neuen „alle-auf-einmal"-Schreibern.
- Als sie die alten Schreiber aufforderten, mehrere Wörter zu produzieren, wurde es immer langsamer, und die Qualität verbesserte sich nicht wirklich.
- Als sie die neuen Schreiber aufforderten, mehrere Wörter zu produzieren, war es genauso schnell wie das Schreiben eines Wortes (weil sie alles auf einmal taten), aber die Qualität sprang deutlich an. Es war, als erhielten Sie eine viel bessere Beschreibung für die gleiche Zeitspanne.
Der beste Performer: Nach dem Training des neuen „alle-auf-einmal"-Bibliothekars (speziell eines namens „Dream") war er in ihren Tests am besten darin, relevante Dokumente zu finden und schlug alle anderen Methoden, einschließlich der alten Mehrwort-Versuche und anderer moderner KI-Modelle.
Das „perfekte" Budget: Die Forscher stellten auch fest, dass verschiedene Fragen unterschiedliche Anzahlen von Wörtern benötigen. Eine einfache Frage wie „Wie ist das Wetter?" benötigt möglicherweise nur 2 Wörter, während eine komplexe Frage 16 benötigen könnte.
- Derzeit wählen sie eine Zahl (wie 4 oder 16) und verwenden sie für jede Frage.
- Sie stellten fest, dass das System noch besser werden würde – besser als sogar die trainierten Modelle –, wenn sie magisch genau wüssten, wie viele Wörter jede spezifische Frage vor dem Schreiben benötigt.
- Sie stellten auch fest, dass einfache Hinweise, wie die Länge der Frage, vorhersagen können, wie viele Wörter benötigt werden. Dies legt nahe, dass wir in Zukunft ein System bauen könnten, das automatisch anpasst, wie viele Wörter es für jede Frage schreibt, und so das Beste aus beiden Welten erhält.

Zusammenfassung

Die Arbeit beweist, dass das Problem bei der Verwendung mehrerer Wörter für die Suche nicht die Idee der Verwendung mehrerer Wörter war; es war die alte Art, sie zu schreiben (eins nach dem anderen). Durch den Wechsel zu einer neuen KI, die alle Wörter auf einmal schreibt, machten sie die Mehrwort-Suche schnell, günstig und viel genauer. Es ist, als würde man erkennen, dass man nicht auf einen langsamen Zug warten muss, um sein Paket zu liefern; man braucht einfach eine Drohne, die alles auf einmal abwirft.

Technischer Zusammenfassung: DiffRetriever

Problemstellung

Neueste Arbeiten, insbesondere PromptReps (Zhuang et al., 2024), zeigten, dass autoregressive Sprachmodelle (AR-LLMs) als Zero-Shot-Retriever fungieren können, indem sie dazu angeregt werden, repräsentative Token (dichte Vektoren und sparse Logits) für Abfragen und Passagen zu generieren. Die Erweiterung dieses Ansatzes auf Multi-Token-Retrieval (Generierung von $K$ Repräsentanten statt eines einzigen) erwies sich jedoch bei AR-Modellen als ineffizient und oft wirkungslos. Da AR-Modelle Token sequenziell generieren, erfordert die Erzeugung von $K$ Repräsentanten $K$ Vorwärtsdurchläufe, wodurch sich die Kodierungsverzögerung linear mit $K$ skaliert. Frühere Versuche mit Multi-Token-PromptReps zeigten trotz dieser signifikanten Latenzkosten keine konsistenten Leistungssteigerungen gegenüber der Single-Token-Decodierung, sodass unklar blieb, ob die Einschränkung im Multi-Token-Konzept selbst oder im sequenziellen Generierungs-Engpass lag.

Methodik

Die Autoren schlagen DiffRetriever vor, ein Retrieval-Framework, das speziell für Diffusions-Sprachmodelle (DiffLMs) entwickelt wurde, um das sequenzielle Generierungs-Engpass zu überwinden.

Kernmechanismus

Im Gegensatz zu AR-Modellen, die Token nacheinander generieren, füllen DiffLMs maskierte Positionen gemeinsam unter bidirektionaler Aufmerksamkeit auf. DiffRetriever nutzt dies wie folgt:

Prompt-Konstruktion: Anhängen von $K$ maskierten Positionen ([MASK]) an einen Prompt für repräsentative Token (z. B. „Die Wörter sind [MASK]...").
Paralleles Decodieren: Einspeisen der gesamten Sequenz (Prompt + $K$ Masken) in das DiffLM in einem einzelnen bidirektionalen Vorwärtsdurchlauf.
Extraktion von Repräsentationen: Gleichzeitiges Extrahieren von $K$ dichten Hidden States und $K$ sparse Logit-Vektoren aus den $K$ maskierten Positionen.

Bewertung und Training

Bewertung: Das Framework übernimmt die hybride Bewertungsrezeptur von PromptReps:
- Dichte Bewertung: Berechnet über ColBERT-artige späte Interaktion (MaxSim) zwischen Hidden States von Abfrage und Passage.
- Sparse Bewertung: Berechnet über max-gepoolte, durch ReLU aktivierte Logits.
- Hybride Bewertung: Eine lineare Interpolation normalisierter dichter und sparse Bewertungen.
Feinabstimmung: Die Autoren wenden kontrastives Fine-Tuning (InfoNCE-Verlust) sowohl auf dichte als auch auf sparse Bewertungen an, was sowohl für AR- als auch für DiffLM-Backbones gilt.

Experimentelles Setup

Die Studie vergleicht vier Backbones (7B–8B Parameter):

Autoregressiv (AR): LLaMA3-8B, Qwen2.5-7B.
Diffusion (Diff): Dream-7B (initialisiert von Qwen2.5), LLaDA-8B (von Grund auf trainiert).
Baselines: BM25, PromptReps (AR), DiffEmbed (DiffLM als mean-pooled Encoder) und RepLLaMA (kontrastiv feinabgestimmtes AR).
Datensätze: MS MARCO, TREC DL 2019/2020 und BEIR-7 (sieben diverse datensätze außerhalb des Domänenbereichs).

Hauptergebnisse

1. Effizienz und Wirksamkeit von Multi-Token

Diffusion vs. Autoregression: Der Multi-Token-DiffRetriever verbessert sich auf jedem getesteten Diffusions-Backbone erheblich gegenüber dem Single-Token-DiffRetriever. Im Gegensatz dazu zeigen Multi-Token-AR-Modelle gegenüber Single-Token-AR-Modellen flache oder negative Gewinne.
Latenz: Die Kodierungskosten für den Multi-Token-DiffRetriever bleiben unabhängig von $K$ (einzelner Vorwärtsdurchlauf) annähernd konstant, während sich die Kosten für AR-Multi-Token linear skalieren. Im Zero-Shot-Setting ( $K \le 20$ ) verursacht AR-Multi-Token eine Latenzstrafe von $\approx 15\times$ im Vergleich zur Diffusion, ohne konsistente Leistungsgewinne.
Leistungsumkehr: In Zero-Shot-Szenarien übertreffen AR-Modelle DiffLMs zunächst bei $K=1$ . Bei $K>1$ überholen DiffLMs (insbesondere Dream und LLaDA) jedoch ihre AR-Pendants. Beispielsweise verdoppelt Dream-Multi-Token die MS MARCO-Leistung fast im Vergleich zur Single-Token-Version und überholt Qwen2.5.

2. State-of-the-Art-Leistung

Zero-Shot: DiffRetriever auf LLaDA erzielt die höchste durchschnittliche BEIR-7-Bewertung unter den Zero-Shot-Systemen im Vergleich und übertrifft PromptReps auf AR-Backbones sowie die DiffEmbed-Baseline.
Feinabgestimmt: Nach überwachtem Fine-Tuning wird DiffRetriever auf Dream zum stärksten BEIR-7-Retriever insgesamt und übertrifft feinabgestimmtes PromptReps, DiffEmbed und das kontrastiv feinabgestimmte RepLLaMA.
Backbone-Synergie: Der Dream-Backbone (initialisiert von Qwen2.5) zeigt eine größere Leistungsschwankung von Zero-Shot zu feinabgestimmt im Vergleich zu LLaDA, was darauf hindeutet, dass AR-Pre-Training-Priors in Kombination mit bidirektionalem Diffusions-Decodieren für das Retrieval hochwirksam sind.

3. Budgetanalyse und Oracle-Reserve

Fest vs. Adaptiv: Die Studie identifiziert, dass die Verwendung eines festen Budgets $(K_q, K_p)$ über alle Abfragen hinweg erhebliche Leistungspotenziale ungenutzt lässt.
Oracle-Analyse: Ein „pro-Query-Oracle" (das das optimale $K$ für jede Abfrage unter Verwendung von Ground Truth auswählt) übertrifft auf dem eingefrorenen Basismodell das kontrastive Fine-Tuning bei einem festen Budget über alle Kombinationen hinweg.
Vorhersagbarkeit: Das optimale Budget korreliert positiv mit kostengünstigen Abfrage-Features (Länge und Shannon-Entropie), was nahelegt, dass ein gelernter Router für die adaptive Budgetauswahl eine vielversprechende zukünftige Richtung ist.

Bedeutung und Behauptungen

Die Arbeit behauptet, die Unklarheiten rund um Multi-Token-Retrieval zu klären:

Das Engpass ist die sequenzielle Generierung: Das Scheitern früher Multi-Token-AR-Retriever lag nicht am Multi-Token-Konzept selbst, sondern an den Kosten der sequenziellen Decodierung. DiffRetriever beweist, dass Multi-Token-Retrieval sowohl wirksam als auch kostengünstig ist, wenn es durch Diffusionsmodelle von der sequenziellen Generierung entkoppelt wird.
Trainingsausgerichtete Ziele: Die Abfrage des Diffusionsmodells in seiner vortrainierten Form (paralleles Vorhersagen maskierter Positionen) überträgt sich besser auf Retrieval-Aufgaben als die Umwidmung des Modells als Standard-BERT-artiger Encoder (wie bei DiffEmbed).
Adaptives Potenzial: Die Existenz einer großen Lücke zwischen der Leistung bei festem Budget und der Oracle-Leistung pro Abfrage unterstreicht die adaptive Budgetauswahl als einen kritischen, ungenutzten Weg zur Verbesserung von Retrieval-Effizienz und -Wirksamkeit.

Die Autoren schließen, dass DiffRetriever einen neuen State-of-the-Art für diffusionsbasiertes Retrieval etabliert und zeigt, dass parallele repräsentative Token sowohl Single-Token-Diffusion als auch sequenzielle autoregressive Ansätze übertreffen können, bei gleichzeitiger Aufrechterhaltung niedriger Latenz.