Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval

Die Studie argumentiert, dass zwar LLM-basierte Relevanzsysteme das Potenzial haben, die kurzsichtigen Grenzen von Embedding-basierten Verfahren zu überwinden, dies jedoch mit standardmäßigen annotierten Datensätzen nicht nachweisbar ist, da diese Annotationen selbst von derselben Kurzsichtigkeit betroffen sind.

Das Wesentliche

Hier ist eine einfache Erklärung der Forschungspapiere von Matei Benescu und Ivo Pascal de Jong, verpackt in eine Geschichte mit alltäglichen Vergleichen.

Die große Suche: Warum der "kluge Denker" nicht gewinnt (obwohl er es könnte)

Stell dir vor, du suchst in einer riesigen Bibliothek nach einem bestimmten Buch. Du hast eine Frage: "Was ist der Unterschied zwischen einem McDouble und einem Double Cheeseburger?"

In der Welt der Computersuche gibt es zwei Arten von Bibliothekaren, die dir helfen sollen:

1. Der "Wort-Versteher" (NERS – Neural Embedding Retrieval Systems)

Dieser Bibliothekar ist extrem schnell und hat ein super Gedächtnis für Wörter. Wenn du ihm deine Frage stellst, sucht er nach Dokumenten, die ähnliche Wörter enthalten.

• Das Problem: Er ist etwas kurzsichtig. Er denkt: "McDouble" und "Double Cheeseburger" sind nicht die gleichen Wörter wie "ein Stück Käse weniger". Also ignoriert er das Dokument, das die Antwort eigentlich perfekt enthält, nur weil es nicht die gleichen Schlagwörter benutzt.
• Die Analogie: Es ist wie bei einem Suchmaschinen-Spürhund, der nur nach dem Geruch des Wortes sucht. Wenn das Dokument den Geruch nicht hat, läuft er vorbei, selbst wenn es die Antwort enthält.

2. Der "Kluge Denker" (LLM-RJS – Large Language Model Relevance Judgment Systems)

Dieser Bibliothekar ist ein Genie. Er liest nicht nur die Wörter, er versteht den Sinn. Er kann logisch denken: "Aha! Der McDouble hat einen Käse, der Double Cheeseburger hat zwei. Das Dokument erklärt genau das!"

• Der Vorteil: Er findet die Antwort, auch wenn die Wörter ganz anders sind. Er nutzt "Logik" statt nur "Wort-Übereinstimmung".

---

Das Experiment: Wer ist besser?

Die Forscher haben beide Bibliothekare getestet, indem sie sie gegen eine riesige Datenbank von Fragen und Antworten laufen ließen.

Das überraschende Ergebnis:
Der "Kluge Denker" (LLM) hat nicht besser abgeschnitten als der schnelle "Wort-Versteher" (NERS). Tatsächlich war der Wort-Versteher oft sogar effizienter und günstiger.

Warum? Hier kommt der Twist:
Die Forscher haben herausgefunden, dass das Problem nicht beim "Klugen Denker" lag, sondern bei den Bewertern.

Stell dir vor, du hast einen Test gemacht, bei dem ein Lehrer deine Antworten korrigiert.

• Der Lehrer (der menschliche Annotator) hat das Dokument mit dem Käse-Unterschied als "falsch" markiert, weil er dachte: "Das Wort 'McDouble' steht da nicht drin, also passt es nicht."
• Der "Kluge Denker" hat gesagt: "Das ist die perfekte Antwort!"
• Da der Lehrer aber der "Wahrheit" (dem Standard-Test) entspricht, wurde der Kluge Denker abgestraft, obwohl er eigentlich recht hatte.

Die Metapher:
Es ist, als würdest du einen Schachgroßmeister gegen einen Anfänger antreten lassen, aber der Schiedsrichter ist ein Anfänger, der die Regeln nicht kennt. Der Schiedsrichter sagt: "Der Großmeister hat eine gute Züge gemacht, aber er hat nicht die exakten Steine bewegt, die ich erwartet habe. Also verliert er."

Was bedeutet das für uns?

1. Der "Kluge Denker" ist unterbewertet: Die aktuellen Tests (die auf menschlichen Bewertungen basieren) sind zu "kurzsichtig". Sie belohnen nur, wenn die Wörter übereinstimmen, nicht wenn die Bedeutung stimmt.
2. Menschen machen denselben Fehler: Auch wir Menschen neigen dazu, Dinge nur dann als relevant zu sehen, wenn sie ähnlich klingen. Wir übersehen oft die tieferen Zusammenhänge.
3. Die Zukunft: Wenn wir den "Klugen Denker" richtig nutzen (mit mehr Nachdenkzeit, sogenanntem "Reasoning"), kann er Dinge finden, die wir und die alten Suchmaschinen übersehen. Aber wir brauchen bessere Tests, die nicht nur auf oberflächlichen Ähnlichkeiten basieren.

Fazit in einem Satz

Der neue, intelligente KI-Bibliothekar ist eigentlich besser darin, die richtige Antwort zu finden, aber die aktuellen Prüfungen sind so veraltet, dass sie ihn dafür bestrafen, weil er nicht genau die gleichen Wörter benutzt wie die Frage – genau wie ein strenger Lehrer, der nur auf das Auswendiglernen achtet und nicht auf das Verständnis.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval" von Matei Benescu und Ivo Pascal de Jong in deutscher Sprache.

1. Problemstellung und Motivation

Das zentrale Problem der Arbeit liegt in der „kurzsichtigen" (short-sighted) Natur traditioneller Neuraler Embedding-Retrieval-Systeme (NERS) im Bereich Information Retrieval (IR).

• Limitierung von NERS: Herkömmliche moderne IR-Systeme basieren auf dichten Vektorrepräsentationen (Embeddings), die die semantische Ähnlichkeit zwischen Query und Dokument messen (z. B. mittels Cosine-Similarity). Die Autoren argumentieren, dass Ähnlichkeit nicht synonym mit Relevanz ist. Ein Dokument kann die Antwort auf eine Query enthalten, ohne dass es lexikalisch oder konzeptionell ähnlich zur Query ist (Beispiel: Query nach dem Unterschied zwischen zwei Burger-Typen, Dokument beschreibt den Unterschied, ohne die Begriffe zu wiederholen). NERS scheitern in solchen Fällen, da sie auf Ähnlichkeit statt auf logischem Schlussfolgern (Reasoning) basieren.
• Die Rolle von LLMs: Large Language Models (LLMs) besitzen die Fähigkeit, Relevanz durch Sprachverständnis und logisches Schlussfolgern direkt zu bewerten, anstatt nur auf Vektorähnlichkeit zu vertrauen. Solche Systeme werden als LLM-Based Relevance Judgment Systems (LLM-RJS) bezeichnet.
• Das Paradoxon: Bisherige Studien zeigten, dass LLMs menschliche Bewertungen erreichen, aber es fehlte ein direkter Vergleich, der zeigt, ob LLMs NERS übertreffen. Zudem ist unklar, ob der Einsatz von Reasoning-Fähigkeiten (Chain of Thought) hier einen signifikanten Vorteil bringt.

2. Methodik

Die Autoren führten zwei Hauptexperimente durch, um NERS und LLM-RJS zu vergleichen, wobei sie den TREC-DL 2019 Passage Retrieval-Datensatz verwendeten.

Experiment 1: Ranking-Leistung (NDCG)

• Ziel: Vergleich der Ranking-Qualität von NERS und LLM-RJS gegen den menschlichen „Ground Truth".
• Modelle:
  • NERS: Geschlossene Modelle (Google Gemini Embeddings) und Open-Weight-Modelle (nomic-embed-text:v1.5).
  • LLM-RJS: Verschiedene LLMs (GPT-5.1, Sonnet 4.5, Gemini 2.5 Pro, diverse Llama- und GPT-oss-Modelle).
  • Baseline: BM25.
• Prozess: Die Modelle bewerteten (Query, Passage)-Paare auf einer 4-Punkte-Skala (0–3). Die resultierenden Rankings wurden mit dem menschlichen Ground Truth verglichen.
• Metrik: NDCG (Normalized Discounted Cumulative Gain) bei k=5 und k=10. Dies misst, wie gut die vom System erstellte Rangliste mit der menschlichen Rangliste übereinstimmt.

Experiment 2: Analyse von Reasoning und Annotationen

• Ziel: Untersuchung des Einflusses von „Reasoning Effort" (Chain of Thought) und Analyse der Diskrepanzen zwischen LLM-Bewertungen und menschlichen Annotationen.
• Setup: Vergleich von GPT-5.1 (und gpt-oss:20b) unter zwei Bedingungen:
  1. Ohne Reasoning: Direkte Relevanzschätzung.
  2. Mit Reasoning: Das Modell generiert einen Denkprozess (CoT) vor der finalen Bewertung.
• Analyse: Statt nur das Ranking zu vergleichen, wurden die einzelnen Relevanzbewertungen direkt gegenübergestellt (Confusion Matrices). Der Fokus lag auf Fällen, in denen das LLM eine höhere Relevanz bewertete als der menschliche Annotator (False Positives aus Sicht der Metrik, aber potenziell korrekte Bewertungen aus Sicht der Logik).

3. Wichtige Beiträge

1. Vergleich NERS vs. LLM-RJS: Die Studie liefert den ersten direkten 1-zu-1-Vergleich zwischen NERS und LLM-RJS auf einem Standard-Benchmark.
2. Identifikation der „Kurzsichtigkeit" in Ground-Truth-Daten: Die Autoren zeigen, dass menschliche Annotationen selbst unter demselben „kurzsichtigen" Bias leiden wie NERS. Dokumente, die logisch relevant, aber nicht ähnlich sind, werden von menschlichen Annotatoren oft fälschlicherweise als irrelevant (Score 0) eingestuft.
3. Rolle des Reasoning: Es wird demonstriert, dass Reasoning-Fähigkeiten (CoT) LLMs befähigen, diese „kurzsichtigen" Lücken zu überbrücken und relevante, aber nicht ähnliche Dokumente zu identifizieren.
4. Kritik an Standard-Evaluationen: Die Arbeit argumentiert, dass Standard-Benchmarks (basierend auf menschlichen Annotationen) die wahre Leistungsfähigkeit von Reasoning-Modellen unterschätzen, da sie diese Modelle gegen einen fehlerhaften Ground Truth evaluieren.

4. Ergebnisse

Experiment 1: Ranking-Ergebnisse

• Kein signifikanter Vorteil für LLM-RJS: Trotz der theoretischen Überlegenheit in Bezug auf Reasoning schnitten die besten LLM-RJS-Modelle in Bezug auf NDCG nur gleichauf mit NERS ab, aber nicht signifikant besser.
• Kosten-Nutzen: NERS sind in Bezug auf Kosten und Latenzzeit deutlich effizienter (z. B. kostet Gemini Embedding 0,15 $ pro 1M Tokens, während GPT-5.1 deutlich teurer ist).
• Fazit: Unter der aktuellen Evaluierungsmetrik (NDCG gegen menschliche Labels) gibt es keinen Beweis dafür, dass LLM-RJS NERS übertreffen.

Experiment 2: Reasoning und Diskrepanzen

• Höhere Relevanzbewertungen durch LLMs: LLM-RJS, insbesondere mit Reasoning, vergaben systematisch höhere Relevanzscores als menschliche Annotatoren.
• Die „False-Positive"-Analyse: Bei 94 Fällen, in denen das LLM eine perfekte Relevanz (Score 3) bewertete, der Mensch jedoch Irrelevanz (Score 0), wurden 89 Fälle als Fehler in der menschlichen Annotation identifiziert.
  • Beispiel: Die Query „Unterschied zwischen McDouble und Double Cheeseburger" wurde von einem Dokument beantwortet („Ein Käsescheibe statt zwei..."), das die Begriffe nicht wiederholte. NERS und menschliche Annotatoren stuften dies als irrelevant ein, das reasonende LLM erkannte die korrekte Antwort.
• Schlussfolgerung: Das LLM-RJS ist in der Lage, Relevanz zu erkennen, die NERS und menschliche Annotatoren aufgrund von Ähnlichkeitsvoreingenommenheit übersehen.

5. Bedeutung und Schlussfolgerung

Die Arbeit stellt eine wichtige Kritik an der aktuellen Praxis der Evaluierung von Information-Retrieval-Systemen dar:

• Das „Kurzsichtigkeits-Problem": Sowohl NERS als auch menschliche Annotatoren neigen dazu, Relevanz mit Ähnlichkeit zu verwechseln. Da die Evaluierungsmetriken (NDCG) auf diesen menschlichen Annotationen basieren, werden Systeme, die echte Relevanz durch Reasoning erkennen (LLM-RJS), fälschlicherweise als schlechter eingestuft, weil sie vom „Ground Truth" abweichen.
• Potenzial von LLM-RJS: LLM-RJS haben das Potenzial, die Limitierungen von NERS zu überwinden, indem sie logische Schlussfolgerungen anstelle von rein statistischer Ähnlichkeit nutzen. Dies führt zu besseren Relevanzurteilen, die jedoch in aktuellen Benchmarks nicht sichtbar werden.
• Zukünftige Richtungen:
  • Es ist notwendig, Evaluierungsstandards neu zu definieren, die nicht nur auf Ähnlichkeit basieren.
  • Eine Neu-Annotation von Datensätzen durch Experten, die Reasoning-Fähigkeiten nutzen, könnte notwendig sein, um die wahre Leistung von LLM-RJS zu messen.
  • Praktische Anwendungen könnten hybride Ansätze sein (z. B. NERS für das erste Screening, gefolgt von LLM-RJS mit Reasoning für das Re-Ranking), um Kosten und Genauigkeit zu balancieren.

Zusammenfassend zeigt das Paper, dass LLMs im Information Retrieval „geheimnisvoll" besser sein könnten als Embedding-Modelle, aber diese Überlegenheit durch die Kurzsichtigkeit der aktuellen Evaluierungsmethoden und Ground-Truth-Daten verdeckt wird.