Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval

Hoewel het onderzoek concludeert dat LLM-gebaseerde relevantieoordelen het potentieel hebben om de beperkingen van embedding-achtige systemen te overwinnen door kortzichtigheid te doorbreken, kan dit voordeel niet worden aangetoond met standaard annotatiegegevens omdat deze zelf ook last hebben van dezelfde kortzichtigheid.

De kern

Hier is een uitleg van het onderzoek in simpel Nederlands, met behulp van alledaagse vergelijkingen.

De Kernboodschap: Waarom slimme zoekmachines soms "dom" lijken

Stel je voor dat je op zoek bent naar een specifiek antwoord op een vraag, bijvoorbeeld: "Wat is het verschil tussen een McDouble en een Double Cheeseburger?"

In de wereld van zoekmachines zijn er twee manieren om te zoeken:

1. De "Woordenlijst"-methode (Embedding Similarity / NERS):
   Dit is de huidige standaard. De computer kijkt naar de woorden in je vraag en zoekt documenten die dezelfde woorden bevatten. Het is alsof je een zoektocht doet met een woordenboek: als je "McDouble" typt, zoekt de computer naar teksten met "McDouble".

   • Het probleem: Als het antwoord in de tekst staat als "Eén plakje kaas in plaats van twee", dan ziet de computer geen overlap. Voor de computer zijn de vraag en het antwoord totaal verschillend, ook al is het antwoord perfect. De computer is hier kortzichtig; hij ziet alleen de oppervlakte, niet de betekenis.

2. De "Slimme Assistent"-methode (LLM-RJS):
   Dit is de nieuwe methode met Large Language Models (zoals de AI waar dit artikel over gaat). Deze AI leest je vraag én het antwoord, en denkt na: "Ah, dit antwoord beschrijft precies het verschil, ook al gebruiken ze andere woorden."

   • De kracht: De AI kan redeneren. Hij begrijpt dat "één plakje kaas" het antwoord is op "wat is het verschil".

Wat hebben de onderzoekers ontdekt?

De onderzoekers van de Universiteit van Groningen wilden weten: "Is de slimme assistent (LLM) echt beter dan de woordenlijst-method (NERS)?"

Ze hebben een grote test gedaan met duizenden vragen en antwoorden. Het resultaat was verrassend en een beetje frustrerend:

• De testresultaten: De slimme assistent deed het niet beter dan de oude woordenlijst-methode volgens de standaard cijfers.
• Waarom? Hier komt de echte ontdekking. De reden dat de slimme assistent niet "wint", is niet omdat hij dom is, maar omdat de mensen die de antwoorden hebben gecontroleerd, ook kortzichtig waren.

De Grootste Ontdekking: De Menselijke Blinde Vlek

Stel je voor dat je een proef doet waarbij een robot en een mens moeten raden welk antwoord goed is. De robot zegt: "Dit antwoord is perfect!" De mens zegt: "Nee, dit is fout, want de woorden komen niet overeen."

In dit onderzoek bleek dat de menselijke beoordelaars (die de "waarheid" bepaalden voor de test) vaak dezelfde fout maakten als de oude zoekmachine. Ze keken alleen naar de woorden, niet naar de betekenis.

• Voorbeeld: Bij de vraag over de McDouble gaven de mensen een score van 0 (niet relevant) omdat de tekst niet het woord "McDouble" herhaalde. De slimme AI gaf een score van 3 (perfect relevant) omdat hij het verschil begreep.
• De conclusie: De AI had gelijk, maar de testmaten (de menselijke scores) zeiden dat de AI "fout" zat. De AI werd dus gestraft voor het vinden van iets dat de mensen over het hoofd zagen.

Een Leuke Analogie: De Zoektocht naar de Sleutel

Stel je voor dat je je sleutel kwijt bent.

• De oude methode (NERS) is als iemand die alleen kijkt naar objecten die op een sleutel lijken (een metalen ring, een gat). Als je sleutel in een rare vorm is, ziet hij hem niet.
• De nieuwe methode (LLM) is als een detective die begrijpt waar je de sleutel zou kunnen hebben laten vallen, zelfs als hij er niet uitziet als een sleutel.
• Het probleem: De "rechter" (de menselijke beoordelaar) die moet zeggen wie de winnaar is, kijkt ook alleen naar de vorm. Als de detective een sleutel vindt die er niet uitziet als een sleutel, zegt de rechter: "Fout! Dat is geen sleutel."

De onderzoekers zeggen eigenlijk: "De detective is slimmer dan de rechter, maar omdat de rechter dom is, denken we dat de detective slecht is."

Wat betekent dit voor de toekomst?

1. De slimme AI is beter: De nieuwe modellen kunnen echt begrijpen wat relevant is, zelfs als de woorden niet overeenkomen. Ze kunnen de "kortzichtigheid" van de oude systemen oplossen.
2. Maar we meten het verkeerd: Omdat we de resultaten vergelijken met oude, menselijke tests (die ook kortzichtig zijn), zien we niet dat de AI wint. Het is alsof je een Formule 1-auto test op een fietspad en zegt: "Deze auto is niet sneller dan een fiets, want hij kan niet over de stoeprand."
3. De oplossing: We moeten onze tests (de menselijke beoordelingen) opnieuw doen, zodat we de echte slimme antwoorden van de AI ook echt waarderen.

Kort samengevat:
De nieuwe AI is niet dom, hij is juist heel slim en kan dingen begrijpen die oude systemen en zelfs sommige mensen over het hoofd zien. Maar omdat we hem testen met oude, "kortzichtige" regels, lijkt het alsof hij niet beter is. We moeten onze meetlat aanpassen om de echte kracht van deze technologie te zien.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "Why Large Language Models can Secretly Outperform Embedding Similarity in Information Retrieval" in het Nederlands.

Titel

Waarom Large Language Models (LLM's) Embedding-achtigheid in Informatieretrieval (IR) in het geheim kunnen overtreffen.

1. Het Probleem

Informatieretrieval (IR) systemen evolueren van traditionele methoden (zoals BM25) naar Neural Embedding Retrieval Systems (NERS). NERS gebruiken dichte vectorrepresentaties (embeddings) om documenten te rangschikken op basis van semantische gelijkenis met een zoekopdracht.

De auteurs stellen dat gelijkenis (similarity) een kortzichtig (short-sighted) concept is voor relevantie. Een document kan perfect relevant zijn voor een vraag zonder dat de tekst semantisch lijkt op de zoekopdracht.

• Voorbeeld: Als iemand vraagt naar het "verschil tussen een McDouble en een Double Cheeseburger", en het antwoord is "één plakje kaas in plaats van twee", dan is er geen directe tekstuele overlap. Een NER-systeem zou dit document mogelijk negeren omdat de embeddings niet overeenkomen, terwijl het feitelijk het juiste antwoord is.
• Hypothese: LLM-Based Relevance Judgment Systems (LLM-RJS) die gebruikmaken van redenering (reasoning) en taalbegrip, kunnen deze beperking van NERS overwinnen en beter presteren dan systemen die puur op gelijkenis vertrouwen.

2. Methodologie

De auteurs voeren twee experimenten uit op het TREC-DL 2019 passage retrieval dataset (afgeleid van MS MARCO), waar zoekopdrachten, passages en menselijke relevantie-scores (0-3) beschikbaar zijn.

Experiment 1: Vergelijking van Rangschikking (Ranking)

• Doel: Bepalen of LLM-RJS systemen beter presteren dan NERS en BM25 in het rangschikken van documenten.
• Modellen:
  • NERS: Google's gemini-embedding001 (gesloten) en nomic-embed-text:v1.5 (open source).
  • LLM-RJS: Verschillende modellen (o.a. GPT-5.1, Sonnet 4.5, Gemini 2.5 Pro, en diverse open weights modellen zoals Llama en GPT-oss).
  • Baseline: BM25.
• Proces: De systemen rangschikken documenten op basis van hun geschatte relevantie. De kwaliteit van de rangschikking wordt gemeten met NDCG (Normalized Discounted Cumulative Gain) tegenover de menselijke "ground truth".
• Instelling: Zero-shot prompting zonder specifieke training op het dataset. Temperatuur op 0 voor reproduceerbaarheid.

Experiment 2: Impact van Redenering (Reasoning)

• Doel: Analyseren of het toevoegen van "Chain of Thought" (CoT) redenering de nauwkeurigheid van de relevantie-inschatting verbetert en de discrepantie met menselijke annotaties verklaart.
• Proces: Vergelijking van GPT-5.1 in twee modi:
  1. Zonder redenering: Directe inschatting van de score.
  2. Met redenering: Het model genereert eerst een redeneerproces voordat het de score geeft.
• Meting: In plaats van rangschikking wordt hier de directe overeenkomst tussen de LLM-score en de menselijke score vergeleken (via verwarringsmatrices en gemiddelde fouten).

3. Belangrijkste Bijdragen

1. Vergelijkende Evaluatie: De eerste directe 1-op-1 vergelijking tussen state-of-the-art NERS en diverse LLM-RJS modellen op een standaard IR-benchmark.
2. Analyse van "Kortzichtigheid": Het paper identificeert dat menselijke annotaties in datasets (zoals TREC-DL) zelf last hebben van kortzichtigheid. Menselijke beoordelaars neigen documenten als "niet relevant" (score 0) te bestempelen als ze niet letterlijk overeenkomen met de zoekopdracht, zelfs als ze het antwoord bevatten.
3. Redenering als Oplossing: Het aantonen dat LLM's met redenering (CoT) in staat zijn om deze verborgen relevantie te detecteren die door menselijke annotatoren en NERS wordt gemist.
4. Critische Evaluatie van Benchmarks: De conclusie dat standaard benchmarks met menselijke annotaties LLM-RJS systemen mogelijk onderschatten, omdat de "ground truth" zelf gebrekkig is.

4. Resultaten

Uit Experiment 1 (Rangschikking)

• Geen significante verbetering: De top-LLM's presteren op gelijke niveau met NERS (gemeten in NDCG), maar overtreffen deze niet significant.
• Oorzaak: Omdat de evaluatie gebaseerd is op menselijke annotaties, worden de "verborgen" relevante documenten die de LLM's vinden, niet beloond in de metrics. De LLM's worden dus bestraft voor het vinden van relevante content die niet in de menselijke ground truth staat.
• Kosten: NERS zijn aanzienlijk goedkoper en sneller dan LLM-RJS.

Uit Experiment 2 (Redenering & Annotaties)

• Hogere Scores: LLM's met redenering geven systematisch hogere relevantie-scores dan menselijke beoordelaars.
• De "Valse Positieven": Uit analyse bleek dat van de 94 gevallen waar de LLM (met redenering) een hoge score gaf en de mens een 0 (irrelevant), 89 gevallen eigenlijk fouten in de menselijke annotatie waren.
  • Voorbeeld: De vraag over McDouble vs. Double Cheeseburger werd door mensen als irrelevant beoordeeld (geen tekstuele overlap), maar door de LLM correct als perfect relevant herkend.
• Conclusie: De menselijke annotaties lijden onder dezelfde "kortzichtigheid" als NERS-systemen. De LLM's identificeren relevantie die verder gaat dan oppervlakkige gelijkenis.

5. Betekenis en Conclusie

Het paper concludeert dat LLM-RJS systemen het potentieel hebben om de fundamentele beperking van NERS (de afhankelijkheid van tekstuele gelijkenis) te overwinnen. Ze kunnen documenten vinden die relevant zijn maar niet semantisch lijken op de zoekopdracht.

Echter, dit potentieel wordt niet zichtbaar in standaard evaluaties (zoals NDCG op TREC-DL) omdat de "ground truth" (menselijke annotaties) zelf kortzichtig is. De menselijke beoordelaars maken dezelfde fouten als de embedding-modellen: ze negeren relevantie die niet direct overeenkomt met de zoektermen.

Toekomstperspectief:

• Er is een behoefte aan nieuwe evaluatiemethoden die niet afhankelijk zijn van kortzichtige menselijke annotaties.
• Een mogelijke oplossing is een hybride aanpak: NERS voor snelle filtering van kandidaten, gevolgd door een LLM-RJS met redenering voor de definitieve rangschikking (re-ranking).
• De auteurs waarschuwen dat de prestaties van zero-shot IR-methoden momenteel worden onderschat door de kwaliteit van de bestaande datasets.

Samenvattend: LLM's kunnen beter zijn dan embedding-systemen voor echte relevantie, maar we kunnen dit momenteel niet meten omdat onze meetlat (menselijke annotaties) zelf te kortzichtig is.