Automatic In-Domain Exemplar Construction and LLM-Based Refinement of Multi-LLM Expansions for Query Expansion

Deze paper presenteert een automatisch, trainingsvrij raamwerk voor query-uitbreiding dat domeinspecifieke voorbeelden selecteert en een ensemble van twee heterogene grote taalmodellen gebruikt om consistente en statistisch significante verbeteringen te behalen ten opzichte van bestaande methoden.

De kern

Stel je voor dat je op zoek bent naar een specifiek recept in een enorme, chaotische keuken vol met miljoenen kookboeken. Je typt "soep met kip" in, maar de keukenrobot (de zoekmachine) vindt alleen boeken over "kippensoep" of "kippenbouillon" en mist precies dat ene recept dat je zoekt. Dit is het probleem van zoekopdrachten: mensen gebruiken andere woorden dan de documenten die ze zoeken.

Deze paper introduceert een slimme oplossing om deze zoekmachine slimmer te maken, zonder dat er duizenden mensen handmatig regels moeten schrijven. Laten we het proces stap voor stap uitleggen met een paar creatieve vergelijkingen.

1. Het Probleem: De "Vreemde Taal" van Zoeken

Stel je voor dat je een zoekmachine vraagt om "snelle auto's" te vinden. De zoekmachine kijkt alleen naar de exacte woorden. Als een artikel "sportwagens" of "snelheid" noemt, maar niet "auto", ziet de machine het niet.

Oude methoden (zoals Rocchio) waren als een robot die gewoon woorden uit de eerste paar gevonden artikelen plukt en aan je zoekopdracht toevoegt. Dat werkt soms, maar vaak plukt hij de verkeerde woorden en raakt hij de weg kwijt (zoals een gids die je per ongeluk de verkeerde kant op leidt).

2. De Oplossing: Een Slimme, Zelflerende Assistent

De auteurs van dit papier hebben een systeem gebouwd dat werkt als een super-slimme zoekassistent die drie dingen doet:

Stap 1: De "Proefkeukens" aanleggen (In-Domain Exemplar Construction)

Voordat de assistent echt gaat zoeken, moet hij leren wat voor soort "recepten" er in deze specifieke keuken (bijvoorbeeld medische artikelen of Wikipedia) te vinden zijn.

• Hoe doen ze dit? Ze gebruiken een simpele robot (BM25) om eerst een paar artikelen te vinden. Dan laten ze een slimme AI (MonoT5) die artikelen beoordelen: "Is dit echt relevant?"
• Het resultaat: Ze bouwen een enorme bibliotheek van voorbeelden (query + goed antwoord) die specifiek zijn voor het onderwerp. Het is alsof je een verzameling maakt van de beste kookboeken uit precies die keuken, zodat de assistent weet hoe de taal daar klinkt.

Stap 2: De Slimme Keuze (Clustering)

Nu moet de assistent een zoekopdracht doen. Hij kan niet alle duizenden voorbeelden tegelijk lezen. Hij moet de beste voorbeelden kiezen om naar te kijken.

• De truc: In plaats van willekeurig te kiezen, gebruiken ze een clustering-methode. Stel je voor dat je alle voorbeelden in groepjes verdeelt op basis van hun "smaak" (bijvoorbeeld: groep "snelle auto's", groep "elektrische auto's").
• Uit elke groep kiezen ze het perfectste voorbeeld (het middelpunt). Zo krijgt de assistent een divers menu van voorbeelden die precies bij je zoekvraag passen, zonder dat iemand handmatig heeft gekozen. Dit zorgt voor een stabiel en betrouwbaar resultaat.

Stap 3: Het "Duo-Team" met een Chef-Kok (Multi-LLM Refinement)

Dit is het meest creatieve deel. In plaats van één AI te gebruiken, laten ze twee verschillende AI's (bijvoorbeeld Qwen en Llama) onafhankelijk van elkaar een zoekopdracht herschrijven.

• AI 1 denkt: "Misschien bedoel je 'sportauto's'."
• AI 2 denkt: "Misschien bedoel je 'racewagens'."
• Het probleem: Als je ze gewoon samenvoegt, krijg je een rommelige zin: "Zoek naar sportauto's racewagens".
• De Chef-Kok (Refinement LLM): Hier komt de derde AI in beeld. Deze fungeert als een chef-kok die de twee ideeën van de andere twee koks neemt en er een perfect, samenhangend gerecht van maakt. Hij haalt de dubbele woorden weg, combineert de beste ideeën en maakt er één heldere, krachtige zoekopdracht van.

Waarom is dit zo goed?

1. Geen menselijke hulp nodig: Het systeem bouwt zijn eigen voorbeeldbibliotheek en kiest zelf de beste voorbeelden. Geen dure mensen nodig om regels te schrijven.
2. Het werkt overal: Of je nu zoekt in medische tijdschriften, Wikipedia of het hele internet, het systeem past zich automatisch aan.
3. Kracht in getallen: Door twee AI's te laten denken en een derde te laten samenvoegen, krijgen ze de voordelen van beide kanten (zoals twee experts die overleggen) zonder de nadelen van verwarring.

Conclusie

Kortom: Dit papier beschrijft een manier om zoekmachines te trainen door ze slimme voorbeelden te geven die ze zelf hebben gevonden, en ze te laten werken in een team van drie. Twee AI's bedenken ideeën, en een derde AI zorgt dat het eindresultaat een perfect, schoon en krachtig zoekverzoek is. Het is alsof je van een simpele zoekmachine een team van expert-rechercheurs maakt die samenwerken om precies te vinden wat je zoekt, zelfs als je de woorden niet kent.

Technische samenvatting

Probleemstelling

Query Expansion (QE) is een cruciale techniek in Information Retrieval (IR) om het vocabulaire-mismatch tussen gebruikersvragen en relevante documenten op te lossen. Hoewel Large Language Models (LLM's) belovend zijn voor het genereren van semantisch rijke herschrijvingen van vragen, lijden bestaande LLM-gebaseerde methoden aan drie belangrijke tekortkomingen:

1. Afhankelijkheid van handmatige input: Veel methoden vertrouwen op handmatig ontworpen prompts of handmatig geselecteerde voorbeelden (exemplars), wat niet schaalbaar is.
2. Gebrek aan domeinadaptiviteit: Bestaande voorbeelden komen vaak uit domeinen die niet overeenkomen met de doelcorpora, wat leidt tot instabiele prestaties bij domeinverschuivingen.
3. Gebruik van één model: De meeste studies gebruiken slechts één LLM, waardoor het potentieel van complementaire kennis van meerdere modellen onbenut blijft.

Methodologie

De auteurs stellen een volledig geautomatiseerd, label-vrij framework voor dat bestaat uit drie fasen, zoals geïllustreerd in Figuur 1 van het paper:

Fase 1: Automatische constructie van een domein-specifiek voorbeeldpool
In plaats van handmatige selectie, bouwen de auteurs een grote pool van (query, expansie)-paren zonder menselijke labels:

• Pseudo-relevantie: Voor een gegeven corpus worden seed-queries gebruikt om via BM25 de top-N kandidaten op te halen.
• Reranking: Deze kandidaten worden gerankt met MonoT5. De hoogst gerankte passage per query wordt behandeld als een "pseudo-relevante" passage.
• Resultaat: Dit creëert een grote pool van in-domein voorbeelden (bijv. 100.000 voor MS MARCO, 809 voor SciFact).

Fase 2: Few-shot Query Expansion met Cluster-gebaseerde selectie
Voor elke test-query worden voorbeelden geselecteerd uit de pool voor In-Context Learning (ICL):

• Embeddings: Alle kandidaat-voorbeelden worden geëncodeerd met Contriever.
• Clustering: Een k-means clustering-algoritme verdeelt de pool in $k$ semantische groepen.
• Selectie: Uit elke cluster wordt het medoid (het voorbeeld dat het dichtst bij het clustercentrum ligt) geselecteerd als voorbeeld. Dit zorgt voor een diverse en stabiele set demonstraties zonder menselijke tussenkomst.
• Generatie: Een LLM (Qwen-2.5-7B-Instruct) genereert een expansie op basis van deze geselecteerde voorbeelden.

Fase 3: Ensemble van twee LLM's met Refinement
Om de complementariteit van verschillende modellen te benutten, wordt een ensemble-methode toegepast:

1. Onafhankelijke Generatie: Twee heterogene LLM's (Qwen-2.5-7B en Llama-3.1-8B) genereren onafhankelijk expansies voor dezelfde query, gebruikmakend van dezelfde cluster-voorbeelden.
2. Refinement (Samenvoeging): Een derde LLM (de "refinement" module) fungeert als een samenvoegingsagent. Deze ontvangt de originele query en de twee gegenereerde expansies, en herschrijft ze tot één coherent, rijk en minder ruisbevatte expansie.
3. Final Query: De uiteindelijke query bestaat uit 5 kopieën van de originele query gevolgd door de gefuseerde expansie.

Kernbijdragen

1. Volledig geautomatiseerde pipeline: Een label-vrije methode om grote pools van in-domein voorbeelden te bouwen via een BM25-MonoT5 pipeline.
2. Eenvoudige clustering-strategie: Een reproduceerbare, trainingsvrije methode voor het selecteren van diverse en stabiele ICL-demonstraties.
3. Training-vrij Multi-LLM Ensemble: Een innovatieve aanpak waarbij twee LLM's expansies genereren en een derde deze consolideert, wat leidt tot robuuste verbeteringen zonder extra training of meerdere zoekruns.

Resultaten

De methode is geëvalueerd op drie benchmarks: TREC DL20 (web search), DBPedia-Entity (entiteit-gericht zoeken) en SciFact (wetenschappelijke claim verificatie).

• Vergelijking met baselines: De voorgestelde methode (Cluster-ICL QE + Refinement) presteert consistent beter dan traditionele methoden (BM25, Rocchio) en andere LLM-baselines (Zero-shot, Fixed Few-shot).
• Statistische significantie: De "Refined Two-LLM Ensemble" levert de grootste winst op. Op TREC DL20 steeg de NDCG@10 van 58.71 (Cluster-ICL) naar 62.86. Op DBPedia en SciFact werden ook significante verbeteringen geboekt.
• Dichtheid vs. Lexicaal: De methode werkt ook effectief als plug-in voor dense retrievers (zoals SBERT), wat aantoont dat de expansiestrategie niet beperkt is tot lexicaal zoeken.
• Ablatie-studies:
  • Het gebruik van in-domein geclusterde voorbeelden is superieur aan vaste, out-of-domain voorbeelden.
  • Het samenvoegen van twee LLM's via een refinement-stap werkt beter dan eenvoudige concatenatie van de output.
  • Het verhogen van de lengte van de expansie (van 64 naar 128 tokens) zonder refinement leidt juist tot een prestatieverlies door ruis, wat aantoont dat kwaliteit (via refinement) belangrijker is dan kwantiteit.

Betekenis en Impact

Dit paper biedt een praktische, schaalbare oplossing voor Query Expansion in de echte wereld waar gelabelde data schaars is. De belangrijkste inzichten zijn:

• Domeinadaptiviteit is cruciaal: Het automatisch bouwen van voorbeeldpools uit het doelcorpus is essentieel voor stabiele prestaties.
• Multi-agent synergie: Het combineren van meerdere LLM's via een refinement-module is een effectieve manier om de sterke punten van verschillende modellen te benutten zonder de kosten van training.
• Reproduceerbaarheid: De auteurs publiceren hun code en kandidaat-pools, wat een reproduceerbaar testbed biedt voor toekomstig onderzoek naar domein-adaptieve LLM-retrieval.

Deze aanpak markeert een verschuiving van handmatige, statische prompt-engineering naar dynamische, data-gedreven en multi-model systemen voor informatieretrieval.