RECIPER: A Dual-View Retrieval Pipeline for Procedure-Oriented Materials Question Answering

Probleemstelling

Het terugvinden van procedureel bewijsmateriaal (zoals synthese-stappen en experimentele workflows) uit wetenschappelijke publicaties in de materialenwetenschap is een aanzienlijke uitdaging.

• Verspreide informatie: Cruciale synthetische details zijn vaak verspreid over lange, contextrijke documenten en niet geconcentreerd in één paragraaf.
• Beperkingen van bestaande methoden: Standaard dichte zoekopdrachten (dense retrieval) die werken op basis van paragraaf-fragmenten, slagen er vaak niet in om deze fijne procedurele details te identificeren. Ze retourneren ongestructureerde tekstbrokken die de logische verbindingen tussen verschillende secties van een paper kunnen verbreken.
• Hallucinaties bij LLM's: Grootte Taalmodellen (LLMs) zijn onbetrouwbaar voor specifieke wetenschappelijke queries omdat ze gebaseerd zijn op statische trainingsdata en geen toegang hebben tot de meest recente of specifieke experimentele details, wat leidt tot hallucinaties.

Methodologie: RECIPER

RECIPER is een "dual-view" (twee-aanzichten) zoekraamwerk dat procedurele kennis behandelt als een aanvullend zoeksignaal. Het systeem indexeert elk document via twee complementaire weergaven en combineert deze in een geïntegreerde ranking-pijplijn.

1. Twee Weergaven (Views):

• Contextuele Weergave (Paragraph View): Bestaat uit de originele paragraaf-fragmenten van het document. Dit behoudt de bredere context en beschrijvende informatie.
• Procedurele Weergave (Recipe View): Bestaat uit compacte, door een LLM gegenereerde samenvattingen van de synthese-procedures. Een instructievolgend LLM (DeepSeek-R1-Distill-Qwen-32B) extrahert stappen, materialen, operaties en condities uit de volledige tekst en formatteert deze als een beknopte "recept"-achtige beschrijving. Dit maakt procedurele signalen beter vindbaar dan in de ruwe tekst.

2. Zoek- en Ranking-pijplijn:

• Onafhankelijke Retrieval: Voor een gebruikersquery worden kandidaten onafhankelijk opgehaald uit zowel de paragraaf- als de recept-weergave, gebaseerd op semantische afstand in de embedding-ruimte.
• Samenvoeging en Deduplicatie: De twee lijsten worden samengevoegd tot één pool. Er wordt een "stream-aware deduplicatie" toegepast: voor elke combinatie van (paper-ID, bronstroom) wordt alleen de hoogst gerankte kandidaat behouden. Dit voorkomt redundantie binnen dezelfde stroom, maar behoudt de complementariteit tussen de verschillende weergaven.
• Query-bewuste Lexicale Herordening (Reranking): Omdat dichte zoekopdrachten soms semantisch vergelijkbare kandidaten teruggeven die qua formulering minder direct op de query aansluiten, wordt een lichte herordening toegepast.
  • Er wordt een "query-coverage score" berekend op basis van de overlap tussen de tokens van de query en de titel/tekst van het document.
  • De finale score is een combinatie van de dichte zoekscore en deze lexische overlap (gewogen met een kleine constante $\lambda$). Dit prioriteert documenten die expliciet de termen van de query bevatten.

3. Downstream QA:
De geselecteerde top-kandidaten worden als context doorgegeven aan een LLM voor het genereren van het uiteindelijke antwoord.

Belangrijkste Bijdragen

• Dual-View Framework: Introductie van een systeem dat paragraaf-context combineert met door LLM's geëxtraheerde procedurele samenvattingen ("recepten") voor materialenwetenschappelijke zoekopdrachten.
• Complementaire Signalen: Empirisch bewijs dat procedurele samenvattingen op zichzelf zwak zijn als zoekunit, maar een krachtig aanvullend signaal vormen wanneer ze worden gecombineerd met paragraaf-retrieval.
• Robuuste Verbetering: Het systeem presteert consistent beter dan alleen paragraaf-retrieval over vier verschillende dichte zoekbackbones (BGE, MiniLM, Contriever, E5), wat aantoont dat de methode onafhankelijk is van het specifieke embedding-model.

Resultaten

Het systeem werd getest op een benchmark van 1.024 query-documentparen afkomstig van 300+ materialenwetenschappelijke artikelen.

• Retrieval Prestaties:

  • RECIPER bereikte met de BGE-large-en-v1.5 backbone een Recall@1 van 86,82%, Recall@5 van 97,07% en Recall@10 van 97,85%.
  • In vergelijking met alleen paragraaf-retrieval (dense retrieval) werden gemiddelde verbeteringen geboekt van +3,73 punten in Recall@1, +2,85 in nDCG@10 en +3,13 in MRR.
  • De verbetering was het meest opvallend bij vroege rangschikking (top-kandidaten), wat essentieel is voor accurate antwoorden.
  • "Naïeve" fusie van beide views (zonder de specifieke deduplicatie en lexische herordening) presteerde slechter dan RECIPER, wat aantoont dat de integratiestrategie cruciaal is.

• Downstream Question Answering (QA):

  • De verbeterde zoekkwaliteit vertaalde zich direct naar betere antwoorden. Over LLM's van 0,5B tot 40B parameters presteerde RECIPER beter dan zowel "No-RAG" als "Paragraaf-only RAG".
  • Met name voor kleinere modellen (bijv. Qwen-2.5-7B) was de verbetering significant (bijv. ROUGE-L steeg van 0,2579 naar 0,2752), wat suggereert dat sterke retrieval de beperkte parametrische kennis van kleinere modellen kan compenseren.

Betekenis en Conclusie

RECIPER biedt een schaalbare en robuuste oplossing voor het terugvinden van complexe procedurele informatie in de wetenschap. De belangrijkste inzichten zijn:

1. Complementariteit: Procedurele abstracties ("recepten") zijn geen vervanging voor context, maar een noodzakelijke aanvulling om de "naar binnen gerichte" logica van experimenten vindbaar te maken.
2. Architectuur-onafhankelijkheid: De methode werkt effectief met verschillende embedding-modellen, wat het toepasbaar maakt voor diverse bestaande systemen.
3. Toekomstperspectief: Het werk legt een fundament voor betere Retrieval-Augmented Generation (RAG) systemen in de wetenschap, waarbij de kwaliteit van het bewijsmateriaal (evidence) direct de betrouwbaarheid van de gegenereerde antwoorden verbetert, zelfs bij kleinere taalmodellen.