Beyond Topical Similarity: Contrastive Evidence Retrieval with Interpretable Attention Alignment in RAG

Technische Samenvatting: Contrastive Evidence Rationale Attention (CERA)

Probleemstelling
Retrieval-Augmented Generation (RAG)-systemen beogen de feitelijkheid van Large Language Models (LLM's) te verbeteren door de output te beperken met externe documenten. Echter, een kritieke beperking blijft bestaan: standaard dense retrievers verwarren vaak topische gelijkenis met evidentiële validiteit. Een retriever kan passages prioriteren die lexicaal gerelateerd zijn aan een query, maar die feitelijk onbetrouwbaar, tegenstrijdig of slechts topisch verwant zijn, in plaats van passages die specifieke ondersteunende bewijslast bevatten. Deze "ruisende retrieval" leidt tot hallucinaties en bevooroordeelde outputs, met name in domeinen met hoge inzet zoals de gezondheidszorg. Bovendien ontbreekt het bestaande retrievel-systemen aan interpreteerbaarheid; ze optimaliseren wat er wordt opgehaald, maar verklaren niet waarom specifieke bewijslast werd geselecteerd of hoe deze een beslissing onderbouwt. Huidige methoden voor interpreteerbaarheid vertrouwen grotendeels op post-hoc verklaringen in plaats van intrinsieke mechanismen die de aandacht van het model afstemmen op menselijke redenering.

Methodologie
De auteurs stellen Contrastive Evidence Rationale Attention (CERA) voor, een dense retrieval-framework dat is ontworpen om een "evidentiële inductieve bias" in contrastief leren te injecteren. CERA rust op twee kernzuilen:

1. Subjectiviteitsgebaseerde Hard Negative Selectie:
   In plaats van alle niet-relevante documenten als even negatief te behandelen, gebruikt CERA een subjectiviteitsbewuste strategie om "hard negatives" te selecteren. Binnen een document worden chunks die niet overlappen met het gouden bewijs-span gerangschikt op basis van een subjectiviteitsscore (berekend via TextBlob). De top-$K$ meest subjectieve chunks worden geselecteerd als hard negatives. Dit dwingt het model om onderscheid te maken tussen inhoud die louter subjectief of opinioneel is versus inhoud die bestaat uit verifieerbare, objectieve bewijslast, waardoor de embedding-ruimte wordt verfijnd voorbij eenvoudige semantische nabijheid.

2. Interpreteerbare Attention Alignment:
   CERA introduceert een aanvullende loss-functie om de interne aandachtmechanismen van het model te superviseren.

   • Rationale Supervisie: Het framework maakt gebruik van door mensen geannoteerde feitelijke rationales (bewijs-spans) als grondwaarheid-signalen.
   • POS-Gewogen Maskering: Een part-of-speech (POS) weging wordt toegepast op deze rationales, waarbij hogere gewichten worden toegekend aan inhoud-dragende tokens (zelfstandige naamwoorden, werkwoorden, bijvoeglijke naamwoorden) en lagere gewichten aan functiewoorden.
   • Alignment Loss: Het model minimaliseert de Kullback-Leibler (KL) divergentie tussen de genormaliseerde aandachtverdeling van het [CLS] token naar de input-tokens en de gewogen rationale-verdeling. Dit dwingt het aandachtmechanisme om af te stemmen op de specifieke tokens die de ondersteunende bewijslast vormen, in plaats van enkel te vertrouwen op distributionele gelijkenis.

Het model wordt getraind met een duale objectieve functie: een triplet-gebaseerde contrastieve loss ($L_{triplet}$) om positief bewijs te scheiden van hard negatives, en de attention alignment loss ($L_{alignment}$), gewogen door een hyperparameter $\lambda$.

Belangrijkste Bijdragen

1. CERA Framework: Het eerste retrieval-framework dat subjectiviteitsgebaseerde hard negative selectie combineert met interpreteerbare attention alignment, waarbij expliciet een evidentiële inductieve bias in dense retrieval wordt geïnjecteerd.
2. Rationale-Aligned Attention Objective: Een nieuw trainingsdoel dat de CLS-naar-token aandacht superviseert met behulp van POS-gewogen menselijke rationales. Dit stelt de retriever in staat om niet alleen relevante chunks te identificeren, maar ook de specifieke tokens die de bewijslast constitueren, wat de trouw (faithfulness) verbetert zonder de retrieval-prestaties op te offeren.
3. Empirische Validatie: Uitgebreide experimenten op de Evidence Inference 2.0 dataset (klinische trial rapporten) tonen aan dat CERA zowel de baseline Contriever als standaard hard-negative selectiemethoden overtreft.

Resultaten
Geëvalueerd op een corpus van 3.393 klinische trial rapporten, toonde CERA significante verbeteringen in retrieval-effectiviteit en interpreteerbaarheid:

• Retrieval Prestaties: CERA behaalde substantiële winsten ten opzichte van de hard-negative baseline, met verbeteringen van +0,0768 in Recall@1, +0,1073 in Recall@3, en +0,1307 in Recall@5. De Mean Reciprocal Rank (MRR) steeg met +0,1009.
• Interpreteerbaarheid en Trouw: De attention alignment objective verbeterde de faithfulness-metrieken aanzienlijk. Specifiek daalde de Sufficiency score (die meet hoe goed de verklaring het beslissingsproces van het model reflecteert) van 0,2073 (Contiver) naar 0,0939 onder sterkere alignment ($\lambda=0,05$), wat aangeeft dat het model vertrouwt op compactere en adequate bewijslast.
• Feitelijkheid: Met behulp van een ensemble van LLM-judges (GPT-5.4, Qwen3-Max, Mistral Large 3) om de feitelijke relevantie van de opgehaalde spans te evalueren, presteerde CERA consistent beter dan de baseline over alle rangen, waarbij de Jury Score verbeterde van 1,1881 naar 1,9015 bij Rank 1.
• Ablatie: De studie bevestigde dat subjectiviteitsgebaseerde negatives een meer informatieve contrastieve signaal bieden dan conventionele hard negatives. Echter, het verhogen van de alignment weight ($\lambda$) boven de 0,05 degradeerde de retrieval-metrieken licht, wat wijst op een trade-off tussen retrieval-precisie en de kracht van de attention alignment.

Betekenis en Claims
Het artikel claimt dat CERA een verschuiving vertegenwoordigt van het optimaliseren voor pure "topische gelijkenis" naar het optimaliseren voor "evidentiële ondersteuning". Door de aandachtverdelingen af te stemmen op menselijk geannoteerde rationales, bevordert het framework een meer getrouwe verklaring van het gedrag van het model, waarmee het "black-box"-karakter van retrieval wordt aangepakt. De auteurs stellen dat deze aanpak bijzonder cruciaal is voor domeinen met een hoge inzet waar niet-onderbouwde outputs kunnen leiden tot aanzienlijke ethische en veiligheidsrisico's. Hoewel het werk een onderzoeksprototype is en geen zelfstandig klinisch beslissingssysteem, demonstreert het dat retrieval-systemen getraind kunnen worden om specifieke bewijstokens te identificeren, waardoor zowel de betrouwbaarheid als de interpreteerbaarheid van RAG-systemen wordt vergroot. De auteurs erkennen beperkingen, waaronder de afhankelijkheid van door experts geannoteerde data en de beperking van experimenten tot het biomedische domein.