ReAttn: Improving Attention-based Re-ranking via Attention Re-weighting

Probleemstelling

Hoewel Large Language Models (LLMs) uitstekende prestaties leveren bij zero-shot her-ranking (re-ranking) van zoekresultaten, stuiten bestaande methoden die gebaseerd zijn op attentie-mechanismen (attention-based re-ranking) op twee fundamentele beperkingen. In tegenstelling tot generatieve methoden, die documenten genereren als een lijst, gebruiken deze methoden de interne attentiewaarden van het LLM als directe maatstaf voor relevantie. De auteurs identificeren twee kritieke fouten in deze aanpak:

1. Signaalconcentratie (Signal Concentration): De totale "attentiedruk" (attention mass) is vaak extreem geconcentreerd op een zeer klein aantal tokens binnen slechts een paar documenten. Hierdoor krijgen de meeste kandidaat-documenten verwaarloosbare attentiescores, wat het vermogen van de rangschikker beperkt om minder opvallende maar toch relevante documenten te onderscheiden.
2. Lexicale Bias (Lexical Bias): Het attentiemechanisme neigt om termen die lexicaal overlappen met de query (zelfs als ze semantisch irrelevant zijn) disproportioneel hoog te wegen. Dit leidt tot een vertekende rangschikking waarbij documenten met oppervlakkige woord-overlappingen onterecht als zeer relevant worden bestempeld, ten koste van semantisch relevantere documenten zonder exacte woordoverlappingen.

Methodologie: ReAttn

Om deze problemen op te lossen, stellen de auteurs ReAttn voor. Dit is een post-hoc (na het feit) her-weegstrategie die bestaande attentiescores aanpast zonder extra training of supervisie. De methode bestaat uit twee opeenvolgende stappen:

1. Cross-Document IDF Weging (Tegengaan van Lexicale Bias)

Deze stap richt zich op het verminderen van de invloed van veelvoorkomende query-termen.

• Principe: Als een token uit de query in bijna alle kandidaat-documenten voorkomt, levert het weinig discriminatieve waarde op.
• Implementatie: Voor elke token $t_{i,j}$ in een document die ook in de query voorkomt, wordt de documentfrequentie ($df$) over de volledige set kandidaat-documenten berekend.
• Berekening: Er wordt een genormaliseerde Inverse Document Frequency (IDF)-gewicht ($w$) toegepast. Tokens die vaak voorkomen in de set krijgen een lager gewicht, terwijl unieke tokens een hoger gewicht behouden.
• Effect: De token-level attentiescores worden herschaald met dit gewicht, waardoor de dominantie van ubiquitaire termen wordt onderdrukt en de nadruk verschuift naar onderscheidende termen.

2. Entropie-gebaseerde Regularisatie (Tegengaan van Signaalconcentratie)

Deze stap richt zich op het verspreiden van de attentie over meer informatieve tokens binnen een document.

• Principe: Een document met een zeer lage entropie in zijn attentieverdeling heeft een te smalle focus (concentratie op één of twee tokens), terwijl een hoge entropie wijst op een bredere dekking van relevante informatie.
• Implementatie:
  1. De token-level scores binnen een document worden genormaliseerd tot een kansverdeling.
  2. De Shannon-entropie ($E_i$) van deze verdeling wordt berekend.
  3. Een gemiddelde entropie ($\bar{E}_B$) wordt berekend over alle documenten, gewogen op hun basis-scores.
• Aanpassing: Documenten met een entropie hoger dan het gemiddelde (brede dekking) krijgen een kleine positieve correctie, terwijl documenten met een te lage entropie (te smalle focus) een lichte straf krijgen.
• Effect: Dit zorgt voor een meer gebalanceerde verdeling van de relevantiescores tussen documenten, waardoor middengemiddelde documenten beter kunnen worden onderscheiden.

Belangrijkste Bijdragen

1. Identificatie van Kernproblemen: De auteurs hebben systematisch aangetoond dat signaalconcentratie en lexicale bias de effectiviteit van attention-based re-ranking beperken.
2. ReAttn Framework: Een nieuwe, trainingsvrije methode die IDF-reweging en entropie-regularisatie combineert om de intrinsieke attentiesignalen van LLMs te verfijnen.
3. Generaliseerbaarheid: De methode werkt direct op de bestaande attentiewaarden van verschillende LLM-families (zoals Llama en Qwen) en vereist geen fine-tuning.
4. Empirische Validatie: Uitgebreide experimenten tonen aan dat ReAttn de prestaties van bestaande baselines consistent verbetert.

Resultaten

De auteurs hebben ReAttn getest op diverse benchmarks, waaronder BEIR (voor her-ranking) en LongMemEval/CLIPPER (voor redeneren in lange contexten).

• Prestatieverbetering: ReAttn leidt tot consistente verbeteringen in nDCG@10 (een maatstaf voor rangschikkingskwaliteit) over alle geteste modellen (Llama-3.2-3B, Llama-3.1-8B, Qwen-2.5-7B).
  • Bijvoorbeeld: Op de Llama-3.1-8B model verbeterde QRhead+ReAttn de gemiddelde score van 50.0 naar 50.9, wat beter presteert dan veel traditionele, gesuperviseerde cross-encoders.
• Ablatie-studies:
  • De IDF-component bleek cruciaal voor datasets met veel lexicale overlappingen (zoals DBPedia en FiQA), waar het de "ruis" van veelvoorkomende termen filterde.
  • De Entropie-component leverde de grootste winst op bij datasets met langere documenten en heterogene onderwerpen (zoals Robust04 en News), waar het de concentratie van de attentie doorbrak.
  • De combinatie van beide (volledige ReAttn) gaf de beste resultaten, wat aantoont dat ze complementair werken.
• Lange Context: In scenario's met lange contexten (LongMemEval) verbeterde ReAttn zowel de recall als de eind-tot-eind redeneerprestaties, door te voorkomen dat de aandacht vastloopt op oppervlakkige overlappingen in plaats van op cruciale, verspreide bewijsstukken.

Betekenis en Conclusie

ReAttn demonstreert dat de interne signalen van LLMs (attentie) een krachtige, maar vaak onnauwkeurige bron voor relevantie zijn. Door deze signalen post-hoc te corrigeren met eenvoudige statistische principes (IDF en Entropie), kunnen LLMs zonder extra training of rekenkosten aanzienlijk betere her-rangschikkingsprestaties leveren.

De studie is significant omdat het:

• Een kostenefficiënt alternatief biedt voor duur fine-tuning of generatieve her-ranking.
• De interpretatie van LLM-attentie verbetert door het mechanisme te kalibreren tegen bekende bias.
• Toont aan dat zero-shot retrieval met LLMs concurrent kan zijn met gespecialiseerde, getrainde modellen, mits de signaalverwerking wordt geoptimaliseerd.

De auteurs merken op dat toekomstig werk zich moet richten op de toepassing van ReAttn op IR-specialistische modellen en meertalige scenario's.