Rethinking Soft Compression in Retrieval-Augmented Generation: A Query-Conditioned Selector Perspective

1. Het Probleem

Retrieval-Augmented Generation (RAG) is een krachtige techniek om Large Language Models (LLMs) te verrijken met externe kennis, maar het kampt met schaalproblemen. Het invoegen van volledige gedocumenteerde teksten in het contextvenster van een LLM leidt tot:

• Excessieve contextlengte: Dit verhoogt de inferentiekosten en latentie aanzienlijk.
• Redundantie: Groot deel van de gedocumenteerde informatie is irrelevant voor de specifieke vraag van de gebruiker.
• Prestatieverlies: Bestaande methoden voor "soft compression" (zachte compressie) proberen vaak volledige documenten in compacte embeddings te verwerken via een auto-encoder-achtige full-compression paradigma.

De auteurs identificeren twee fundamentele beperkingen van deze bestaande aanpak:

1. Onuitvoerbaarheid (Infeasibility): Het forceren van een encoder om alle documentinformatie te comprimeren, conflicteert met de downstream-generatiegedrag van de LLM. Experimenten tonen aan dat LLMs onder full-compression hun aandacht volledig op de geperste embeddings richten en instructies (zoals "negeer de tekst") volledig negeren.
2. Onnoodzaak (Non-necessity): In een niet-gecomprimeerde RAG-pijplijn focust de LLM alleen op de relevante informatie die door de query wordt geactiveerd. Full-compression verdunt echter de dichtheid van deze relevante informatie door ook irrelevante en ruisachtige data mee te nemen, wat de prestaties verslechtert.

2. Methodologie: SeleCom

Om deze problemen op te lossen, stellen de auteurs SeleCom voor, een framework dat de rol van de encoder herdefinieert van een "full compressor" naar een query-geconditioneerde informatie-selektor.

Kernarchitectuur:

• Selector (Decoder-only): In plaats van een bidirectionele encoder, gebruikt SeleCom een generatieve decoder-only backbone. Deze neemt zowel de query als het document als input.
• Autoregressieve Selectie: De selector genereert speciale <ENCODE> tokens die alleen de noodzakelijke, query-gerelateerde informatie uit het document extraheren en comprimeren. Dit voorkomt dat irrelevante informatie de embedding vervuilt.
• Projector: Een eenvoudige MLP-laag die de gecomprimeerde embeddings uit de selector afstemt op de semantische ruimte van de generator (LLM).
• Generator: De LLM ontvangt de query en de gecomprimeerde embeddings (als vervanging voor het volledige document) om het uiteindelijke antwoord te genereren.

Trainingstraject (Twee fasen):

1. Fase 1 (Selector Training): De selector wordt getraind op een enorm, synthetisch dataset met document-georiënteerde V&A-paren.
   • Data Constructie: Er wordt een geavanceerde pipeline gebruikt (met LLM-as-a-judge) om ~14 miljoen hoogwaardige V&A-paren te genereren uit Wikipedia-gegevens, gefilterd op kwaliteit en moeilijkheidsgraad.
   • Curriculum Learning: Het model wordt getraind met toenemende moeilijkheidsgraad om robuuste extractiecapaciteiten te ontwikkelen.
2. Fase 2 (Generator Training): De generator wordt gefinetuned om effectief gebruik te maken van de gecomprimeerde embeddings die door de selector worden aangeleverd, zonder de selector opnieuw te trainen.

3. Belangrijkste Bijdragen

• Analyse van Full-Compression: Het paper levert zowel theoretisch als empirisch bewijs dat het comprimeren van volledige documenten zonder query-conditioning fundamenteel problematisch is voor RAG-systemen (incompatibiliteit met instructie-opvolging en verdunning van relevante informatie).
• Paradigmaverschuiving: De introductie van een query-geconditioneerde selector in plaats van een full-compressor. Dit zorgt ervoor dat alleen de waardevolle informatie wordt bewaard, wat leidt tot betere prestaties en lagere latentie.
• Scalable Data Synthesis: Een uitgebreide pipeline voor het genereren van een divers en moeilijkheidsgegradueerd trainingsdataset, essentieel voor het trainen van de selector op specifieke taakgerelateerde selectie.
• Open Source: De auteurs publiceren de code, data en getrainde modellen om herhaalbaarheid en verdere research te bevorderen.

4. Resultaten

De auteurs hebben SeleCom geëvalueerd op zes kennisintensieve taken (o.a. Natural Questions, HotpotQA, FactKG) en vergeleken met state-of-the-art baselines (zowel hard als soft compression).

• Prestaties: SeleCom presteert concurrent of superieur aan niet-gecomprimeerde RAG-baselines, terwijl het aanzienlijk minder contextruimte gebruikt. Het overtreft bestaande compressiemethoden (zoals ICAE, xRAG, COCOM) aanzienlijk in zowel nauwkeurigheid (EM, F1-score) als LLM-beoordeling.
• Efficiëntie:
  • Latentie: Reductie in totale inferentielatentie van 33,8% tot 84,6% ten opzichte van niet-gecomprimeerde RAG.
  • Berekening: Significant lagere GFLOPs en Time to First Token (TTFT) door de sterk verkorte contextlengte in de generator.
• Robuustheid: SeleCom behoudt zijn instructie-opvolgingsvermogen (instruct-following), in tegenstelling tot full-compression methoden die vaak "blind" worden voor instructies. Het systeem schaalt goed over verschillende modelgroottes (van 3B tot 13B parameters).

5. Betekenis en Impact

Dit paper is significant omdat het de fundamentele aannames van soft context compression in RAG uitdaagt. Het bewijst dat "meer comprimeren" (full compression) niet gelijkstaat aan "beter comprimeren". Door de focus te verleggen naar selectieve compressie gebaseerd op de query, lost SeleCom het compromis op tussen compressie-ratio en prestatie.

De bevindingen suggereren dat toekomstige RAG-systemen zich moeten richten op dynamische, query-geconditioneerde informatie-extractie in plaats van statische documentcompressie. Dit maakt RAG schaalbaarder, goedkoper en betrouwbaarder voor real-world toepassingen waar contextlengte en snelheid kritieke factoren zijn.