Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation

1. Probleemstelling

Grote Taalmodellen (LLMs) kampen met computationele beperkingen bij het verwerken van lange contexten. In Retrieval-Augmented Generation (RAG) wordt dit probleem vaak opgelost door soft compression-architecturen (zoals xRAG). Deze methoden vervangen lange reeksen tokens door een kleiner aantal "geleerde" samengeperste tokens (dense vectors).

Hoewel deze techniek de tokenlengte drastisch verkleint, introduceert hij een kritiek faalmechanisme: Token Overflow.

• Definitie: Token overflow treedt op wanneer een samengeperste token te veel informatie probeert te bevatten voor een specifieke query. De representatie bevat dan niet langer voldoende taakrelevante signalen en gedraagt zich als ruis, wat de prestaties van het model stilzwijgend verslechtert.
• Huidige tekortkoming: Bestaande systemen worden alleen geëvalueerd op eindresultaten (bijv. antwoordnauwkeurigheid). Er is geen methode om te detecteren wanneer een samengeperste token overbelast raakt voordat het LLM-inferentieproces plaatsvindt. Dit maakt het onmogelijk om dynamisch te schakelen of fouten te voorkomen zonder dure inferentie.

2. Methodologie

De auteurs stellen een methodologie voor om token overflow te karakteriseren en te detecteren, met een focus op de xRAG-architectuur (een projector-based compressiemethode). Ze onderzoeken drie onderzoeksvragen (RQ) door te evolueren van query-onafhankelijke naar query-bewuste detectie:

A. Context Complexiteit en Verzadigingsstatistieken (Query-agnostisch)

De auteurs analyseren intrinsieke eigenschappen van de samengeperste tokens, onafhankelijk van de vraag:

• Contextmaatstaven: Lengte, perplexiteit (PPL) en statistische compressibiliteit (bijv. gzip-ratio).
• Token Verzadiging: Berekening van statistieken op de vectorrepresentaties:
  • Hoyer's Sparsity: Meet hoe geconcentreerd de energie in een vector is.
  • Spectrale Entropie: Meet de "witte ruis"-achtige aard van het signaal via DCT.
  • Kurtosis: Meet de "heavy-tailed" verdeling van de waarden.
• Doel: Bepalen of samengeperste tokens structureel anders zijn dan normale tokens en of deze statistieken overflow voorspellen.

B. Aandachtspatronen (Query-geconditioneerd)

Analyse van hoe het LLM de samengeperste tokens gebruikt tijdens de generatie voor een specifieke vraag:

• Gemiddelde aandachtsgewichten naar xRAG-tokens.
• Verhoudingen van aandacht (samengeperst vs. niet-samengeperst).
• Entropie van de aandachtverdeling.
• Nadeel: Vereist een volledige forward pass door het LLM, wat de efficiëntie beperkt.

C. Geraadpleegde Classificatie (Query-bewust / Learned Probing)

De kern van de voorgestelde oplossing: het trainen van lichte classificatoren op gezamenlijke query-context representaties.

• Input: Concatenatie van de embedding van de vraag ($q$) en de context ($x$) op verschillende stadia (voor en na projectie).
• Architecturen: Lineaire probes, MLP's, en MLP's met Supervised Contrastive Learning (SCL).
• Doel: Detecteren van overflow in de representatieruimte zonder het LLM te laten infereren.

3. Belangrijkste Resultaten

De experimenten zijn uitgevoerd op drie QA-datasets (HotpotQA, SQuADv2, TriviaQA) met een xRAG-7B model.

A. Karakterisering van Overflow (RQ1)

• Token Type Detectie: Verzadigingsstatistieken (zoals spectrale entropie en kurtosis) kunnen perfect onderscheid maken tussen samengeperste (xRAG) en niet-samengeperste tokens (AUC > 0.95). Samengeperste tokens vertonen lagere sparsiteit en hogere spectrale entropie.
• Overflow Detectie: Dezezelfde statistieken falen echter om overflow te voorspellen (AUC rond 0.55-0.63, wat dicht bij willekeur ligt).
• Conclusie: Het zijn intrinsieke eigenschappen van de token, maar deze zeggen niets over of de token voor die specifieke vraag informatief genoeg is.

B. Efficiënte Detectie zonder LLM (RQ2)

• Tijdstip van Detectie: Overflow is direct detecteerbaar na de projectiestap, voordat het LLM de context verwerkt.
• Prestaties: Geraadpleegde classifiers (probing) op de projectie-embeddings bereiken een gemiddelde AUC-ROC van 0.72.
• LLM-informatie: Het uitvoeren van een volledige LLM-forward pass (post-inference) levert geen extra signaal op; de degradatie is al vastgesteld tijdens de compressie.

C. De Rol van Query-Context Interactie (RQ3)

• Noodzaak van Context: Detectie alleen op basis van de context of alleen op basis van de query werkt slecht.
• Gezamenlijke Representaties: Modellen die de query en context samen analyseren (Representation-joint) presteren aanzienlijk beter (0.70–0.73 AUC) dan modellen die alleen naar de context kijken (0.64–0.69 AUC).
• Lineaire Scheidbaarheid: De overflow-problematiek blijkt een relatief eenvoudige, lineair scheidbare structuur te zijn in de gezamenlijke representatieruimte; complexe neurale netwerken zijn niet nodig, lineaire probes volstaan.

4. Bijdragen

1. Definitie en Methodologie: Formele definitie van "token overflow" en een methodologie om dit te detecteren, gaande van query-onafhankelijke statistieken naar query-bewuste leermethoden.
2. Inzicht in Compressie: Aantonen dat verzadigingsstatistieken nuttig zijn om samengeperste tokens te identificeren, maar ontoereikend zijn om informatieverlies (overflow) te voorspellen.
3. Efficiënte Oplossing: Ontwikkeling van een low-cost, pre-LLM gating-mechanisme dat overflow detecteert met 0.72 AUC zonder inferentie van het grote model.
4. Architectonisch Inzicht: Bewijs dat overflow een gevolg is van de mismatch tussen de inhoud van de samengeperste token en de eisen van de query, en dat deze interactie direct in de embedding-ruimte zichtbaar is.

5. Significantie en Toepassing

Deze bevindingen hebben grote praktische implicaties voor RAG-systemen:

• Adaptieve Chunking: Systemen kunnen dynamisch de grootte van inputsegmenten aanpassen op basis van semantische dichtheid in plaats van vaste lengtes.
• Computational Pruning: Overbelaste representaties kunnen direct na compressie worden weggegooid, wat kostbare LLM-inferentie op "vervuilde" context voorkomt.
• Betrouwbaarheid: Door overflow te detecteren voordat het antwoord wordt gegenereerd, kunnen hallucinaties en onbetrouwbare output worden geminimaliseerd.

De auteurs benadrukken echter dat de huidige absolute nauwkeurigheid (AUC ~0.72) nog ruimte laat voor verbetering voordat het veilig kan worden ingezet in kritieke workflows, en dat verdere onderzoek nodig is om de prestaties te verhogen.