IterCOMP: Reasoning-aware Adaptive Prompt Compression for Multi-hop Question Answering

Technische Samenvatting: IterCOMP

Probleemstelling

Multi-hop Question Answering (QA) vereist redeneren over meerdere bewijssegmenten om een correct antwoord af te leiden. Hoewel Retrieval-Augmented Generation (RAG)-systemen de kennisbeperkingen van Large Language Models (LLM's) verzachten door externe informatie te integreren, worden ze geconfronteerd met aanzienlijke uitdagingen op het gebied van efficiëntie en effectiviteit. De ophaalactie van langdradige documenten introduceert een hoge inferentielatentie, verhoogde computationele kosten en het "lost-in-the-middle"-fenomeen, waarbij modellen moeite hebben om relevante informatie te adresseren te midden van ruis.

Bestaande methoden voor promptcompressie proberen deze problemen aan te pakken door de inputlengte te reduceren. De meeste zijn echter ontworpen voor single-turn queries en vertrouwen op oppervlakkige relevantiematching. Ze slagen er niet in de onderling afhankelijke, sequentiële redeneerstappen te vatten die vereist zijn in multi-hop QA, waarbij vaak cruciale tussenliggende aanwijzingen worden weggegooid of irrelevante inhoud wordt behouden die het model afleidt. Gevolgd wordt erdoor dat huidige benaderingen moeite hebben met het effectief synthetiseren van informatie uit meerdere bronnen, wat leidt tot een incomplete contextuele verstandhouding.

Methodologie: IterCOMP

De auteurs stellen IterCOMP voor, een verenigd, training-vrij promptcompressie-framework dat specifiek is ontworpen voor multi-hop QA. In tegenstelling tot statische compressiemethoden, integreert IterCOMP multi-hop redeneren direct in de compressielus via een iteratief verfijningsproces. Het framework werkt zonder de onderliggende LLM's te finetunen, waardoor het toepasbaar is op zowel open-source als commerciële black-box modellen.

De pipeline bestaat uit vier kernstadia:

1. Documentdecompositie: Ophaalde documenten worden gesegmenteerd in kleinere bewijseenheden (specifiek zinnen in dit werk) om de lokale semantische context te bewaren terwijl granulaire filtering mogelijk wordt gemaakt.
2. Filtering van Relevante Bewijslast: Een mechanisme voor scoring van relevantie op twee aspecten filtert kandidaat-segmenten. Dit combineert:
   • Semantische Gelijkenis: Berekend via dense vector embeddings om contextuele afstemming te vangen.
   • Lexicale Gelijkenis: Berekend via gewogen token-overlap om precieze keyword-matches te vangen, die cruciaal zijn voor multi-hop redeneren.
   • Deze scores worden gecombineerd in één enkele metriek, waarbij segmenten die een percentielgebaseerde drempel overschrijden worden behouden.
3. Beantwoordbaarheidsoordeel & Identificatie van Ontbrekende Informatie: Een LLM fungeert als een redeneercontroller om de geaccumuleerde bewijsmengeling ($E_{cand}$) te evalueren:
   • Beantwoordbaar: Als het bewijs voldoende is om de oorspronkelijke vraag te beantwoorden, wordt het proces beëindigd en wordt de huidige set de definitieve gecomprimeerde prompt.
   • Onbeantwoordbaar: Als het bewijs onvoldoende is, identificeert de LLM het specifieke informatiegat en genereert een gerichte follow-up vraag.
4. Iteratieve Accumulatie: De gegenereerde follow-up vraag dient als een nieuwe query om aanvullend bewijs op te halen en te filteren. Deze cyclus herhaalt zich totdat de vraag als beantwoordbaar wordt beschouwd of een maximaal aantal iteraties is bereikt, waarbij stapsgewijs een compacte, redeneergerichte prompt wordt geconstrueerd.

Belangrijkste Bijdragen

• Iteratieve Redeneerlus: Het paper introduceert een framework dat expliciet multi-hop redeneren incorporeert in het compressieproces, waarbij het verder gaat dan single-query relevantiematching om onderling afhankelijke redeneerstappen te behandelen.
• Training-vrij Ontwerp: IterCOMP opereert zonder training of fine-tuning van het compressiemodel, en vertrouwt in plaats daarvan op de inherente redeneercapaciteiten van pre-trained LLM's voor oordeelsvorming en vraaggeneratie.
• Dual-Aspect Filtering: De methode combineert semantische en lexicale signalen om zowel brede contextuele relevantie als precieze keyword-dekking te waarborgen, waarmee de beperkingen van puur semantische of puur lexicale compressie worden aangepakt.
• Dynamische Bewijsaccumulatie: Door het gebruik van beantwoordbaarheidsoordelen om gerichte follow-up vragen te triggeren, accumuleert het framework dynamisch alleen de kritieke bewijslast die nodig is, waardoor informatieverlies dat gebruikelijk is bij statische compressie wordt vermeden.

Experimentele Resultaten

De auteurs hebben IterCOMP geëvalueerd op drie multi-hop QA benchmarks: MuSiQue, 2WikiMultiHopQA en HotpotQA. Het framework werd vergeleken met state-of-the-art hard prompt compressie baselines (bijv. LLMLingua, LongLLMLingua, R2C) en een "Raw Documents" baseline.

• Prestatiewinst: IterCOMP behaalde de hoogste Exact Match (EM) en F1-scores over alle datasets. Op MuSiQue verbeterde het bijvoorbeeld de F1-score van 19,92 (Raw Documents) naar 27,36, waarmee het de op één na beste baseline (R2C) met 4,92 punten versloeg.
• Efficiëntie: Het framework bereikte een substantiële tokenreductie (bijv. een 7× reductie op MuSiQue) terwijl de nauwkeurigheid gelijk bleef aan of verbeterde ten opzichte van ongecomprimeerde baselines.
• Robuustheid: Hoewel de prestaties van nature dalen naarmate de redeneercomplexiteit toeneemt (bijv. F1-scores op MuSiQue dalen van 30,19 bij 2-hop naar 20,72 bij 4-hop), demonstreert IterCOMP robuustheid door het gedrag dynamisch aan te passen. Specifiek vergroot het het gemiddelde aantal iteraties (van 1,98 naar 3,08) en breidt het de behouden bewijsmengeling uit (van 228 naar 403 tokens) om langere redeneerketens beter te ondersteunen, waardoor de ernst van de prestatiedegradatie vergeleken met statische methoden wordt gemitigeerd.
• Kosten en Snelheid: In experimenten met API-gebaseerde commerciële LLM's (GPT-3.5, GPT-4o, Gemini, Claude), reduceerde het framework de operationele kosten met 75,5%–79,4% en versnelde de inferentie met 1,13× tot 2,01×.
• Ablatie-studies: Het verwijderen van de iteratieve verfijningscomponent veroorzaakte de grootste prestatiedaling, wat de noodzaak van bewijsaccumulatie bevestigt. Evenzo bleek de combinatie van semantische en lexicale scoring superieur aan het gebruik van slechts één signaal alleen.

Betekenis en Claims

Het paper claimt dat IterCOMP een robuuste en schaalbare oplossing biedt voor complexe multi-document LLM-toepassingen door zowel de prestatiedegradatie in lange contexten als de economische last van grootschalige inferentie aan te pakken.

Belangrijke claims met betrekking tot de betekenis zijn onder meer:

• Het overbruggen van de kloof: IterCOMP overbrugt effectief de prestatiekloof tussen raw document inputs en ideale "Oracle" instellingen (waarbij alleen de gouden documenten worden verstrekt), waarbij meer dan 50% van de kloof op HotpotQA wordt gedicht.
• Algemene Toepasbaarheid: Het model-agnostische en training-vrije karakter maakt directe integratie mogelijk met commerciële black-box LLM's waar fine-tuning onhaalbaar is.
• Redeneringsbewuste Compressie: Het werk demonstreert dat effectieve compressie voor multi-hop QA meer vereist dan alleen het reduceren van lengte; het vereist een redeneringsbewust proces dat iteratief informatiegaten identificeert en opvult.

De auteurs erkennen beperkingen en merken op dat de effectiviteit van het framework afhangt van de redeneercapaciteiten van de onderliggende LLM (met het risico op foutpropagatie) en dat het iteratieve ontwerp extra overhead met zich meebrengt vergeleken met single-pass methoden. Zij suggereren dat toekomstig werk zich kan richten op adaptieve hyperparameter-tuning en meer geavanceerde scoring-schema's.