Technische Samenvatting: Semantic Compression Trees

Probleemstelling

Retrieval-Augmented Generation (RAG)-systemen vertrouwen momenteel op platte, vastgelegde granulariteitsindices waarbij documenten worden gesegmenteerd in uniforme chunks. Deze aanpak lijdt onder drie fundamentele beperkingen:

1. Gelijkenis $\neq$ Relevantie: Dense retrieval-modellen meten semantische nabijheid in de embedding-ruimte, wat niet garandeert dat er sprake is van informatieve relevantie (bijv. een passage over "Arctische temperatuur" is semantisch dichter bij "Antarctisch klimaat" dan bij "Arctisch beleid", zelfs als dat laatste het juiste antwoord is).
2. Suboptimale Granulariteit: Fixed-size chunking behandelt alle queries identiek, en slaagt er niet in om onderscheid te maken tussen queries die hoge-niveau samenvattingen vereisen en queries die specifieke details eisen.
3. Verworpen Structuur: Traditionele pipelines vernietigen de inherente hiërarchische organisatie van documenten (hoofdstukken, secties, subsecties) tijdens het chunken, waardoor semantische relaties en afbakeningen verloren gaan.

Bovendien brengt platte retrieval een kostenpost met zich mee die proportioneel is aan de collectiegrootte ($O(N)$), aangezien elke eenheid tegen de query moet worden gescoord.

Methodologie: Semantic Compression Trees (SCT)

De auteur stelt Semantic Compression Trees (SCT) voor, een hiërarchische index waarbij de retrieval-kosten worden beheerst door de boomdiepte in plaats van de collectiegrootte.

Kernconcepten

• Semantische Residuen: In plaats van volledige samenvattingen op elk knooppunt op te slaan, slaat een SCT-knooppunt alleen het semantische residu op—de informatie die het toevoegt bovenop de ouder.
  • Formeel, voor een knooppunt $v$ met ouder $pa(v)$, wordt het residu $R(v)$ gedefinieerd als $c(v) \ominus C(c(pa(v)), \ell(pa(v)))$, waarbij $\ominus$ semantische aftrekking betekent (het extraheren van informatie die niet gevangen is in de gecomprimeerde ouder).
  • Accumulatie-eigenschap: De context op elk knooppunt is de concatenatie van residuen van de wortel naar dat knooppunt ($Context(v) = \bigoplus R(v_i)$), wat reconstructie van de semantische inhoud op die resolutie mogelijk maakt.
• Progressive Descent Retrieval: Retrieval verloopt van boven naar beneden. Beginnend bij de wortel, scoort het systeem kinderen op basis van de cosine-gelijkenis tussen de query-embedding en de residu-embedding van het kind. Een fixed-width beam ($k$) behoudt de topkandidaten op elk niveau.
  • Resolutie-vloer: Een optionele drempelwaarde ($\tau$) kan de afdaling stoppen als geen enkele kandidaat voldoende gelijkenis vertoont, waardoor brede queries op hogere niveaus kunnen worden beantwoord tegen lagere kosten.
• Bron-agnostische Constructie: De boom wordt gebouwd door de bronstructuur (bijv. Markdown-koppen, PDF-lettergrootte, SQL-schema's) te parsen naar een intermediaire hiërarchie, en vervolgens compressiefuncties toe te passen.
  • Compressiestrategieën:
    1. LLM-gebaseerd: Een LLM extraheert alleen de nieuwe informatie uit het kind die niet aanwezig is in de samenvatting van de ouder.
    2. Extractief (Zero-LLM): Zinnen worden behouden op basis van een nieuwheidsscore (unieke termen die niet in de ouder-samenvatting voorkomen), wat geen LLM-aanroepen vereist.

Kernbijdragen

1. Formalisering: Definieerde het concept van het semantische residu met een gegarandeerde accumulatie-eigenschap voor hiërarchische kennisrepresentatie.
2. Algoritme: Presenteerde een bron-agnostisch boomconstructie-algoritme met vervangbare compressiefuncties.
3. Retrieval-mechanisme: Definieerde progressive descent retrieval als een fixed-width beam over residu-embeddings.
4. Evaluatie: Voerde een rigoureuze evaluatie uit op de QASPER dataset (50 papers, 173 vragen) onder twee protocollen:
   • Single-Document (P1): Het relevante document is gegeven; het systeem zoekt binnen dit document.
   • Corpus (P2): Het systeem moet zowel het relevante document als de passage lokaliseren uit een pool van 50 papers.
5. Analyse: Scheidde de prestaties van de residu-representatie van de progressive descent routing-strategie.

Experimentele Resultaten

Protocol P1: Single-Document (Document Gegeven)

• Prestaties: SCT met een extractieve compressor behaalde een Answer F1 van 0,274, statistisch ononderscheidbaar van dense VectorRAG (0,277, $p=0,366$).
• Efficiëntie: SCT gebruikte 30% minder context-tokens (2.178 vs. 3.120) en vereiste nul LLM-aanroepen voor indexconstructie.
• Residu vs. Volledige Samenvatting: Het opslaan van residuen presteerde significant beter dan het opslaan van volledige samenvattingen op elk knooppunt (0,274 vs. 0,205 F1, $p < 0,001$).
• Impact van Hiërarchie: Wanneer het document bekend was, presteerde het verwerpen van de boomstructuur en het ophalen van residuen via platte gelijkenis (SCT-Flat) identiek aan de boomgebaseerde afdaling (0,272 vs. 0,274, $p=0,420$), wat aangeeft dat de hiërarchie zelf de antwoordkwaliteit in deze setting niet verbeterde.

Protocol P2: Corpus (Document Moet Gevonden Worden)

• Prestaties: Progressive descent faalde in het effectief lokaliseren van het juiste document. SCT-Extractive daalde naar een 0,122 F1, significant slechter dan platte VectorRAG (0,165 F1, $p < 0,001$).
• Routing-fout: Het systeem selecteerde het juiste paper slechts 20,2% van de tijd, vergeleken met 39,3% voor platte retrieval.
• Oorzaak: De routing-beslissing wordt genomen bij de wortel, wat het meest gecomprimeerde knooppunt is (1–2 zinnen die een hele paper representeren). Deze "compressie vóór selectie" voorkomt dat het systeem specifieke query-details kan matchen met de document-samenvatting.
• Compressor Reversal: Onder P2 presteerde de LLM-gebaseerde compressor (0,137 F1) beter dan de extractieve (0,122 F1). De door de LLM gegenereerde wortel-samenvatting was een betere "routing key" (35,8% nauwkeurigheid) dan de extractieve (20,2%), wat het feit compenseerde dat LLM-compressie de verbatim bewijsvoering vernietigde (0,009 vs. 0,720).

Kostenanalyse

• Schaalbaarheid: Het vergroten van de collectie van 1 naar 50 documenten verhoogde het aantal gescoorde knooppunten met 48,9× voor platte retrieval, maar slechts met 6,4× voor SCT. Dit bevestigt dat SCT de kosten van de query ontkoppelt van de collectiegrootte.

Betekenis en Claims

Het artikel sluit af met een genuanceerde, bescheiden beoordeling van de levensvatbaarheid van de methode:

1. De Representatie is Geldig: De semantische residu-formulering is de primaire bijdrage. Het staat een niet-redundante, multi-resolutie opslag toe die de kwaliteit van dense retrieval evenaart met aanzienlijk minder tokens en zonder indexeringskosten (bij gebruik van extractieve compressie).
2. De Routing-strategie is Gebrekkig: Strikte top-down progressive descent is geen levensvatbare retrieval-strategie voor documentselectie. De "compressie vóór selectie" ordening dwingt het systeem om de meest kritieke beslissing (documentselectie) te nemen op basis van de minst informatieve representatie (de wortel-samenvatting).
3. Hybride Aanbeveling: De auteur stelt een hybride ontwerp voor: selecteer passages plat (om routing-fouten te vermijden) en gebruik vervolgens de boom voor resolutiecontrole binnen het geselecteerde document. Dit behoudt de voordelen van de residu-representatie terwijl de top-down routing-mechanisme wordt verworpen.
4. Context Is Cruciaal: De keuze van compressor (LLM vs. Extractief) hangt af van het protocol. Extractief is superieur wanneer het document bekend is (behoud van bewijs), terwijl LLM superieur is wanneer routing vereist is (biedt betere document-niveau samenvattingen).

Het artikel benadrukt dat hoewel het kostenmodel (het ontkoppelen van de kosten van de collectiegrootte) standhoudt, de progressive descent mechanisme niet in staat is om de belofte van efficiënte, nauwkeurige retrieval in een corpus-setting waar te maken door de inherente informatieverlies bij de wortel-node.