CHOP: Chunkwise Context-Preserving Framework for RAG on Multi Documents

1. Il Problema

I sistemi di Retrieval-Augmented Generation (RAG) affrontano sfide significative quando operano su collezioni di documenti multipli, specialmente in contesti tecnici o manuali lunghi con alta sovrapposizione lessicale e semantica. I problemi principali identificati sono:

• Perdita di accuratezza nel recupero: La presenza di documenti simili nel database vettoriale causa confusione, portando a informazioni non necessarie, allucinazioni ed errori fattuali.
• Frammentazione del contesto: Le strategie di segmentazione basate sulla lunghezza (es. chunk fissi) interrompono la continuità del discorso, spezzando riferimenti coreferenti (es. "questo metodo", "Eq. (3)") e riducendo l'interpretabilità.
• Ambiguità nei documenti multipli: In contesti con contenuti quasi duplicati o riferimenti localizzati, la ridondanza e i conflitti destabilizzano il grounding (l'ancoraggio delle risposte ai documenti sorgente).
• Indipendenza dei chunk: La maggior parte degli approcci attuali tratta i chunk in modo indipendente, ignorando le dipendenze a livello di discorso tra e all'interno dei documenti.

2. Metodologia: Il Framework CHOP

Per affrontare queste limitazioni, gli autori propongono CHOP (Chunkwise Context-Preserving), un framework che valuta iterativamente la rilevanza dei chunk e ricostruisce progressivamente i documenti determinando la loro associazione con specifici argomenti. CHOP non richiede il ri-addestramento del retriever, ma modifica la struttura dei dati di input.

Il framework si basa su due componenti chiave:

A. CNM-Extractor (Category–Noun–Model Extractor)

Questo modulo genera una "firma" compatta per ogni chunk, ancorando la sua posizione semantica nel documento lungo. La firma è una tripletta CNM:

• Category: La famiglia di prodotti generale (es. fotocamera, condizionatore).
• Nouns: 1-2 sostantivi chiave che catturano l'obiettivo o l'azione (es. "filtro condizionatore").
• Model: Il nome specifico del modello o della serie (es. "225B", "X-SERIES").
  L'estrazione viene effettuata da un LLM che produce output strutturati in JSON. Ogni chunk viene poi prefissato con i suoi metadati CNM prima dell'embedding.

B. Continuity Decision Module

Questo modulo decide se un chunk successivo ($C_{i+1}$) appartiene allo stesso flusso documentale del precedente ($C_i$) o se segna un cambio di argomento.

• Funzionamento: Utilizza un classificatore basato su LLM che analizza una coppia di chunk adiacenti.
• Logica:
  • Se la continuità è TRUE: Il chunk successivo eredita il CNM del chunk precedente, mantenendo la coerenza semantica.
  • Se la continuità è FALSE: Viene estratto un nuovo CNM per il nuovo chunk, segnando esplicitamente il cambio di argomento ed evitando la propagazione di errori.
• Risultato: Ogni chunk viene rappresentato come $x_i = [PFX(M_i) \parallel C_i]$, dove $PFX(M_i)$ è il prefisso contestuale. Questo riduce le collisioni semantiche nello spazio vettoriale.

3. Contributi Chiave

1. Preservazione del Contesto: CHOP supera la segmentazione cieca basata sulla lunghezza, mantenendo la coerenza discorsiva attraverso chunk adiacenti che condividono lo stesso contesto semantico.
2. Riduzione delle Collisioni Semantiche: L'iniezione di metadati strutturati (CNM) come prefisso regolarizza lo spazio di embedding, aiutando il retriever a distinguere documenti simili ma semanticamente diversi.
3. Architettura Scalabile: Il framework è progettato per documenti lunghi e complessi (manuali, statuti) senza necessità di ri-addestrare il modello di retrieval sottostante.
4. Miglioramento della Qualità del Grounding: Garantendo che le decisioni al tempo $t$ siano condizionate dalle informazioni fino a $t-1$, si riducono le allucinazioni e si migliora la precisione dei fatti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sul dataset MRAMG-Bench, derivato da manuali di prodotti, ricostruiti come documenti continui per simulare scenari reali complessi.

• Metriche di Retrieval (Tabella 1):
  • Hit Rate Top-1: CHOP ha raggiunto il 90,77%, superando significativamente il baseline Native-500T (81,28%) e Cosine-Chunking (70,77%).
  • Qualità del Ranking: CHOP ha mostrato miglioramenti notevoli in MRR (Mean Reciprocal Rank) e NDCG (Normalized Discounted Cumulative Gain), indicando che non solo recupera il documento corretto, ma lo posiziona più in alto nella lista dei risultati.
• Metriche di Generazione (Tabella 2):
  • L'uso di CHOP come input per il LLM ha portato a risposte più accurate e con meno allucinazioni.
  • Miglioramenti costanti in F1, ROUGE-L e BERTScore rispetto ai baselines, specialmente per $K=3, 5, 10$.
  • Il metodo dimostra una maggiore efficienza del budget: con lo stesso numero di chunk recuperati, CHOP produce una qualità di generazione superiore.

5. Significato e Conclusioni

Il lavoro di CHOP rappresenta un passo avanti significativo nell'ottimizzazione dei sistemi RAG per scenari industriali e tecnici complessi.

• Impatto Pratico: Offre una soluzione pratica per costruire basi di conoscenza di alta qualità senza la necessità di costosi ri-addestramenti di modelli di retrieval.
• Affidabilità: Mitiga il rischio di errori fattuali e allucinazioni migliorando la precisione del recupero e la coerenza della generazione.
• Futuro: Gli autori pianificano di esplorare il prefissaggio adattivo e la modellazione dinamica della continuità per gestire conoscenze in evoluzione e input in streaming, oltre a sviluppare strategie più leggere per ridurre i costi computazionali.

In sintesi, CHOP dimostra che la preservazione esplicita del contesto e la normalizzazione semantica dei chunk sono fondamentali per superare le limitazioni attuali del RAG su documenti multipli e ad alta sovrapposizione.