🤖 AI

One Retrieval to Cover Them All: Co-occurrence-Aware Knowledge Base Reorganization for Session-Level RAG

Questo articolo propone un metodo di riorganizzazione della base di conoscenza consapevole della co-occorrenza che migliora significativamente la copertura e l'efficienza del recupero a livello di sessione per i sistemi RAG aziendali, raggruppando documenti correlati ed espandendo i candidati di query, sostenendo che la copertura a livello di sessione dovrebbe sostituire il richiamo a singola query come metrica di valutazione primaria.

Autori originali: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Pubblicato 2026-07-01

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Shivam Ratnakar, Yixuan Zhu, Cecilia Cheng, Chaya Vijayakumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di dover risolvere un problema complesso con il tuo sito web, come ad esempio configurare un nuovo negozio online. Devi fare quattro cose: collegare il tuo nome a dominio, scegliere un modello di design, impostare i pagamenti e configurare l'email.

In un sistema AI standard (chiamato RAG), il computer agisce come un bibliotecario che sa solo trovare libri che somigliano esattamente alla domanda che poni.

Tu chiedi: "Come faccio a collegare il mio dominio?"
Il bibliotecario trova tre articoli sui domini.
Il Problema: Il bibliotecario non si rende conto che in questo momento avresti bisogno anche degli articoli su modelli e pagamenti. Quegli articoli si trovano su scaffali completamente diversi nella biblioteca. Per ottenerli, devi porre quattro domande separate, aspettare che il bibliotecario trovi ognuna di esse e sperare che ci riesca ogni volta.

Gli autori di questo articolo chiamano questo fenomeno "punto cieco". Hanno scoperto che un sistema standard trova solo circa il 41% delle informazioni di cui hai effettivamente bisogno in una sola soluzione.

La Soluzione: Un Nuovo Modo di Organizzare la Biblioteca

I ricercatori propongono un trucco intelligente: riorganizzare la biblioteca in base a ciò che le persone fanno insieme, non solo in base all'aspetto dei libri.

Pensa a un supermercato.

Sistema Standard: Mette il "Latte" accanto al "Formaggio" perché sono entrambi prodotti latticini bianchi (somiglianza semantica).
Questo Nuovo Sistema: Nota che le persone che comprano il "Latte" comprano quasi sempre anche "Cereali" e "Fragole" (co-occorrenza), anche se il latte e le fragole non si somigliano. Quindi, sposta i Cereali e le Fragole nello stesso corridoio del Latte.

Come Funziona (I Passaggi Semplici)

Riorganizzazione Offline (Il "Turno di Notte"): Prima che qualcuno faccia una domanda, il sistema analizza migliaia di sessioni passate degli utenti. Nota che quando le persone chiedono informazioni sui domini, spesso hanno bisogno anche di aiuto con modelli e pagamenti. Raggruppa questi argomenti non correlati in "cluster" o "quartieri".
Recupero Online (Il "Turno di Giorno"): Quando fai la tua domanda, il sistema fa due cose:
- Trova la risposta più ovvia (come lo standard bibliotecario).
- Il Passaggio Magico: Guarda immediatamente nel "quartiere" dove vive quella risposta e recupera gli altri elementi di quel cluster (i modelli e i pagamenti), anche se non somigliano alla tua domanda.
Il Risultato: Invece di darti solo gli articoli sul dominio, ti fornisce gli articoli sul dominio più gli articoli su modelli e pagamenti in un'unica risposta.

Perché Questo è Importante

I ricercatori hanno testato questo metodo su una base di conoscenza aziendale reale con oltre 6.000 articoli. Ecco cosa hanno scoperto:

Una Chiamata, Più Risposte: Invece di aver bisogno di quattro domande separate per ottenere tutte le informazioni, una singola domanda ora copre il 58% dei bisogni dell'utente (partendo dal 41%).
Meno Passaggi: Per ottenere il 70% delle informazioni di cui hai bisogno, gli utenti ora necessitano del 34% in meno di domande. È come finire la spesa in un unico viaggio invece di quattro.
Biblioteca Più Piccola: Poiché il sistema raggruppa le cose in modo efficiente, può restringere la dimensione effettiva della base di conoscenza al 20% della sua dimensione originale pur continuando a trovare le risposte corrette.
Funziona Ovunque: Questo trucco ha funzionato indipendentemente da quale "cervello" (modello AI) utilizzassero per comprendere le parole, e ha funzionato attraverso sei diversi tipi di argomenti (come pagamenti, email e design).

Il Compromesso

Gli autori ammettono che c'è un piccolo costo. Poiché stanno lanciando una rete più ampia, a volte la primissima risposta potrebbe essere leggermente meno perfetta rispetto a prima (scendendo dal 96% al 93% di precisione). Tuttavia, sostengono che questo sia un ottimo compromesso. È molto meglio avere il 58% della soluzione davanti a sé immediatamente, piuttosto che avere la risposta singola "perfetta" e poi dover porre altre tre domande per ottenere il resto.

Cosa Non Hanno Dichiarato

Non hanno affermato che questo funzioni per domande isolate che non prevedono un seguito (come un quiz di cultura generale).
Non hanno affermato che questo renda perfetta la risposta scritta finale dall'IA; hanno misurato solo se i documenti corretti venivano trovati.
Non hanno utilizzato veri log degli utenti per l'addestramento (per motivi di privacy), ma hanno utilizzato dati etichettati da esperti e percorsi utente simulati per insegnare al sistema come raggruppare le cose.

In breve, questo articolo suggerisce che, per problemi complessi del mondo reale, non dovremmo solo chiedere all'IA di trovare il documento "più simile". Dovremmo insegnare all'IA di trovare il "gruppo di documenti più utile" in base a come gli esseri umani li utilizzano insieme.

Sintesi Tecnica: Un unico recupero per coprire tutto

Definizione del Problema

Gli attuali sistemi di Retrieval-Augmented Generation (RAG) sono ottimizzati per la rilevanza della singola query, recuperando documenti che sono semanticamente simili a una query isolata dell'utente. Tuttavia, gli utenti enterprise interagiscono con le basi di conoscenza (KB) attraverso sessioni: episodi coerenti di domande correlate che spaziano in parti semanticamente distanti della KB.

Il documento identifica un critico "gap di copertura della sessione": i sistemi RAG standard non riescono a recuperare l'intero set di documenti di cui un utente ha bisogno in una singola sessione perché tali documenti risiedono spesso in vicoliati semantici differenti. Ad esempio, un utente che sta configurando un sito web ha bisogno di articoli sulla configurazione del dominio, sul design dei template e sull'elaborazione dei pagamenti. Sebbene funzionalmente correlati, questi documenti sono semanticamente distanti nello spazio degli embedding.

Il Punto Cieco: Le metriche di recupero standard (es. Recall@k) ottimizzano la ricerca del singolo miglior documento per una singola domanda, ignorando i bisogni informativi multi-documento.
La Conseguenza: Sul benchmark WixQA, un sistema RAG standard copre solo il 41% del bisogno informativo a livello di sessione di un utente con una singola chiamata di recupero ( $k=8$ ). Gli utenti devono emettere più query di follow-up per accedere alla conoscenza rimanente, aumentando latenza, costi API e attrito per l'utente.

Metodologia

Gli autori propongono il Co-occurrence-Aware Knowledge Base Reorganization (Riorganizzazione della Base di Conoscenza Sensibile alla Co-occorrenza), un approccio pre-retrieval che ristruttura la KB offline per allinearla ai pattern di comportamento degli utenti piuttosto che alla sola similarità semantica. Il metodo consiste in due fasi:

1. Offline: Clustering Sensibile alla Co-occorrenza

Il sistema apprende un nuovo spazio di embedding basato sui pattern di co-occorrenza dei documenti (documenti acceduti insieme nelle sessioni) anziché sulla similarità testuale semantica.

Costruzione delle Sequenze: Le sequenze di co-occorrenza sono costruite da tre fonti:
1. Ground-truth: Query etichettate da esperti con molteplici ID di articoli rilevanti.
2. Embedding-neighborhood walks: Cammini casuali (random walks) attraverso il grafo di similarità semantica con un'alta probabilità di salto (40%) per catturare le relazioni tra diversi vicoliati.
3. Sequenze guidate da QA: Coppie domanda-risposta sintetiche e i loro vicini di documento sorgente.
Apprendimento degli Embedding: Gli ID dei documenti sono trattati come token, e le sequenze come frasi. Un modello Word2Vec (CBOW) viene addestrato per generare embedding di co-occorrenza ( $z_d$ ). Questo cattura la correlazione funzionale: i documenti necessari insieme in una sessione sono vicini nello spazio $z$ , anche se sono semanticamente distanti.
Clustering Gerarchico: Viene applicato il clustering agglomerativo agli embedding di co-occorrenza per raggruppare i documenti. L'obiettivo è ridurre la dimensione effettiva della KB al 20% della sua dimensione originale (es. 6.221 documenti $\to$ 1.244 cluster).

2. Online: Recupero Ibrido con Espansione del Cluster

Al momento della query, il sistema esegue un processo di recupero ibrido:

Recupero Vanilla: Recupera i top- $k_v$ (es. 3) documenti basati sulla standard similarità semantica (usando qualsiasi encoder).
Espansione del Cluster: Per ogni documento recuperato, raccoglie tutti gli altri documenti all'interno del suo cluster pre-calcolato come candidati all'espansione.
Re-ranking: Ri-classifica l'unione dei risultati vanilla e dei candidati all'espansione utilizzando la similarità query-documento originale per restituire i top- $k$ finali (es. 8) risultati.

Questo approccio è encoder-agnostic (la struttura del cluster è appresa indipendentemente dall'encoder della query) ed è pre-retrieval (la KB viene riorganizzata una sola volta offline).

Contributi Chiave

Metriche di Valutazione a Livello di Sessione: Il paper introduce la Single-Query Session Coverage (la frazione dei documenti di una sessione recuperati in una singola chiamata) e le Calls to $\tau$ -Coverage (il numero di chiamate necessarie per coprire una specifica frazione di una sessione). Queste metriche spostano il focus della valutazione dalla recall della singola query alla soddisfazione olistica della sessione.
Riorganizzazione della KB Sensibile alla Co-occorrenza: Un metodo innovativo che riorganizza la KB offline utilizzando i pattern di co-occorrenza per abilitare il recupero ibrido tramite espansione del cluster.
Validazione Empirica: Dimostrazione di guadagni costanti attraverso quattro diversi modelli di embedding, sei domini funzionali e diverse complessità di sessione su un benchmark enterprise.

Risultati

Valutato su WixQA (6.221 articoli di supporto enterprise) e un corpus di Supporto E-Commerce:

Copertura della Sessione: Il metodo proposto eleva la session coverage della singola query dal 41,4% (Vanilla RAG) al 59,1% a $k=8$ (+17,7% assoluto; IC 95%: [14,1, 20,4]).
Efficienza di Recupero: Per raggiungere una session coverage del 70%, il metodo riduce il numero medio di chiamate di recupero da 4,0 (Vanilla) a 2,6, una riduzione del 34%.
Robustezza dell'Encoder: Il metodo migliora la copertura in tutti e quattro i modelli di embedding testati (MiniLM, BGE, GTE, E5) con guadagni assoluti compresi tra +17,1% e +20,6%.
Generalizzazione del Dominio: I guadagni sono costanti attraverso sei distinti domini funzionali (es. Bookings, Apps, Editor), con miglioramenti compresi tra +12,7% e +21,5%.
Compressione della KB: Il clustering riduce la dimensione effettiva della KB al 20% dell'originale pur migliorando la copertura.
Trade-off di Precisione: La precisione al primo colpo (Hits@K) diminuisce leggermente (96,0% $\to$ 93,0%), un compromesso che gli autori ritengono accettabile per una copertura della sessione significativamente più ampia.
Condizioni Limite: Il metodo non mostra guadagni su HotpotQA, confermando che il miglioramento si basa su basi di conoscenza persistenti con riutilizzo dei documenti tra le sessioni, non sul meccanismo di espansione in sé.

Significato e Rivendicazioni

Il paper sostiene che la copertura a livello di sessione, e non la recall della singola query, debba essere la metrica primaria per la valutazione del RAG enterprise. Il significato di questo lavoro risiede nel fatto che:

Colmare il Gap Semantico: Dimostra che la similarità semantica e i bisogni informativi dell'utente sono segnali distinti. I documenti necessari insieme non sono sempre semanticamente simili, e fare affidamento esclusivamente sulla similarità degli embedding significa mancare il contesto critico.
Efficienza e Costi: Recuperando i documenti corretti nella prima chiamata, il metodo riduce il numero di chiamate API, la latenza e l'attrito per l'utente necessari per risolvere problemi di supporto complessi.
Complementarità: L'approccio è ortogonale alla riscrittura della query o alla compressione post-retrieval. Può essere combinato con ottimizzazioni esistenti lato query (come la riscrittura multi-query) o metodi post-retrieval (come EDC2-RAG) per l'ottimizzazione della sessione end-to-end.
Praticità: La riorganizzazione offline è computazionalmente efficiente (meno di 20 minuti per 6k documenti) e l'overhead online è trascurabile, rendendolo idoneo per il deployment in produzione.

Gli autori concludono che, sebbene le loro sequenze di co-occorrenza siano attualmente derivate da fonti sintetiche e basate su embedding, il metodo stabilisce un framework in cui i pattern di co-occorrenza possono fungere da segnale potente e complementare agli embedding semantici per i sistemi RAG enterprise.