Don't Retrieve, Navigate: Distilling Enterprise Knowledge into Navigable Agent Skills for QA and RAG

1. Il Problema: I Limiti del RAG Tradizionale

Il paper identifica una limitazione strutturale fondamentale nei sistemi di Retrieval-Augmented Generation (RAG) tradizionali, ampiamente utilizzati per le basi di conoscenza aziendali.

• Consumatore Passivo: Nei sistemi RAG classici, il Large Language Model (LLM) agisce come un consumatore passivo dei risultati di ricerca. Riceve un insieme di passaggi (passages) estratti tramite embedding vettoriale, ma non ha alcuna visibilità su come il corpus è organizzato, su quali argomenti esistono al di fuori dei risultati recuperati o su come i documenti recuperati si relazionano tra loro.
• Mancanza di Ragionamento Strutturale: Di fronte a query complesse che richiedono la combinazione di informazioni sparse o la comprensione di una struttura logica (es. "Come cambio il tipo di azienda da ditta individuale a LLC?"), il modello non può "vedere la foresta per gli alberi". Non può pianificare strategicamente dove cercare, fare backtracking da percorsi infruttuosi o combinare prove da rami diversi della conoscenza.
• Limiti degli Approcci Agentic Esistenti: Anche i sistemi RAG "agentic" che permettono ricerche iterative soffrono della mancanza di una "mappa". L'agente deve indovinare i termini di ricerca senza una visione d'insieme della struttura del corpus, rendendo ogni ricerca un "colpo nel buio".

2. Metodologia: CORPUS2SKILL

Gli autori propongono CORPUS2SKILL, un framework che trasforma il paradigma da "recupero" a "navigazione". L'idea centrale è distillare il corpus documentale in una gerarchia di skill navigabili (simile a un file system) che l'agente esplora attivamente.

Il processo si divide in due fasi distinte:

A. Fase di Compilazione (Offline)

Questa fase trasforma un corpus di documenti grezzi in un albero di skill navigabile:

1. Caricamento e Embedding: I documenti vengono processati e convertiti in vettori densi.
2. Clustering Gerarchico Iterativo: Viene utilizzato un processo bottom-up (simile a RAPTOR ma con assegnazioni rigide) per raggruppare i documenti.
   • Si parte dai documenti e si creano cluster tramite K-Means.
   • Ad ogni livello, un LLM genera un riassunto del cluster (temi, tipi di domande, termini chiave).
   • Questi riassunti vengono re-embedded e riclusterati fino a formare un albero gerarchico.
3. Materializzazione come Skill: La gerarchia viene convertita in una struttura di file navigabili:
   • SKILL.md: File a livello radice che descrive un dominio tematico ampio e elenca i sottogruppi.
   • INDEX.md: File a livelli intermedi o foglia che elencano i sottogruppi o gli ID dei documenti con brevi riassunti.
   • Document Store: Il testo completo dei documenti è archiviato separatamente e accessibile solo tramite ID.
4. Progressive Disclosure: Il sistema sfrutta il concetto di "rivelazione progressiva": l'agente vede solo i metadati (nomi e descrizioni brevi) inizialmente, caricando i dettagli completi solo quando necessario.

B. Fase di Servizio (Serve Time)

Durante la risposta a una query:

• Navigazione Attiva: L'agente LLM riceve una panoramica d'insieme del corpus (i nomi delle skill principali).
• Flusso di Lavoro:
  1. L'agente legge i file SKILL.md per identificare il ramo tematico rilevante.
  2. Naviga nei file INDEX.md per affinare la ricerca e identificare i documenti specifici.
  3. Utilizza uno strumento get_document(id) per recuperare il testo completo solo dei documenti promettenti.
  4. Genera la risposta basandosi sulle prove recuperate.
• Vantaggio Chiave: L'agente ha visibilità completa sulla struttura. Se un ramo si rivela non produttivo, può fare backtracking ed esplorare un altro ramo, o combinare evidenze da più rami (cross-branch synthesis). Non è necessario un database vettoriale o un indice di embedding durante la fase di servizio.

3. Contributi Chiave

1. Identificazione della Navigabilità: Gli autori evidenziano che la "navigabilità" del corpus è una dimensione sottoesplorata nei sistemi RAG attuali. Fornire all'LLM una struttura organizzata migliora la sua capacità di localizzare le prove migliori.
2. Framework Compile-then-Navigate: Proposta di un pipeline che sposta il costo computazionale dalla fase di query (ricerca) alla fase di compilazione (organizzazione), creando un'interfaccia basata su file system invece che su ricerca vettoriale.
3. Ridefinizione delle "Skill": Trasformazione del concetto di "skill" da istruzioni procedurali (come fare un'azione) a skill informative (cosa contiene un corpus), permettendo all'agente di navigare la conoscenza invece di eseguire codice.
4. Valutazione Rigorosa: Sperimentazione su WixQA, un benchmark realistico per il supporto clienti aziendale, confrontando il sistema con baselines avanzate (BM25, Dense Retrieval, RAPTOR, GraphRAG, Agentic RAG).

4. Risultati Sperimentali

Il sistema è stato valutato su 200 query di esperti relative alla conoscenza di Wix (6.221 articoli).

• Qualità Superiore: CORPUS2SKILL ha ottenuto i punteggi più alti su tutte le metriche di qualità, inclusi F1, BLEU, ROUGE, Factuality e Context Recall.
  • Ha superato il recupero denso (Dense) del 27% in F1.
  • Ha superato il sistema Agentic multi-turno del 19% in F1.
  • Ha mostrato un Context Recall significativamente superiore (0.652 vs 0.481 dell'agentic), dimostrando di recuperare contenuti più pertinenti rispetto alla ricerca vettoriale.
• Efficienza della Navigazione: La struttura gerarchica permette di ridurre lo spazio di ricerca in modo logaritmico ($O(\log_p N)$). Per trovare un documento tra 6.000, l'agente deve ispezionare solo circa 30 riassunti (invece di 6.000).
• Analisi dei Costi:
  • Il costo per query è più alto rispetto al RAG semplice (dovuto ai token di input necessari per leggere i file di navigazione), ma inferiore o comparabile ai sistemi Agentic complessi che richiedono molte chiamate iterative.
  • Il costo è dominato dai token di input, ma la qualità giustificata lo rende adatto per query ad alto valore (supporto clienti complesso, compliance).
• Robustezza: Studi di ablazione mostrano che la struttura gerarchica è robusta: anche con budget di esplorazione ridotti o modelli LLM più economici, la qualità rimane alta, suggerendo che la qualità della gerarchia compilata è il fattore trainante principale.

5. Significato e Implicazioni

Il paper propone un cambio di paradigma fondamentale per i sistemi di conoscenza aziendale:

• Dalla Ricerca alla Navigazione: Invece di cercare di migliorare l'algoritmo di ricerca per trovare il "passaggio giusto", si costruisce una mappa che permette all'agente di esplorare attivamente la conoscenza.
• Sfruttamento delle Capacità di Ragionamento: Questo approccio libera le capacità di pianificazione e ragionamento dell'LLM, che vengono spesso sprecate nei sistemi RAG passivi. L'agente può prendere decisioni strategiche basate sulla struttura del dato.
• Semplificazione dell'Infrastruttura: Elimina la necessità di database vettoriali o grafi complessi durante la fase di servizio, riducendo la complessità di deployment (l'unica infrastruttura necessaria è l'API delle skill e il file system).
• Limiti e Futuro: Il sistema presenta limiti legati alla rigidità del clustering (un documento appartiene a un solo ramo) e ai costi di token di input. Tuttavia, apre la strada a sistemi di conoscenza più trasparenti, controllabili e capaci di gestire query complesse multi-hop in modo più efficace rispetto ai metodi attuali.

In sintesi, CORPUS2SKILL dimostra che fornire all'agente una "mappa" strutturata e navigabile del corpus porta a risposte più accurate, fattuali e complete rispetto alla semplice fornitura di passaggi recuperati, trasformando l'agente da un semplice consumatore di risultati a un esploratore attivo della conoscenza.