Is Agentic RAG worth it? An experimental comparison of RAG approaches

1. Problema e Contesto

Il paper affronta la crescente confusione nel panorama dell'Intelligenza Artificiale tra due paradigmi principali per i sistemi Retrieval-Augmented Generation (RAG):

• Enhanced RAG (RAG Potenziato): Un approccio pipeline dove moduli dedicati (router, riscrittori, reranker) migliorano specificamente le fasi di recupero e generazione in modo predefinito e fisso.
• Agentic RAG (RAG Agente): Un approccio emergente in cui un Large Language Model (LLM) funge da orchestratore, decidendo dinamicamente quali azioni intraprendere (es. recuperare documenti, riscrivere query, rispondere direttamente) e iterare sul processo in base allo stato del compito.

Nonostante l'adozione rapida di entrambi, manca una valutazione empirica chiara su quale approccio sia preferibile in diverse condizioni reali, considerando il compromesso tra prestazioni e costi.

2. Metodologia

Gli autori hanno condotto una valutazione empirica comparativa su quattro dimensioni critiche per gli ambienti di produzione, utilizzando dataset rappresentativi di scenari reali (QA e Information Retrieval/Extraction).

Dataset Utilizzati

• QA (Question Answering): FIQA (finanza) e NQ (Natural Questions, domande generali).
• IR/E (Information Retrieval/Extraction): CQADupStack-English (forum di grammatica) e FEVER (verifica di fatti).

Implementazioni a Confronto

1. Enhanced RAG: Pipeline strutturata con:
   • Semantic Router: Classifica se una query richiede recupero o meno.
   • Hyde-based Query Rewriting: Riscrittura automatica della query tramite LLM.
   • Encoder-based Reranker: Riordinamento dei documenti recuperati.
2. Agentic RAG: Un agente (basato su PocketFlow) che:
   • Decide autonomamente se invocare lo strumento di recupero.
   • Decide se riscrivere la query.
   • Può iterare il recupero se ritiene necessario migliorare il contesto.
   • Utilizza diversi LLM generatori (Qwen3 da 0.6B a 32B) per testare la scalabilità.

Metriche di Valutazione

• Gestione dell'Intento Utente: Precisione nel distinguere query "in scope" da quelle "out of scope" (F1-score, Recall).
• Qualità del Recupero (Query Rewriting): NDCG@10 per valutare la pertinenza dei documenti recuperati.
• Affinamento della Lista Documenti: Capacità di selezionare i documenti più rilevanti (confronto tra reranking statico e iterazione dell'agente).
• Impatto del Modello Sottostante: Come le prestazioni variano al cambiare della potenza del LLM (da modelli piccoli a grandi).
• Costi e Latenza: Analisi del numero di token (input/output), tempo di esecuzione e costi computazionali.

3. Risultati Chiave

A. Gestione dell'Intento Utente

• Risultato: L'approccio Agentic eccelle in domini ben definiti (es. finanza, grammatica) dove l'agente comprende chiaramente i confini del compito. Tuttavia, in domini più ampi o "rumorosi" (es. FEVER), l'agente tende a sovrastimare la necessità di recupero, ottenendo un recall più basso rispetto al router semantico dell'Enhanced RAG.
• Insight: I router statici sono più affidabili in scenari con confini di dominio sfumati.

B. Riscrittura della Query (Query Rewriting)

• Risultato: L'approccio Agentic supera l'Enhanced RAG (+2.8 punti NDCG@10 in media).
• Motivo: La flessibilità dell'agente di decidere se e come riscrivere la query caso per caso è superiore alla riscrittura forzata e statica dell'Enhanced RAG. L'agente si adatta meglio quando la query utente è molto diversa dal formato dei documenti nel knowledge base.

C. Affinamento dei Documenti (Document List Refinement)

• Risultato: L'approccio Enhanced RAG con reranker dedicato è superiore.
• Motivo: L'agente, una volta presa una decisione di recupero, raramente cambia idea. Anche quando decide di iterare il recupero, spesso ottiene gli stessi documenti o risultati marginalmente migliori. Il reranker statico (basato su modelli encoder) è più efficace nel selezionare i documenti più pertinenti in una sola passata.

D. Impatto del Modello Sottostante (LLM)

• Risultato: Entrambi i paradigmi mostrano lo stesso trend di miglioramento delle prestazioni all'aumentare della potenza del modello (es. da 0.6B a 32B). Non c'è una differenza strutturale nel modo in cui scalano.

E. Costi e Latenza

• Risultato: L'approccio Agentic è sistematicamente più costoso e lento.
  • Richiede 3.3x più token in input e 1.9x più token in output.
  • È circa 1.5x più lento in termini di latenza end-to-end.
  • Il costo totale può essere fino a 3.6 volte superiore rispetto a una pipeline Enhanced ottimizzata.

4. Contributi Principali

1. Confronto Empirico Completo: Prima valutazione sistematica che mette a confronto diretto architetture "Enhanced" e "Agentic" su dimensioni multiple (intent, rewriting, reranking, costi).
2. Analisi dei Trade-off: Dimostrazione che non esiste una soluzione "migliore" in assoluto, ma che la scelta dipende dal dominio e dai vincoli di budget.
3. Linee Guida Pratiche: Fornisce raccomandazioni concrete per gli sviluppatori su quando adottare ciascun approccio.

5. Significato e Conclusioni

Il paper conclude che l'Agentic RAG non è universalmente superiore all'Enhanced RAG.

• Quando usare Agentic RAG: È ideale per il routing dell'intento utente (specialmente senza bisogno di esempi manuali) e per la riscrittura dinamica delle query in scenari complessi dove la flessibilità è cruciale.
• Quando usare Enhanced RAG: È preferibile per il reranking dei documenti (più preciso ed efficiente) e in scenari dove i costi e la latenza sono vincoli critici.
• Raccomandazione Architetturale: Gli autori suggeriscono un approccio ibrido. Integrare le capacità di orchestrazione e riscrittura dell'agente con un modulo di reranking esplicito (tipico dell'Enhanced RAG) potrebbe offrire le migliori prestazioni, bilanciando l'intelligenza decisionale dell'agente con l'efficienza dei moduli specializzati.

In sintesi, mentre l'Agentic RAG offre un'interfaccia più flessibile e "intelligente", l'Enhanced RAG rimane spesso la scelta più efficiente e affidabile per applicazioni enterprise dove i costi e la prevedibilità sono prioritari.