Lightweight Query Routing for Adaptive RAG: A Baseline Study on RAGRouter-Bench

1. Il Problema

I pipeline di Retrieval-Augmented Generation (RAG) offrono un ampio spettro di strategie di recupero, che variano significativamente sia in termini di costi computazionali (token) che di capacità.

• Dilemma dell'efficienza: Strategie semplici come il NaiveRAG (recupero denso singolo passo) sono veloci ed economiche, mentre pipeline iterative come l'IterativeRAG possono gestire query complesse ma costano fino a 3,5 volte di più in termini di token.
• Limitazione attuale: La maggior parte dei sistemi deployati applica una singola strategia a tutte le query, indipendentemente dalla loro complessità.
• Il Gap: Sebbene l'idea di instradare le query alla strategia più economica e sufficiente sia promettente, non esistevano classificatori di routing addestrati specificamente sul nuovo benchmark RAGRouter-Bench (Wang et al., 2026). Inoltre, non era chiaro quanto segnale di routing potesse essere catturato esclusivamente dal testo della query, prima di incorporare segnali specifici del corpus.

2. Metodologia

Gli autori hanno condotto la prima valutazione sistematica di classificatori basati su query leggere (senza accesso al corpus o all'LLM durante il routing) sul benchmark RAGRouter-Bench.

Dataset e Obiettivo

• RAGRouter-Bench: Comprende 7.727 query distribuite in quattro domini (Wikipedia/MuSiQue, Letteratura/QuALITY, Legale/UltraDomain, Medico/GraphRAG-Bench).
• Classi di Target: Ogni query è annotata con uno di tre tipi canonici:
  1. Factual (single_hop): ricerca di fatti singoli.
  2. Reasoning (multi_hop): inferenza multi-hop tra documenti.
  3. Summarization: aggregazione a livello di corpus.
• Mappatura Paradigma: Per simulare il risparmio, i tipi di query sono mappati a strategie RAG specifiche (basate su letteratura precedente):
  • Factual $\rightarrow$ NaiveRAG (costo 1.4x)
  • Reasoning $\rightarrow$ HybridRAG (costo 2.8x)
  • Summarization $\rightarrow$ IterativeRAG (costo 3.5x)

Feature e Classificatori

Sono stati testati 15 combinazioni di classificatori e feature, estratte esclusivamente dal testo della query:

1. Feature Lessicali (TF-IDF): Unigrammi e bigrammi con scaling sub-lineare (vocabolario max 3.000).
2. Feature Semantiche (MiniLM): Embedding densi 384-dimensionali generati da all-MiniLM-L6-v2.
3. Feature Strutturali (Hand-crafted): 23 feature manuali (lunghezza, tipo di parola interrogativa, presenza di negazione, conteggio entità, pattern causali/temporali, ecc.).

Classificatori valutati: Regressione Logistica, SVM, Random Forest, KNN e MLP.
Metriche: Macro-F1 (per gestire lo sbilanciamento delle classi) e Accuratezza, con simulazione post-hoc dei risparmi di token.

3. Contributi Chiave

1. Primi Baseline Sistematici: Stabilimento di 15 baseline di classificazione query-side su RAGRouter-Bench, fornendo un punto di riferimento riproducibile per la ricerca futura.
2. Analisi Cross-Dominio: Identificazione di quali domini sono più o meno affidabili per il routing leggero (es. legale vs medico).
3. Simulazione di Costi e Trade-off: Quantificazione del risparmio di token e analisi del compromesso tra accuratezza del routing e risparmio economico, dimostrando che massimizzare solo il risparmio porta a un crollo della qualità.

4. Risultati Principali

Performance di Routing

• Configurazione Migliore: La combinazione TF-IDF + SVM ha ottenuto i risultati migliori, con un'accuratezza del 93,2% e un Macro-F1 di 0,928.
• Superiorità delle Feature Lessicali: Contrariamente all'intuizione comune che gli embedding semantici siano superiori, le feature TF-IDF hanno superato gli embedding MiniLM di 3,1 punti Macro-F1. Questo suggerisce che i pattern superficiali delle parole chiave (es. parole interrogative, termini specifici come "riassumi" o "confronta") sono predittori più forti della complessità della query rispetto alla semantica densa in questo contesto.
• Performance dei Domini:
  • Il dominio Legale è stato il più facile da instradare (F1 0,967 con TF-IDF).
  • Il dominio Medico è stato il più difficile (F1 0,803), probabilmente a causa della struttura omogenea del corpus (un singolo documento lungo) che rende meno discriminativi i segnali lessicali superficiali.

Risparmio di Token

• La configurazione migliore (TF-IDF + SVM) ha simulato un risparmio di token del 28,1% rispetto all'uso costante della strategia più costosa (IterativeRAG).
• Questo corrisponde al 79% del risparmio teorico massimo (35,2%) ottenibile con un routing perfetto basato sull'etichetta reale.
• Trade-off Costo-Accuratezza: Il baseline "Majority Class" (che predice sempre la classe più frequente, factual) ottiene un risparmio del 60%, ma con un Macro-F1 disastroso di 0,231. Questo dimostra che ottimizzare solo il costo porta a degradare la qualità delle risposte su query complesse.

5. Significato e Conclusioni

Questo studio stabilisce che il testo della query da solo contiene un segnale di routing significativo, sufficiente per ottenere un'alta accuratezza e un risparmio sostanziale senza bisogno di accesso al corpus o all'LLM durante la fase di decisione.

• Implicazione Pratica: L'uso di classificatori leggeri (come SVM su TF-IDF) è una soluzione pratica ed efficiente per sistemi RAG reali, permettendo di ridurre i costi del 28% mantenendo alta la qualità.
• Limiti e Futuro: Poiché i risultati sono basati solo sulla query, rappresentano un "pavimento" (floor) e non un "tetto" (ceiling) per le prestazioni. Il paper sottolinea che il routing ottimale richiede l'integrazione di segnali specifici del corpus (struttura, densità, proprietà semantiche), un'area che i futuri lavori dovranno esplorare per colmare il divario tra il routing basato solo sulla query e il routing ideale.
• Avvertenza: Massimizzare il risparmio di token ignorando l'accuratezza del routing è controproducente, poiché porta a sottoutilizzare le capacità del sistema su query complesse.