RMIT-ADM+S at the MMU-RAG NeurIPS 2025 Competition

Titolo: RMIT-ADM+S: Un Sistema RAG Dinamico per la Competizione MMU-RAG NeurIPS 2025

1. Il Problema

Il campo della Generazione Aumentata dal Recupero (RAG) sta evolvendo verso sistemi più adattivi e orientati all'utente, capaci di pianificare ricerche, ispezionare le evidenze recuperate e regolare le proprie azioni dinamicamente. Tuttavia, le valutazioni tradizionali spesso si basano su metriche automatiche aggregate o su dati sintetici, che possono non catturare le sfumature delle interazioni reali degli utenti, i bias di valutazione o le differenze qualitative nella profondità del ragionamento.
La competizione MMU-RAG NeurIPS 2025 ha introdotto un framework di valutazione incentrato sull'utente, comprendendo sia modalità statiche che dinamiche (RAG-Arena), dove i sistemi devono operare in tempo reale con vincoli di risorse. La sfida principale era costruire un pipeline efficiente, capace di gestire query complesse su hardware consumer (una singola GPU), mantenendo alta l'efficacia e la robustezza senza ricorrere a modelli LLM massicci o infrastrutture costose.

2. Metodologia: Architettura R2RAG

Il sistema proposto, denominato R2RAG (Routing-to-RAG), è un'architettura di ricerca e generazione adattiva che distingue esplicitamente tra query semplici e complesse, instradandole verso percorsi di elaborazione differenti.

• Classificazione delle Query:

  • Il sistema utilizza un classificatore basato su LLM (Qwen3-4B) per determinare se una query è "semplice" (fatto singolo, risposta diretta) o "complessa" (richiede ragionamento a lungo termine, sintesi multi-step o decomposizione).
  • È stato preferito un classificatore LLM rispetto a modelli statistici (come la Regressione Logistica) per la sua capacità di gestire query fuori distribuzione e di adattare i criteri di classificazione tramite prompt, nonostante il costo computazionale leggermente superiore.

• Percorso per Query Semplici (Vanilla RAG):

  • Per le query classificate come semplici, il sistema esegue un processo in un'unica passata:
    1. Generazione Varianti: Creazione di 3 varianti della query per ampliare la copertura del recupero.
    2. Recupero: Ricerca parallela sull'indice ClueWeb22-A.
    3. Reranking: Utilizzo di un modello leggero (Qwen3-Reranker-0.6B) per ordinare i documenti.
    4. Generazione Risposta: Sintesi delle informazioni in un'unica risposta coerente con citazioni.

• Percorso per Query Complesse (Vanilla Agent):

  • Per le query complesse, il sistema attiva un ciclo iterativo ("Vanilla Agent") che accumula evidenze attraverso più round di ricerca:
    1. Ciclo Iterativo: Genera fino a 5 varianti di query e recupera un volume maggiore di documenti (fino a 25k token).
    2. Revisione Documenti (Document Review): Un modulo LLM valuta se le informazioni raccolte sono sufficienti, controllando la copertura delle diverse prospettive, la risoluzione di sottoproblemi e l'equilibrio su temi controversi.
    3. Condizioni di Arresto: Il ciclo termina se: (a) il conteggio dei token supera 20.000, (b) la copertura informativa è stimata al 100%, o (c) si raggiungono 5 iterazioni.
    4. Feedback Loop: Se le informazioni sono insufficienti, il modulo genera una nuova query mirata a colmare le lacune, evitando di ripetere query fallite.

• Scelta dei Modelli e Risorse:

  • Il sistema è ottimizzato per funzionare su una singola GPU consumer.
  • Utilizza il modello Qwen3-4B (senza quantizzazione per preservare le capacità di ragionamento su contesti lunghi) e il Qwen3-Reranker-0.6B.
  • L'uso di modelli più piccoli ma ben selezionati permette di bilanciare efficienza e prestazioni, evitando il degrado delle prestazioni tipico della quantizzazione aggressiva su compiti di ragionamento complesso.

3. Contributi Chiave

1. Architettura Ibrida Dinamica (R2RAG): Introduzione di un sistema che instrada le query in base alla complessità, combinando l'efficienza del RAG classico per compiti semplici con la potenza di un agente iterativo per compiti complessi.
2. Valutazione Qualitativa Guidata: Il sistema è stato raffinato attraverso una valutazione qualitativa rigorosa con 20 partecipanti (dai laureandi ai professori). Questo processo ha rivelato compromessi (trade-off) non catturati dalle metriche automatiche, come la preferenza degli utenti per risposte concise nelle query semplici e dettagliate in quelle complesse, portando a un'ottimizzazione mirata dei prompt.
3. Efficienza delle Risorse: Dimostrazione che sistemi RAG dinamici e sofisticati possono essere eseguiti su hardware limitato (una GPU consumer) utilizzando modelli LLM di dimensioni ridotte (4B parametri) e un'attenta gestione del contesto.
4. Riproducibilità: Pubblicazione completa del codice sorgente e dell'infrastruttura API per facilitare la ricerca futura.

4. Risultati

• Premi: Il sistema R2RAG ha vinto il premio "Best Dynamic Evaluation" nella categoria Open Source della competizione MMU-RAG NeurIPS 2025.
• Performance: Ha dimostrato un'elevata efficacia nella modalità di valutazione dinamica (RAG-Arena), superando le aspettative in termini di adattabilità e qualità della risposta.
• Confronto: L'analisi ha mostrato che l'approccio "Vanilla Agent" gestiva meglio le query complesse rispetto al RAG standard, mentre il "Vanilla RAG" era superiore per la sua concisione nelle query semplici. La combinazione dinamica ha permesso di ottenere il meglio di entrambi gli approcci.

5. Significato e Implicazioni

Il lavoro sottolinea l'importanza cruciale di una valutazione multi-livello (statica, dinamica e qualitativa) nello sviluppo di sistemi RAG. Le metriche automatiche da sole non sono sufficienti per valutare la profondità del ragionamento o la soddisfazione dell'utente in scenari reali.
Inoltre, il paper dimostra che non è necessario ricorrere a modelli LLM giganti o infrastrutture cloud massive per compiti di ricerca avanzata; una progettazione attenta, l'uso di modelli più piccoli ma capaci e l'adattabilità dinamica possono portare a sistemi robusti, economici e accessibili. Questo approccio apre la strada a sistemi RAG più sostenibili e scalabili per applicazioni reali che richiedono interazione dinamica con l'utente.