DS@GT at TREC TOT 2025: Bridging Vague Recollection with Fusion Retrieval and Learned Reranking

1. Il Problema: La Ricerca "Sulla Punta della Lingua" (Tip-of-the-Tongue)

Il paper affronta la sfida della traccia TREC Tip-of-the-Tongue (ToT), che si concentra sul problema della ricerca di elementi noti (known-item retrieval).

• Scenario: L'utente ha in mente un elemento specifico (es. un film, un luogo, una celebrità) ma non ricorda il titolo o il nome esatto.
• Sfida: Le query sono descrizioni verbali lunghe, complesse e spesso imprecise. Possono contenere ragionamenti multi-hop, espressioni di incertezza e persino falsi ricordi.
• Limitazione attuale: I sistemi di ricerca tradizionali basati su parole chiave falliscono spesso perché non riescono a gestire la natura semantica vaga e narrativa di queste descrizioni. L'obiettivo è identificare l'elemento corretto partendo da queste descrizioni elaborate.

2. Metodologia: Un Sistema di Recupero in Due Fasi

Gli autori propongono un'architettura in due fasi che combina metodi di recupero complementari con tecniche di riclassificazione (reranking) avanzate.

Fase 1: Recupero Ibrido (First-Stage Retrieval)

Per massimizzare il recall (la capacità di trovare l'elemento corretto tra i risultati), il sistema unisce tre approcci distinti:

1. Recupero Sparse (BM25): Utilizza il baseline PyTerrier BM25 fornito dagli organizzatori.
2. Recupero Dense (BGE-M3): Utilizza il modello BGE-M3 per generare embedding e cercare similarità vettoriale su un corpus Wikipedia (dump giugno 2024). I punteggi a livello di paragrafo sono aggregati a livello di articolo tramite max pooling.
3. Recupero basato su LLM: Utilizza modelli linguistici (LLM) per generare direttamente titoli di articoli Wikipedia pertinenti alla query, assegnando punteggi di rilevanza (1-5).
4. Fusione (Fusion Retrieval): I risultati dei tre metodi vengono uniti tramite una strategia round-robin (alternando i risultati migliori di ciascun metodo) per creare una lista unificata di candidati.

Approcci Innovativi nella Fase 1:

• Recupero Dense Multi-Indice Consapevole del Tema (Topic-Aware): Il corpus Wikipedia è suddiviso in 24 domini tematici utilizzando la classificazione ModernBERT-web-topics. Per ogni query, viene generata una variante rilassata e classificata per indirizzarla solo all'indice FAISS del tema pertinente. Questo riduce lo spazio di ricerca e migliora l'efficienza, sebbene con un leggero compromesso sul recall totale rispetto all'indicizzazione globale.
• Costruzione del Grafo di Rete: È stato costruito un grafo diretto composto da Wikipedia che combina citazioni dirette, connessioni tramite meta-percorsi (es. categorie) e vicini semantici (basati su embedding BGE-M3). Da questo grafo è stato calcolato il PageRank per utilizzarlo come feature nel reranking.

Fase 2: Riclassificazione (Reranking)

Per migliorare la precisione e posizionare l'elemento corretto in cima alla lista, vengono testati due approcci:

1. Reranker Appreso (LambdaMART): Addestrato con la libreria XGBoost.
   • Feature: Punteggi di recupero dense/sparse, conteggio delle visualizzazioni della pagina (pageview), PageRank e lunghezza della query.
   • Dati di addestramento: Include il set ufficiale e 5.000 query sintetiche generate da LLM (Gemini, GPT-4o, Llama) per aumentare i dati. Le query sintetiche sono state validate per avere un'alta correlazione semantica con le query originali.
   • Strategia di campionamento: Approccio pseudo-rilevante (1 documento gold, 5 pseudo-rilevanti, 10 irrilevanti per query).
2. Reranker basato su LLM: Utilizza modelli come Gemini-2.5-flash e Gemma-3 per una riclassificazione listwise. I documenti vengono divisi in finestre scorrevoli (sliding window) per adattarsi al contesto dell'LLM.

3. Risultati Chiave

Il sistema è stato valutato sul set di test ufficiale di TREC TOT 2025.

• Performance del Sistema Migliore (gmn-rerank-500):

  • Combina il recupero ibrido (LLM + BM25 + Dense) con il reranking diretto tramite Gemini-2.5-flash.
  • Recall@1000: 0.6559
  • NDCG@1000: 0.4106
  • Questo sistema ha superato significativamente i baseline singoli.

• Confronto tra Metodi:

  • Recupero Ibrido: La fusione round-robin ha migliorato il Recall rispetto ai singoli metodi (es. +11% su Dev2 rispetto al miglior metodo singolo).
  • Reranking LLM vs. Appreso: Il reranker basato su LLM (Gemini) ha ottenuto le migliori prestazioni complessive. Il LambdaMART ha mostrato un ottimo Recall (migliorando da 0.57 a 0.61 su alcuni set), ma ha sofferto di un calo significativo nel Reciprocal Rank (RR) e nell'NDCG sul set di test, indicando una scarsa generalizzazione nella precisione di posizionamento rispetto ai dati di sviluppo.
  • Recupero Consapevole del Tema: Ha dimostrato un compromesso tra efficienza e efficacia: ha ridotto lo spazio di ricerca migliorando la precisione iniziale (NDCG@100), ma ha leggermente diminuito il Recall@1000 rispetto al recupero dense globale.

• Analisi per Fonte Dati:

  • Le prestazioni variano notevolmente in base alla fonte della query. Le query degli assessori NIST hanno ottenuto un Recall@1000 dell'89%, mentre i dataset sintetici e MS-ToT sono stati più difficili (Recall ~57-59%).

4. Contributi Principali

1. Pipeline di Recupero Ibrido: Dimostrazione che la fusione di metodi sparse, dense e basati su LLM è cruciale per catturare aspetti complementari di rilevanza nelle query ToT.
2. Generazione di Dati Sintetici: Creazione e validazione di 5.000 query ToT sintetiche di alta qualità per addestrare modelli di reranking, superando la scarsità di dati etichettati.
3. Architettura Multi-Indice Tematica: Implementazione di un sistema di indicizzazione partizionata per tema che bilancia efficienza computazionale e qualità del recupero.
4. Analisi Comparativa dei Reranker: Valutazione empirica che evidenzia come i reranker basati su LLM (specialmente modelli potenti come Gemini-2.5-flash) superino i metodi appresi (LambdaMART) in termini di NDCG, sebbene questi ultimi offrano un'alternativa computazionalmente più efficiente.

5. Significato e Conclusioni

Il lavoro dimostra che la sfida "Sulla punta della lingua" richiede un approccio ibrido che non si affidi a un singolo modello di recupero. La combinazione di recupero multi-strategico (per massimizzare il recall) e riclassificazione avanzata basata su LLM (per massimizzare la precisione) rappresenta lo stato dell'arte per questo compito.

Gli autori sottolineano che, sebbene i modelli di reranking appresi (LambdaMART) siano utili come filtri ad alto recall, la capacità degli LLM di comprendere il contesto semantico complesso e le sfumature delle descrizioni vaghe è insostituibile per ottenere le migliori prestazioni finali. Il codice e le implementazioni sono stati resi disponibili pubblicamente, contribuendo alla comunità IR (Information Retrieval) con soluzioni scalabili per la ricerca semantica complessa.