QUBO-Optimized Evidence Selection for Retrieval-Augmented Question Answering with Unconventional Solvers

Sintesi Tecnica: Selezione delle Evidenze Ottimizzata tramite QUBO per il Question Answering con Recupero Aumentato (RAG)

Definizione del Problema

I sistemi di Generazione Aumentata dal Recupero (RAG) si basano sulla selezione di un set appropriato di passaggi di evidenza per condizionare la generazione della risposta. Tuttavia, le tipiche pipeline di recupero impiegano un approccio "retrieve-then-rerank" (recupera e poi riclassifica), selezionando i top-$k$ passaggi in base ai singoli punteggi di rilevanza. Questa strategia spesso fallisce nei casi di domande multi-hop, dove la risposta richiede la combinazione di informazioni complementari distribuite in più passaggi. Sebbene recenti metodi basati su Large Language Models (LLM) trattino il recupero come un problema di selezione di un set, essi introducono elevati costi computazionali e difficoltà di scalabilità. Inoltre, semplicemente aumentare il numero di passaggi recuperati può degradare le prestazioni a causa dei limiti della lunghezza del contesto e del fenomeno "lost in the middle" (perso nel mezzo). La sfida centrale consiste nel selezionare un sottoinsieme compatto e non ridondante di passaggi che collettivamente soddisfi molteplici requisiti informativi senza fare affidamento su costose inferenze iterative di LLM per la fase di selezione stessa.

Metodologia

Gli autori propongono di formulare la selezione delle evidenze come un problema di Ottimizzazione Binaria Quadratica Non Vincolata (QUBO). Questo approccio introduce uno strato di ottimizzazione strutturata tra la fase di recupero e quella di generazione della risposta.

1. Panoramica della Pipeline:
La framework proposta opera in cinque fasi:

• Decomposizione dei Requisiti: La query di input viene scomposta in specifici requisiti informativi.
• Candidate Pooling: Un pool di passaggi candidati viene recuperato tramite retriever standard (sparsi, densi o ibridi).
• Scoring: Vengono assegnati punteggi semantici ai passaggi riguardo alla rilevanza, alla forza del supporto ai requisiti, alla ridondanza a coppia e alla complementarità.
• Formulazione QUBO: Questi punteggi parametrizzano una funzione obiettivo QUBO.
• Solver & Generazione: Un solver QUBO identifica il sottoinsieme binario ottimale di passaggi, che viene poi passato a un modello linguistico a valle per la generazione della risposta.

2. Formulazione QUBO:
Il problema è definito su variabili binarie $x_i \in \{0, 1\}$, dove $x_i=1$ indica la selezione del passaggio $p_i$. La funzione obiettivo $E(x)$ è progettata per minimizzare l'energia (massimizzare l'utilità) bilanciando diversi fattori:

• Rilevanza e Supporto: Premia i passaggi con alti punteggi di rilevanza ($s_i$) e quelli che forniscono supporto diretto o parziale ai requisiti informativi ($r_j$).
• Copertura: Incoraggia la selezione di passaggi che coprano tutti i requisiti informativi generati, distinguendo tra supporto parziale e diretto.
• Ridondanza e Complementarità: Penalizza le coppie di passaggi che supportano requisiti sovrapponibili (ridondanza) e premia le coppie che supportano requisiti diversi o complementari.
• Compattezza: Penalizza la selezione di passaggi che non supportano alcun requisito e impone un vincolo di budget sul numero totale di passaggi selezionati ($K$).

Il problema di ottimizzazione vincolata viene convertito in una forma QUBO non vincolata introducendo variabili di scarto (slack variables) e termini di penalità per i vincoli (ad esempio, coerenza della copertura e limiti di budget). L'obiettivo finale è espresso come $\min v^\top Q v$, dove $v$ è un vettore di variabili binarie (inclusa la selezione dei passaggi, gli indicatori di copertura e le variabili di scarto) e $Q$ è la matrice dei coefficienti.

3. Compatibilità del Solver:
Formulando il problema come QUBO, la fase di selezione diventa compatibile con vari solver non convenzionali, tra cui simulated annealing, quantum annealers, digital annealers, macchine di Ising coerenti e algoritmi quantistici a porta (gate-model). Ciò separa la logica combinatoria di selezione dalla sintesi semantica della risposta.

Contributi Chiave

• Formulazione: Il documento presenta la prima formulazione della selezione del contesto consapevole dei requisiti come un problema QUBO, trattandolo come un problema di selezione di sottoinsiemi binari discreti piuttosto che come un compito di ranking o di prompting.
• Obiettivo Unificato: Deriva una singola funzione di energia compatibile con i solver che codifica congiuntamente rilevanza del passaggio, copertura dei requisiti, forza del supporto, riduzione della ridondanza, complementarità, compattezza e vincoli di budget di selezione.
• Architettura Modulare: Gli autori propongono una pipeline che scinde la pre-elaborazione semantica, la selezione del contesto combinatoria e la generazione della risposta, permettendo a ciascuna componente di essere sostituita indipendentemente.
• Percorso Hardware: Il lavoro apre una strada verso l'uso di hardware specializzato per Ising/QUBO per la fase di selezione, offrendo potenzialmente una latenza inferiore ed un'efficienza energetica maggiore rispetto al ri-classificazione (reranking) ripetuta tramite LLM.

Risultati

Il selettore QUBO proposto è stato valutato sull'impostazione distruttore di HotpotQA (risposta a domande multi-hop) e confrontato con:

• Baseline basate su LLM: Selettori di tipo SetR-style (SetR e SetRO) che utilizzano LLM per selezionare direttamente i set di evidenze.
• Baseline non-LLM: BM25, relevance top-$k$, Maximal Marginal Relevance (MMR), ranking lessicale-semantico ibrido, copertura greedy e selezione casuale.

Risultati Principali:

• Performance vs. LLM: Il selettore QUBO ha ottenuto punteggi di Exact Match (EM) e Token-F1 competitivi rispetto ai selettori LLM di tipo SetR. Nello specifico, era entro 0.004 EM e 0.0064 F1 rispetto al baseline SetR. Notevolmente, il selettore QUBO ha ottenuto la più alta copertura dei requisiti tra i metodi confrontati.
• Performance vs. Non-LLM: Il selettore QUBO ha eguagliato il miglior punteggio EM tra le baseline non-LLM e è rimasto vicino a relevance top-$k$ e MMR in termini di F1, superando significativamente BM25 e la selezione casuale.
• Studi di Ablazione:
  • Livello di Risposta: Rilevanza e copertura dei requisiti sono state identificate come i contributori più forti all'accuratezza della risposta a valle. Sebbene l'obiettivo QUBO completo includesse termini per la struttura (ridondanza, complementarità), questi non sempre si traducevano in punteggi di exact-match più elevati rispetto a obiettivi più semplici basati solo sulla rilevanza, suggerendo un compromesso tra qualità strutturale e metriche di risposta immediata.
  • Livello di Set: L'obiettivo QUBO completo ha controllato con successo la struttura del set di evidenze, selezionando sottoinsiemi più compatti e ad alta utilità rispetto alle varianti che rimuovevano le penalità per ridondanza o per i passaggi non supportati.

Significato e Rivendicazioni

Il documento sostiene che la selezione delle evidenze multi-hop possa essere efficacemente inquadrata come un problema di ottimizzazione discreta strutturata. Il significato primario risiede nella modularità dell'approccio: permette di delegare la computazionalmente costosa fase di selezione combinatoria a solver QUBO/Ising specializzati (classici o ispirati al quantum), riservando gli LLM principalmente alla misurazione semantica e alla generazione della risposta.

Gli autori mantengono una posizione modesta, osservando che, pur non assumendo un'accelerazione quantistica universale, la formulazione fornisce una rappresentazione "compatibile con il solver" che è attraente per pipeline RAG su larga scala dove i pool di candidati e le interazioni a coppia crescono con la dimensione del corpus. Il lavoro suggerisce una direzione futura in cui le pipeline di recupero utilizzano hardware non convenzionale per la fase di selezione per ottenere una latenza inferiore e potenzialmente una migliore efficienza energetica, senza sacrificare la qualità della risposta competitiva fornita dagli attuali metodi di selezione basati su LLM.