Riepilogo Tecnico: Contesto di Percorso Limitato nei Sistemi KGQA Basati su LLM

Enunciato del Problema

Nei sistemi di Risposta alle Domande su Grafi della Conoscenza (KGQA) basati su Modelli Linguistici (LLM), i sistemi delegano tipicamente l'esplorazione del grafo a un controller LLM. Ad ogni passo della ricerca, il controller sollecita l'LLM a selezionare la prossima relazione da seguire. Un pattern di progettazione prevalente consiste nel serializzare l'intero percorso parziale (l'intera cronologia di entità e relazioni attraversate finora) in ogni prompt di instradamento.

Gli autori sostengono che questa sia un'ipotesi predefinita non testata. Sebbene il controller del grafo mantenga il percorso completo come stato simbolico esatto in memoria, l'inserimento ripetuto di questo testo nel prompt dell'LLM svolge due ruoli confusi:

1. Contesto di Controllo: Contabilità esatta per il sistema (che il codice possiede già).
2. Contesto di Spiegazione: Testo opzionale di disambiguazione per l'LLM.

Questa pratica comporta costi significativi: consuma memoria della cache KV, limita il batch locale, aumenta la latenza e costringe il modello a prestare attenzione a informazioni storiche potenzialmente obsolete o irrilevanti che competono con i candidati di relazione attuali. La domanda fondamentale è se il percorso simbolico completo sia necessario per la decisione di instradamento locale dell'LLM, o se un suffisso limitato sia sufficiente.

Metodologia: Contesto di Percorso Limitato (BPC)

Il documento introduce il Contesto di Percorso Limitato (BPC), un'intervento sull'interfaccia di prompt che disaccoppia lo stato simbolico del controller dal testo visibile all'LLM durante la selezione della relazione.

Meccanismo Principale

• Stato Simbolico: Il controller mantiene l'intero percorso $p_t = (e_0, r_1, e_1, \dots, r_t, e_t)$ in memoria per l'estrazione della risposta e l'audit.
• Cronologia Visibile: Il prompt esposto all'LLM per la selezione della relazione include la domanda, l'entità corrente, i candidati di relazione in uscita e solo gli ultimi $K$ salti del percorso.
  • $K=0$: Nessun salto precedente viene mostrato.
  • $K=1$: Viene mostrato solo il salto immediatamente precedente.
  • $K=\text{full}$: L'intero percorso viene serializzato (la baseline convenzionale).

Configurazione Sperimentale

• Dataset: WebQSP e ComplexWebQuestions (CWQ), utilizzando vicinato locali di grafo allineati a RoG.
• Modelli: Qwen3.5-9B-AWQ e Qwen3.5-4B-AWQ, serviti localmente tramite vLLM.
• Controlli: Lo studio fissa i vicinato del grafo, la larghezza del raggio, la profondità di ricerca, i limiti di relazione e la temperatura di decodifica. L'unica variabile è la lunghezza della cronologia del percorso visibile ($K$).
• Metriche: F1 dell'insieme di risposte, Hits@1, conteggio dei token di input e tempo reale.

Risultati Chiave

1. Prestazioni vs. Cronologia Completa

Contrariamente all'intuizione secondo cui più contesto è meglio, le cronologie limitate eguagliano o superano il prompting con cronologia completa:

• Qwen3.5-9B:
  • WebQSP: $K=1$ ha ottenuto il F1 più alto (0,487), superando la cronologia completa (0,472). $K=0$ è stato quasi in parità (0,485).
  • CWQ: $K=0$ ha ottenuto il F1 più alto (0,287), superando la cronologia completa (0,274).
• Efficienza: I contesti limitati hanno ridotto significativamente i token di input (fino al 12,1% di riduzione su CWQ) e, in alcuni casi, hanno ridotto il tempo reale.

2. Interazione con le Dimensioni del Modello

Il valore ottimale di $K$ dipende dalla capacità del modello:

• Scala 9B: Le cronologie limitate ($K=0$ o $K=1$) hanno generalmente superato la cronologia completa.
• Scala 4B: La cronologia completa ha funzionato meglio di $K=0$, suggerendo che i modelli più piccoli traggono vantaggio da un certo contesto di percorso. Tuttavia, $K=1$ è rimasto l'impostazione più forte su entrambi i dataset per il modello 4B, superando sia $K=0$ che la cronologia completa.

3. Analisi degli Errori

• Stabilità: Il 71–84% degli esempi ha prodotto punteggi F1 finali identici indipendentemente dalla lunghezza della cronologia, indicando che la maggior parte delle decisioni di instradamento è robusta alla troncatura del contesto.
• Modalità di Fallimento:
  • Vittoria della Cronologia Completa: Si è verificata spesso quando un salto precedente era necessario per disambiguare l'entità corrente.
  • Vittoria Limitata: Si è verificata spesso quando la cronologia completa introduceva nomi di entità "obsoleti" o etichette di relazioni precedenti irrilevanti che distoglievano il modello.
• Controlli Casuali: La selezione casuale delle relazioni ha ottenuto punteggi significativamente più bassi, confermando che i guadagni sono dovuti alla selezione appresa delle relazioni e all'ancoraggio al grafo, e non semplicemente alla riduzione del rumore.

Contributi Chiave

1. Disaccoppiamento dell'Interfaccia: Definizione del BPC come metodo per separare lo stato simbolico deterministico (memoria del controller) dalla comunicazione visibile al modello (testo del prompt).
2. Evidenza Empirica: Dimostrazione che la serializzazione del percorso completo non è un predefinito uniformemente superiore. Su WebQSP e CWQ, le cronologie limitate ($K=0$ o $K=1$) hanno ottenuto punteggi F1 più alti con meno token.
3. Sfumatura sulle Dimensioni del Modello: Identificazione del fatto che, sebbene i modelli più piccoli (4B) traggano vantaggio da un certo contesto, un singolo salto visibile ($K=1$) è un'impostazione costantemente competitiva attraverso diverse scale di modello.
4. Controlli Diagnostici: Validazione che i risultati non sono artefatti dell'accesso al grafo o del caso fortuito, ma derivano dall'interazione specifica tra lunghezza del percorso e attenzione dell'LLM.

Significato e Affermazioni

Il documento afferma che la lunghezza della serializzazione del percorso dovrebbe essere trattata come una variabile di interfaccia sintonizzabile piuttosto che come un'ipotesi predefinita fissa nei controller di grafo basati su LLM.

• Progettazione del Sistema: Il BPC consente ai progettisti di sistema di ridurre il carico di token di input e la latenza senza sacrificare (e spesso migliorando) l'accuratezza.
• Insight Teorico: I risultati suggeriscono che, per le decisioni di instradamento locale, la combinazione "domanda + entità corrente + candidati di relazione" codifica segnali locali forti. I salti più vecchi possono essere utili per la disambiguazione, ma spesso agiscono come distrazioni introducendo forme superficiali irrilevanti.
• Auditabilità: Mantenendo l'intero percorso in memoria simbolica, il BPC preserva la capacità di auditare le prove ed estrarre risposte da percorsi completi, anche se i prompt di instradamento sono troncati.

Gli autori concludono che, sebbene la cronologia completa non sia l'impostazione con il F1 più alto nelle loro esecuzioni, il limite specifico ($K=1$) offre un predefinito robusto ed efficiente che bilancia la disambiguazione locale con l'economia del prompt.