Riepilogo Tecnico: Ragionamento Conformale su Percorsi (CPR)

1. Enunciato del Problema

Il Rispondere a Domande tramite Grafi della Conoscenza (KGQA) abilita un ragionamento interpretabile tracciando percorsi attraverso triple entità-relazione strutturate. Tuttavia, in domini ad alto rischio (ad esempio, diagnosi mediche, finanza), fornire una singola risposta deterministica è spesso insufficiente a causa delle ambiguità intrinseche nei grafi relazionali. Gli approcci esistenti mancano di valutazioni rigorose dell'affidabilità.

Sebbene la Predizione Conformale (CP) offra un quadro per generare insiemi di previsione con garanzie di copertura statistica, la sua applicazione al KGQA multi-hop presenta due sfide critiche:

1. Violazione della Scambiabilità: La CP standard assume che i campioni di calibrazione e di test siano scambiabili (indipendenti e identicamente distribuiti). Nei Grafi della Conoscenza (KG), il ragionamento multi-hop crea dipendenze sequenziali; l'insieme di previsione all'hop $k$ determina le entità raggiungibili all'hop $k+1$. Ciò crea una catena di dipendenze di Markov che viola il presupposto di indipendenza richiesto per le garanzie conformali standard.
2. Punteggi Non Discriminativi: I metodi esistenti spesso si basano sulla similarità semantica locale o su punteggi a livello di nodo atomico. Questi non riescono a catturare la coerenza globale dei percorsi multi-hop, costringendo i meccanismi conformali ad adottare soglie eccessivamente conservative per soddisfare la copertura. Ciò risulta in insiemi di previsione eccessivamente grandi che mancano di utilità pratica.

2. Metodologia: Ragionamento Conformale su Percorsi (CPR)

Gli autori propongono il Ragionamento Conformale su Percorsi (CPR), un quadro che sposta l'unità di calibrazione dagli hop individuali all'intero percorso di ragionamento, accoppiato a un meccanismo di punteggio discriminativo appreso.

2.1. Predizione Conformale Scambiabile per Query (QE-CP)

Per risolvere la violazione della scambiabilità, CPR tratta l'intero processo di ragionamento per una singola query come unità di calibrazione.

• Indipendenza a Livello di Query: Sebbene i percorsi all'interno di una query siano dipendenti, le singole query sono campioni indipendenti estratti dalla stessa distribuzione. Aggregando i punteggi dei percorsi per query, CPR preserva la scambiabilità a livello di query.
• Definizione del Punteggio di Non Conformità: Per una query $q$, il punteggio di non conformità $S(q)$ è definito come il punteggio minimo tra tutti i percorsi recuperati che terminano in un'entità di risposta corretta. Se non viene trovato alcun percorso corretto, il punteggio è $+\infty$.
• Calibrazione: Una soglia $\hat{\tau}_\alpha$ è calcolata come il quantile $(1-\alpha)$ dei punteggi provenienti da un insieme di calibrazione. L'insieme di previsione finale include tutti i percorsi con punteggi inferiori a questa soglia, garantendo che l'insieme contenga almeno un percorso di ragionamento corretto con probabilità $1-\alpha$.

2.2. Punteggio Discriminativo dei Percorsi tramite RCVNet

Per garantire che gli insiemi di previsione siano compatti (alta efficienza), CPR introduce la Rete di Valore Conformale Residua (RCVNet), addestrata per produrre punteggi di percorso altamente discriminativi.

• Raccolta di Traiettorie Guidata da PUCT: Per affrontare la scarsità di percorsi di addestramento ground-truth, gli autori impiegano Predictor + Upper Confidence bounds applied to Trees (PUCT). Questa strategia di esplorazione bilancia la rilevanza semantica con l'esplorazione di relazioni poco visitate.
  • Genera coppie di percorsi positivo-negativo: i percorsi positivi includono percorsi di ragionamento ground-truth e percorsi validi alternativi; i percorsi negativi condividono prefissi corretti ma divergono all'ultimo hop.
  • Accumula priors strutturali a livello di relazione (priors coniugati Beta-Bernoulli) che indicano il tasso di successo empirico di relazioni specifiche.
• Architettura RCVNet: Una rete residua leggera che prende come input le caratteristiche del percorso (similarità semantica, embedding del percorso e priors di relazione appresi).
  • È ottimizzata utilizzando una perdita di ranking pairwise per garantire che i percorsi corretti ricevano punteggi più bassi (più affidabili) rispetto a quelli errati.
  • Utilizza livelli FiLM per iniettare informazioni contestuali ad alta dimensionalità nell'elaborazione delle caratteristiche scalari.

2.3. Recupero TreeG

Durante l'inferenza, CPR utilizza TreeG, un metodo di recupero basato su alberi che sfrutta i punteggi RCVNet potenziati da suggerimenti di relazione generati da un LLM. TreeG espande i percorsi hop per hop, classificando i candidati globalmente per mantenere un insieme compatto di percorsi attivi per il passaggio successivo, garantendo un recupero online efficiente senza il sovraccarico stocastico di PUCT.

3. Contributi Chiave

1. Calibrazione Conformale Scambiabile per Query: Una strategia di calibrazione innovativa che incapsula le dipendenze multi-hop in punteggi a livello di query, preservando l'assunzione di scambiabilità necessaria per garanzie statistiche valide nel KGQA.
2. Punteggio Discriminativo dei Percorsi Appreso: L'introduzione di RCVNet, addestrata su traiettorie raccolte tramite PUCT, che impara a distinguere i percorsi corretti dai negativi plausibili utilizzando la coerenza globale del percorso e i priors strutturali, portando a insiemi di previsione significativamente più compatti.
3. Validazione Empirica: Dimostrazione che CPR raggiunge garanzie di copertura valide riducendo sostanzialmente le dimensioni degli insiemi di previsione rispetto alle baseline conformali esistenti.

4. Risultati Sperimentali

Gli esperimenti sono stati condotti sui benchmark WebQSP e ComplexWebQuestions (CWQ).

• Copertura ed Efficienza: CPR supera significativamente le baseline (inclusi UaG, CLM e LoFreeCP).
  • Su WebQSP al livello di rischio $\alpha=0.5$, CPR ha raggiunto un Tasso di Copertura Empirico (ECR) del 61,4% con una Dimensione Media dell'Insieme di Previsione (APSS) di 7,14. Al contrario, la baseline all'avanguardia UaG ha raggiunto un ECR inferiore del 51,8% con un APSS molto più ampio di 14,29.
  • Sul dataset più impegnativo CWQ, UaG non è riuscito a soddisfare le garanzie di copertura per $\alpha \le 0.5$ e ha prodotto insiemi di previsione massicci (APSS > 120). CPR ha mantenuto una copertura valida su tutti i livelli di rischio con un APSS di 8,35 a $\alpha=0.6$.
• Efficienza della Copertura: CPR ha dimostrato un miglioramento del 140% nell'Efficienza della Copertura (rapporto ECR/APSS) rispetto a UaG su WebQSP e un miglioramento di 15 volte su CWQ.
• Studi di Ablazione: La rimozione della guida PUCT o di RCVNet ha portato a prestazioni degradate, confermando che traiettorie di addestramento di alta qualità e punteggi discriminativi sono essenziali per insiemi di previsione compatti e validi.

5. Significato e Affermazioni

Il documento afferma che CPR fornisce un quadro affidabile per il KGQA colmando il divario tra la validità statistica formale della Predizione Conformale e la complessità del ragionamento multi-hop.

• Affidabilità: Offre garanzie di copertura rigorose, assicurando che la verità fondamentale sia contenuta all'interno dell'insieme di previsione a un livello di rischio specificato dall'utente.
• Praticità: Riducendo le dimensioni degli insiemi di previsione di circa il 40% rispetto alle baseline conformali mentre migliora la copertura del 34%, CPR rende le previsioni a insieme azionabili per i sistemi di supporto alle decisioni.
• Ambito: Gli autori posizionano CPR come strumento di supporto alle decisioni per applicazioni ad alto rischio (sanità, finanza) in cui la confidenza calibrata è critica. Notano esplicitamente che le garanzie di copertura sono statistiche e dipendono dalla qualità del grafo della conoscenza sottostante, e che CPR non dovrebbe sostituire il giudizio esperto in domini critici per la sicurezza.