Evergreen: Efficient Claim Verification for Semantic Aggregates

1. Enunciato del Problema

Con l'ascesa dei motori di elaborazione di query semantiche (ad esempio, Snowflake Cortex AISQL), l'aggregazione semantica è diventata un operatore primitivo. Ciò consente ai Large Language Models (LLM) di ridurre una relazione di tuple in un riepilogo o aggregato in linguaggio naturale. Tuttavia, questi aggregati generati da LLM contengono spesso affermazioni allucinate (ad esempio, "la maggior parte delle recensioni è positiva" quando non lo è) che non sono fondate sui dati sottostanti.

Verificare queste affermazioni è una sfida a causa di quattro fattori principali:

1. Scalabilità: Le relazioni spesso superano le finestre di contesto degli LLM (migliaia di recensioni = centinaia di migliaia di token).
2. Complessità: Le affermazioni coinvolgono quantificatori (tutti, alcuni, maggioranza), raggruppamenti e confronti tra gruppi, richiedendo un mix di ragionamento semantico (comprensione del testo) e ragionamento simbolico (conteggio/confronto).
3. Costo: La verifica per forza bruta richiede l'invocazione di un LLM per ogni tuple, il che è proibitivamente costoso e lento.
4. Spiegabilità: Gli utenti richiedono citazioni (prove) per fidarsi del verdetto, non solo un binario "vero/falso".

Gli approcci esistenti non riescono a risolvere questo problema in modo olistico: i metodi LLM-as-a-judge falliscono su contesti ampi; la Retrieval-Augmented Generation (RAG) fatica con affermazioni quantificate su tuple indipendenti; e gli LLM basati su programmi delegano l'ottimizzazione all'LLM, portando a prestazioni subottimali.

2. Metodologia: Il Sistema Evergreen

Evergreen riformula la verifica delle affermazioni come un compito di elaborazione di query semantiche. Invece di chiedere a un LLM di "controllare" un'affermazione, Evergreen compila l'affermazione in una query dichiarativa di verifica semantica eseguita da un motore di query.

A. Decomposizione e Compilazione delle Affermazioni

1. Decomposizione: Un LLM scompone l'aggregato in linguaggio naturale in affermazioni atomiche e risolve riferimenti vaghi (ad esempio, pronomi) utilizzando il contesto originale.
2. Mappatura Logica: Le affermazioni sono mappate su strutture logiche:
   • Esistenziale/Universale: $\exists t, \forall t$
   • Cardinale/Proporzionale: $\exists \ge k, \exists \ge \rho$
   • Ordinale/Annidato: Classifica gruppi o quantificatori annidati (ad esempio, "Tutte le località hanno >2 reclami").
3. Generazione della Query: Le affermazioni sono compilate in un'API in stile DataFrame utilizzando operatori relazionali standard (filter, map, aggregate) e operatori semantici (chiamate LLM basate su prompt).
   • filter(prompt): Filtraggio semantico.
   • map(prompt): Estrazione di attributi semantici.
   • aggregate: Mappa ai quantificatori (ad esempio, bool_or $\to$ $\exists$, count_if $\to$ cardinalità).

B. Ottimizzazioni Consapevoli della Verifica

Evergreen introduce ottimizzazioni specifiche per minimizzare le chiamate LLM mantenendo la correttezza:

1. Arresto Anticipato (Early Stopping): Il motore di query utilizza un modello iteratore.
   • Per $\exists$ (ad esempio, "alcuni"), si ferma non appena viene trovata una testimonianza.
   • Per $\forall$ (ad esempio, "tutti"), si ferma non appena viene trovato un controesempio.
   • Per affermazioni cardinali/proporzionali, spinge la logica di confronto in basso per fermarsi non appena la soglia è determinata matematicamente indipendentemente dalle tuple rimanenti.
2. Ordinamento per Rilevanza: Per rendere efficace l'arresto anticipato, le tuple sono pre-ordinate per rilevanza. Un LLM genera una query di ricerca basata sulla logica dell'affermazione; le tuple sono classificate per similarità di embedding e corrispondenza di parole chiave in modo che le "testimonianze" appaiano all'inizio del flusso.
3. Stima con Sequenze di Confidenza (CS): Per i casi in cui l'arresto anticipato è impossibile (ad esempio, verificare che un'affermazione universale sia vera), Evergreen utilizza Sequenze di Confidenza Valide in Qualsiasi Momento (Anytime-Valid Confidence Sequences). A differenza degli intervalli di confidenza classici, le CS permettono un monitoraggio continuo senza inflazionare i tassi di errore. Il sistema smette di campionare non appena l'intervallo di confidenza dimostra che l'affermazione è vera o falsa con alta probabilità.
4. Ottimizzazioni di Scopo Generale:
   • Fusione degli Operatori: Combina più operatori semantici (ad esempio, filter + map) in una singola chiamata LLM per tuple.
   • Filtraggio per Similarità: Un pre-filtro leggero che utilizza embedding per scartare tuple ovviamente irrilevanti prima di invocare l'LLM.
   • Caching dei Prompt: Riutilizza le risposte LLM per prompt identici tra diverse affermazioni.

C. Citazioni tramite Provenienza Semiring

Per fornire spiegazioni, Evergreen tratta le citazioni come provenienza dei dati. Utilizza la provenienza semiring per la logica del primo ordine:

• Ogni tuple è annotata con token che indicano se soddisfa la formula dell'affermazione.
• Il sistema deriva un insieme minimo di token (monomi) che giustificano il risultato.
• Se un'affermazione è vera, restituisce l'insieme minimo di testimoni. Se falsa, restituisce l'insieme minimo di controesempi. Questo garantisce che le spiegazioni siano concise e fondate matematicamente.

3. Contributi Chiave

1. Formalizzazione Logica: Ha identificato i tipi comuni di affermazioni negli aggregati semantici e li ha mappati su strutture logiche ben definite (esistenziale, universale, cardinale, proporzionale, ordinale, annidata).
2. Compilazione Dichiarativa: Ha dimostrato come compilare affermazioni in linguaggio naturale in query dichiarative di verifica semantica, spostando il carico di ottimizzazione dall'LLM al motore di query.
3. Ottimizzazioni Innovative: Ha introdotto tecniche specifiche per la verifica (Arresto Anticipato, Ordinamento per Rilevanza, Stima con Sequenze di Confidenza) che riducono drasticamente costi e latenza.
4. Provenienza Formale: Ha applicato la provenienza semiring per formalizzare le citazioni come spiegazioni minime per i risultati di verifica.
5. Valutazione Completa: Ha costruito un benchmark di 16 affermazioni diverse su dataset reali di recensioni di ristoranti per valutare il sistema.

4. Risultati Sperimentali

Il sistema è stato valutato su tre dataset di Yelp (1,6k–1,8k tuple ciascuno) rispetto a baseline: LLM-as-a-judge (base_rm), Agente Aumentato dalla Retrieval (rag_agent) e un Evergreen Non Ottimizzato (evg_unopt).

• Qualità vs Costo:
  • LLM Forti: Evergreen con un LLM forte (Opus) ha raggiunto F1 = 1.00 (verifica perfetta) riducendo il costo di 3.2$\times$ e la latenza di 4.0$\times$ rispetto alla versione non ottimizzata.
  • LLM Deboli: Evergreen utilizzando un LLM debole (Llama 8B) ha superato una baseline forte LLM-as-a-judge (Opus) nel punteggio F1 (0.89 vs 0.82) con un costo 48$\times$ inferiore e una latenza 2.3$\times$ inferiore.
  • vs Agente RAG: Evergreen ha eguagliato o superato la qualità dell'agente RAG con un LLM debole a un costo 63$\times$ inferiore e una latenza 4.2$\times$ inferiore.
• Studio di Ablazione:
  • L'Arresto Anticipato è stata l'ottimizzazione più critica, riducendo costi/latenza di 6.7$\times$.
  • La Stima (CS) e il Caching dei Prompt hanno fornito risparmi da 2$\times$ a 2.7$\times$.
  • Disabilitare le ottimizzazioni ha generalmente degradato le prestazioni in modo significativo, dimostrando la necessità dell'approccio neuro-simbolico.
• Robustezza: Anche con modelli più deboli, Evergreen ha mantenuto un'alta precisione della provenienza (0.84–0.99), garantendo che le citazioni fornite fossero affidabili.

5. Significato

Evergreen rappresenta un cambiamento significativo nel modo in cui i sistemi di dati semantici gestiscono l'affidabilità.

• Sinergia Neuro-Simbolica: Combina efficacemente la comprensione semantica degli LLM con l'ottimizzazione rigorosa e il ragionamento logico dei motori di query dei database.
• Scalabilità: Risolve i colli di bottiglia della "finestra di contesto" e del "costo" che attualmente impediscono l'uso affidabile degli LLM nell'analisi dei dati di produzione.
• Affidabilità: Fornendo citazioni minime e fondate matematicamente, supera le uscite "black box" degli LLM, rendendo gli aggregati semantici verificabili e affidabili per l'uso aziendale.
• Direzione Futura: Apre la strada a "Vincoli di Integrità Semantica", dove i sistemi di database possono applicare automaticamente la correttezza alle intuizioni generate dagli LLM.

In sintesi, Evergreen dimostra che trattando la verifica delle affermazioni come un problema di ottimizzazione delle query, i sistemi possono raggiungere una qualità di verifica perfetta o quasi perfetta a una frazione del costo e della latenza degli approcci basati su LLM all'avanguardia attuali.