Text Corpora as Concept Fields: Black-Box Hallucination and Novelty Measurement

Riepilogo Tecnico: I Corpora Testuali come Campi Concettuali

Enunciato del Problema
I metodi attuali per rilevare le allucinazioni degli LLM o per valutare l'ancoraggio (groundedness) spesso si affidano agli interni dei modelli white-box, a metriche di perplessità grey-box o ad approcci black-box che richiedono una pesante calibrazione (ad esempio, LLM-as-judge). Queste soluzioni esistenti sono frequentemente costose, dipendenti dall'architettura o prive di interpretabilità operativa. Inoltre, molti approcci geometrici nello spazio degli embedding sono limitati a confronti pairwise (ad esempio, DTW) o mancano di un meccanismo per tenere conto dell'incertezza locale all'interno di un corpus. Gli autori propongono un passaggio dal considerare l'allucinazione come un fallimento binario a un concetto più ampio di ancoraggio (groundedness): se un output è supportato da un corpus target. Questa cornice si applica sia alla conformità (dove la deviazione è negativa) sia alla creatività (dove la deviazione è positiva).

Metodologia
Il contributo centrale è il Campo Concettuale, un campo di deriva locale con incertezza puntuale stimata nello spazio degli embedding delle frasi. La metodologia procede come segue:

1. Database di Sequenze Vettoriali (VSDB): Gli autori introducono un livello di archiviazione che ospita embedding di frasi a dimensionalità fissa insieme a metadati sulla posizione nella sequenza e informazioni sul "delta successivo" ($\Delta_{i,j} = v_{p+1} - v_p$). Ciò permette al sistema di trattare un corpus non solo come un insieme di frasi, ma come una collezione di traiettorie nello spazio degli embedding.
2. Costruzione del Campo Concettuale: Utilizzando il VSDB, gli autori calcolano una densità di probabilità locale delle transizioni tra frasi. Trattando il corpus come un "campo vettoriale", definiscono una deriva deterministica dove il "flusso" rappresenta il concetto successivo più probabile data una frase corrente. Questo campo è stimato utilizzando l'interpolazione Inverse Distance Weighting (IDW) sui vicini più prossimi nello spazio degli embedding.
3. Meccanismo di Punteggio ($\zeta$): Per valutare una transizione di frase candidata, il sistema calcola la distanza z assoluta media ($\zeta$) tra il delta osservato e la stima gaussiana locale del Campo Concettuale.
   • Un $\zeta$ piccolo indica un accordo statistico con il flusso del corpus (ancorato).
   • Un $\zeta$ grande indica una deviazione dal flusso del corpus (non ancorato o nuovo).
   • Il punteggio è completamente black-box (non richiede interni del modello), attribuibile al corpus (risalendo a specifiche frasi del corpus) e ammette un'interpretazione probabilistica diretta.
4. Analisi Geometrica: Gli autori esplorano la divergenza e il rotore del Campo Concettuale su cluster densi. Un'alta divergenza indica "sorgenti logiche" (punti di partenza comuni) o "pozzi logici" (conclusioni comuni), mentre un alto rotore suggerisce "temi impliciti" o regioni in cui i vettori circolano attorno a un concetto centrale senza un flusso lineare chiaro.

Contributi Chiave

1. Campo Concettuale tramite VSDB: Una rappresentazione a livello di corpus del flusso delle sequenze di frasi con incertezza locale, implementata attraverso un innovativo Database di Sequenze Vettoriali.
2. Rilevamento Selettivo dell'Ancoraggio: Una politica di triage (Ancorato / Non ancorato / Incerto) basata su soglie $\zeta$. Questo approccio ottiene tassi di errore elevati sui casi accettati mantenendo un bucket "incerto" per le transizioni ambigue.
3. Robustezza Cross-Dominio: Lo stesso meccanismo supporta sia controlli di ancoraggio in stile conformità (rilevamento di allucinazioni in testi legali) sia controlli di deviazione in stile novità (rilevamento di deviazioni creative in letteratura) senza ricalibrazione delle soglie.
4. Geometria del Corpus: Evidenza qualitativa che le caratteristiche topologiche (divergenza/rotore) nel Campo Concettuale corrispondono a pattern semantici significativi, come flussi di ragionamento comuni o regioni di evitamento.

Risultati Sperimentali
Gli autori hanno valutato l'approccio su due scenari su larga scala:

• CFR (Codice dei Regolamenti Federali): Un corpus fattuale/legale utilizzato per testare il rilevamento di allucinazioni. Il sistema è stato testato su coppie di frasi riscritte da LLM, distinguendo tra quelle che preservavano il significato (ancorate) e quelle che cambiavano la semantica (non ancorate).
• Project Gutenberg: Un corpus letterario generale utilizzato per testare il rilevamento di novità, dove la "mancanza di ancoraggio" (alto $\zeta$) è una caratteristica desiderabile per la scrittura creativa.

Risultati sulle Prestazioni:

• Classificazione Selettiva: Sotto una politica di triage (ad esempio, $\zeta_{low}=1, \zeta_{high}=3.75$), il metodo ha ottenuto un punteggio F1 di 0.978 e un AUC di 0.984 sul dataset CFR con una copertura di circa il 56% (il 44% degli esempi contrassegnato come "incerto").
• Confronto con Baseline: Il Campo Concettuale ha superato o eguagliato le baseline che utilizzavano una semplice distanza tra vicini più prossimi (Euclidea o Cosine) sul VSDB. Crucialmente, mentre le baseline basate sulla distanza richiedevano un'ottimizzazione specifica per corpus delle soglie, il Campo Concettuale ha mantenuto prestazioni coerenti e un'interpretazione delle soglie costante sia nel dominio CFR che in quello Gutenberg.
• Comportamento Copertura-Rischio: Il metodo ha dimostrato trade-off copertura-rischio simili in entrambi i domini, supportando l'affermazione che l'interpretazione basata sulla probabilità di $\zeta$ si trasferisce efficacemente tra corpora fattuali e creativi.
• Insight Geometrici: L'analisi qualitativa di divergenza e rotore ha rivelato cluster semanticamente coerenti (ad esempio, "GOOOOAAALL!!" come pozzo logico nei commenti sportivi, o una specifica formulazione regolamentare come sorgenti/pozzi logici nel CFR).

Significato e Affermazioni
Il paper afferma che i Campi Concettuali forniscono un segnale rapido, leggero e interpretabile per l'ancoraggio e la novità, complementare ai giudici LLM-as-judge e ai rilevatori white-box.

• Interpretabilità: A differenza dei giudici black-box, ogni punteggio risale a frasi vicine del corpus, offrendo spiegabilità.
• Efficienza: Una volta indicizzato, il metodo è più veloce ed economico (nessun utilizzo di token API) rispetto alla valutazione basata su LLM, eseguendosi su CPU commerciali.
• Agnosticismo Linguistico: L'approccio non è legato a specifiche architetture di modelli, rendendolo applicabile a varie lingue del mondo.
• Modestia: Gli autori inquadrano l'analisi geometrica (divergenza/rotore) come "generatrice di ipotesi" piuttosto che come un risultato quantitativo definitivo. Riconoscono che la qualità del Campo Concettuale dipende dai dati, notando che corpora logicamente coerenti (come le leggi) producono campi più affidabili rispetto a dati internet rumorosi. Il lavoro è presentato come un passo fondazionale, lasciando spazio alla comunità per migliorare gli schemi di embedding e i metodi di interpolazione.