How Far Can You Get Without a GPU? A Systematic Benchmark of Lightweight Hallucination Detection Across Question Answering, Dialogue, and Summarisation

Sintesi Tecnica: Benchmark Sistematico della Rilevazione Leggera delle Allucinazioni

Definizione del Problema
L'implementazione dei Large Language Models (LLM) in domini ad alto rischio richiede un robusto rilevamento delle allucinazioni. Tuttavia, i metodi di rilevamento più accurati attualmente disponibili si basano su requisiti ad alta intensità di risorse: inferenza accelerata da GPU, chiamate API proprietarie o accesso "white-box" agli interni del modello (ad esempio, le probabilità dei token). Questi vincoli escludono ricercatori e professionisti con risorse limitate. Questo articolo affronta la questione di quanto efficacemente il rilevamento delle allucinazioni possa essere eseguito utilizzando solo metodi leggeri, fattibili su CPU, basati su modelli pubblici, senza chiamate API o accesso agli interni del modello generatore.

Metodologia
Gli autori hanno condotto un benchmark sistematico di cinque distinti metodi di rilevamento attraverso i tre compiti del dataset HaluEval: Question Answering (QA), Dialogue (Dialogo) e Summarisation (Sintesi). Lo studio ha utilizzato una CPU di un laptop standard e modelli pubblici.

1. Metodi Valutati:

   • ROUGE-L: Una metrica di sovrapposizione lessicale che misura la sottosequenza comune più lunga tra la sorgente e il candidato.
   • Similarità Semantica: Similarità del coseno tra gli embedding di sorgente e candidato utilizzando all-MiniLM-L6-v2 (~22M di parametri).
   • BERTScore: Una misura F contestuale a livello di token utilizzando un backbone DistilBERT.
   • Rilevatore NLI: Un approccio di Natural Language Inference utilizzando un modello DeBERTa-v3-base (~184M di parametri) perfezionato su MultiNLI, FEVER e Adversarial NLI. La sorgente (troncata a 800 caratteri) più il contesto fungono da premessa, mentre il candidato funge da ipotesi. Il punteggio è derivato come $s = 1 - P(\text{entailment})$.
   • Ensemble: Una combinazione lineare a livello di punteggio dei punteggi NLI e di Similarità Semantica ($s = \alpha s_{NLI} + (1-\alpha)s_{sim}$), con pesi ($\alpha$) ottimizzati tramite ricerca a griglia (grid search) su un set di validazione.

2. Configurazione Sperimentale:

   • Dati: 3.000 campioni per compito sono stati estratti da HaluEval (seed 42).
   • Suddivisione (Split): 1.000 istanze per la validazione (calibrazione di soglia e pesi) e 2.000 istanze per il test.
   • Calibrazione: Le soglie sono state selezionate sul set di validazione per massimizzare l'indice di Youden (TPR - FPR) e applicate invariate al set di test.
   • Metriche: Accuratezza, Precisione, Recall, F1 (dove positivo = allucinazione), e AUC-ROC.

Risultati Chiave
È stato riscontrato che le prestazioni sono altamente dipendenti dal compito, senza che un singolo metodo dominasse in tutti gli scenari.

• Question Answering (QA): Questo è stato il compito più trattabile. Il metodo Ensemble ha ottenuto le migliori prestazioni (F1 = 0,792, AUC-ROC = 0,873), superando il miglior metodo singolo di circa 5 punti. La sovrapposizione contestuale dei token (BERTScore) si è dimostrata un segnale più forte rispetto alla similarità del coseno a livello di frase.
• Dialogue (Dialogo): Le prestazioni sono degradate rispetto alla QA. Il rilevatore NLI è emerso come il metodo singolo più forte (AUC-ROC = 0,713, Recall = 0,781), indicando che il ragionamento per implicazione (entailment) si trasferisce efficacemente negli ambienti conversazionali. I metodi lessicali e di embedding si sono raggruppati più in basso (AUC-ROC 0,61–0,66).
• Summarisation (Sintesi): Tutti e cinque i metodi sono degradati verso prestazioni vicine al caso (AUC-ROC tra 0,469 e 0,574). Sebbene alcuni metodi abbiano mostrato punteggi F1 elevati (ad esempio, BERTScore F1 = 0,658), ciò è stato guidato da una recall estrema (>0,99) con una precisione vicina al caso, etichettando di fatto quasi tutto come allucinazione. Gli autori attribuiscono questo fenomeno a un fallimento strutturale: le allucinazioni nella sintesi sono spesso modifiche fattuali sottili all'interno di sintesi lunghe, altrimenti fedeli. Le metriche di sovrapposizione sono dominate dalla parte fedele rimanente, e il troncamento della premessa del modello NLI a 800 caratteri impedisce l'accesso al contesto completo del documento.

Impronta Computazionale
Tutti gli esperimenti sono stati eseguiti su una CPU di un laptop standard senza GPU.

• Throughput: I metodi lessicali e di embedding sono altamente efficienti (ROUGE-L: ~1.300 candidati/sec; Similarity/BERTScore: ~66 candidati/sec).
• Collo di bottiglia: Il rilevatore NLI (~184M di parametri) è il più lento a ~4 candidati/sec, completando la valutazione di un set di test di 2.000 istanze in circa otto minuti. L'ensemble non aggiunge costi di modello oltre ai componenti NLI e di similarità.

Contributi Chiave

1. Benchmark Sistematico: Una valutazione completa di cinque metodi fattibili su CPU attraverso tre distinti compiti di NLP, calibrati su dati di validazione separati.
2. Classifica Dipendente dal Compito: Dimostrazione che l'efficacia del metodo varia significatamente in base al compito; l'Ensemble è ottimale per la QA, l'NLI per il Dialogo, e nessun metodo leggero è praticabile per la Sintesi.
3. Identificazione di un Fallimento Sistematico: L'articolo mappa la "frontiera pratica" della rilevazione senza GPU, evidenziando un chiaro limite strutturale dove i metodi leggeri falliscono nella sintesi a causa della natura delle allucinazioni e dei vincoli di contesto.
4. Guida Pratica: Raccomandazioni per la selezione del metodo basate sui vincoli computazionali e sul tipo di compito (ad esempio, utilizzare l'NLI per il ranking del dialogo, evitare metodi leggeri per la sintesi).

Significatività e Rivendicazioni
L'articolo sostiene di fornire una linea di base realistica per la vasta comunità che lavora senza hardware specializzato. Si argomenta che confrontare un singolo metodo costoso con baselines deboli occulta i punti di forza specifici e i modi di fallimento dei metodi accessibili.

Gli autori concludono che, sebbene la rilevazione senza GPU sia fattibile ed efficace per QA e Dialogo, essa affronta un limite strutturale sulla Sintesi. Questo fallimento non è un difetto di un algoritmo specifico, ma una limitazione del regime "lightweight" stesso, che manca della capacità di decomposizione a livello di singola affermazione (claim-level decomposition) o di modellazione del contesto lungo richiesta dai compiti di sintesi. Il lavoro offre ai professionisti senza hardware specializzato una base chiara per la selezione dei metodi e una comprensione realistica di dove l'accessibilità ha successo e dove invece fallisce.