Geometric Deviation as an Unsupervised Pre-Generation Reliability Signal: Probing LLM Representations for Answerability

Riepilogo Tecnico: Deviazione Geometrica come Segnale di Affidabilità Pre-Generazione Non Supervisionato

Enunciato del Problema
L'allucinazione—la generazione di risposte sicure ma errate—rimane una sfida critica per l'affidabilità dei Modelli Linguistici di Grandi Dimensioni (LLM) distribuiti. Sebbene lavori precedenti abbiano esplorato la calibrazione dell'incertezza, i classificatori di sondaggio interno e la guida delle rappresentazioni, molti metodi esistenti si basano su dati di fallimento etichettati, richiedono l'accesso agli output del modello (post-generazione) o sono sensibili a specifiche architetture di modello. La domanda centrale affrontata da questo lavoro è se la geometria delle rappresentazioni non supervisionata possa funzionare da sola come un segnale di affidabilità pre-generazione pratico. Nello specifico, il modello può rilevare che una query è non rispondibile prima di generare qualsiasi token, senza esempi di fallimento etichettati o campionamento dell'output?

Metodologia
Gli autori propongono un approccio minimale e non supervisionato che misura la distanza del coseno dello stato nascosto di un prompt dal baricentro di un insieme di riferimento di prompt noti come rispondibili ("rappresentazioni della classe rispondibile").

• Progettazione Sperimentale: Lo studio utilizza tre modelli istruiti di scala simile (7–8 miliardi di parametri): Llama 3.1-8B, Qwen 2.5-7B e Mistral-7B.
• Costruzione del Prompt (Coppie Appaiate): Per isolare la rispondibilità dalle variazioni di superficie (dominio, lunghezza, sintassi), gli autori costruiscono coppie appaiate per tre forme di prompt:
  • MATEMATICA: Domande ben definite di aritmetica/algebra (Rispondibili, A) appaiate con varianti strutturalmente identiche contenenti quantità o operazioni non definite (Non rispondibili, U).
  • FATTI: Domande fattuali verificabili appaiate con varianti che fanno riferimento a eventi futuri non conoscibili o entità inesistenti.
  • CODICE: Espressioni Python con restituzioni deterministiche appaiate con varianti non definite, che generano eccezioni o richiedono computazione illimitata.
• Estrazione del Segnale: Gli stati nascosti vengono estratti, mediati sui token di input e centrati sulla media per rimuovere l'anisotropia. Il punteggio di affidabilità è la distanza del coseno di un prompt rispetto al baricentro dell'insieme Rispondibile (A) all'interno della sua forma specifica.
• Linee di Base: Il segnale geometrico viene confrontato con:
  1. Linea di Base del Rifiuto: Un classificatore basato su parole chiave sull'output generato (rilevamento di rifiuti espliciti).
  2. Auto-Consistenza (SC): Una linea di base post-generazione che utilizza 5 campioni per misurare il disaccordo sull'output.

Contributi e Risultati Chiave

1. La Geometria Codifica la Forma del Compito: La geometria delle rappresentazioni è organizzata principalmente dalla forma sintattica del compito (Matematica, Fatti, Codice) piuttosto che solo dal contenuto semantico. I prompt non rispondibili all'interno di una forma specifica tendono a rimanere all'interno del cluster geometrico di quella forma, sebbene la loro posizione rispetto al baricentro vari.
2. Segnale di Affidabilità Condizionato alla Forma:
   • MATEMATICA (Segnale Forte): I prompt matematici non rispondibili si discostano costantemente dal baricentro rispondibile. Ciò produce una forte separazione in tutti e tre i modelli (ROC-AUC 0,78–0,84), superando significativamente sia la linea di base del rifiuto che l'auto-consistenza. Il segnale cattura casi in cui i modelli allucinano senza rifiutare esplicitamente.
   • FATTI (Nessun Segnale): Non emerge una separazione geometrica affidabile per la non rispondibilità fattuale (p > 0,34). La non rispondibilità fattuale (ad esempio, eventi futuri) è sintatticamente indistinguibile dai fatti rispondibili, lasciando il cluster geometrico intatto.
   • CODICE (Segnale Misto/Variabile): Si osservano grandi dimensioni dell'effetto (d di Cohen > 1,0), suggerendo che il fenomeno si generalizza al codice, sebbene la significatività statistica sia mista a causa di una maggiore varianza all'interno del gruppo nelle espressioni Python rispetto alla matematica.
3. Profilo del Segnale per Livello: Il segnale di rispondibilità è un fenomeno dei livelli iniziali. Il divario tra le rappresentazioni rispondibili e non rispondibili raggiunge il picco ai livelli 2–5 e generalmente si attenua verso l'ultimo livello. L'attenuazione è guidata dalle rappresentazioni rispondibili che si spostano verso una varietà "pronta alla generazione" nei livelli più profondi, piuttosto che dal decadimento dei segnali non rispondibili.
4. Consenso Cross-Modello vs. Divergenza Comportamentale: Esiste un forte consenso geometrico tra i modelli su specifici tipi di prompt non rispondibili (ad esempio, "il più grande numero primo"), indicando che il segnale riflette proprietà strutturali a livello di input. Tuttavia, le risposte comportamentali divergono: Qwen tende a rifiutare questi prompt, mentre Llama spesso allucina. Ciò suggerisce che l'addestramento all'allineamento plasma come i modelli agiscono sulle anomalie geometriche, non l'esistenza del segnale di anomalia stesso.

Significato e Affermazioni
Il documento afferma che la deviazione geometrica funge da segnale di affidabilità pre-generazione leggero, non supervisionato, ma con confini chiari:

• Efficacia: È altamente efficace in domini strutturati dove la non rispondibilità introduce incoerenze strutturali (ad esempio, operazioni matematiche non definite, codice con tipi errati). In questi casi, supera le linee di base basate sull'output (parole chiave di rifiuto, auto-consistenza) e opera con latenza di inferenza zero.
• Limiti: Il segnale è condizionato alla forma, non universale. Non riesce a rilevare la non rispondibilità in query fattuali a dominio aperto dove la sintassi rimane valida nonostante il contenuto sia non conoscibile.
• Meccanismo: Il segnale viene stabilito all'inizio della rete (livelli 2–5), suggerendo che il modello codifica le violazioni strutturali prima di impegnarsi in una strategia di generazione.

Conclusione
Gli autori concludono che, sebbene la deviazione geometrica non sia un rilevatore universale di allucinazioni, fornisce un meccanismo principiato e a basso costo per i controlli di affidabilità pre-generazione in domini con vincoli formali di rispondibilità. I risultati evidenziano che la relazione tra geometria interna e comportamento del modello è modulata dall'addestramento all'allineamento e che le attivazioni dei livelli iniziali possono offrire segnali di affidabilità più forti rispetto al livello di output finale.