Sintesi Tecnica: La dispersione dell'attivazione separa la familiarità dell'entità dall'affidabilità fattuale

Problema

I Large Language Models (LLM) allucinano frequentemente quando interrogati su entità che non hanno incontrato durante il pre-training. Sebbene studi meccanicistici suggeriscano che il recupero della conoscenza comporti pattern di attivazione localizzati e che l'allucinazione comporti pattern delocalizzati, rimane non testato se la dispersione statistica non supervisionata, basata su un singolo passaggio in avanti (single-forward-pass) delle attivazioni interne possa rilevare la familiarità dell'entità prima che venga generato qualsiasi token di risposta. Inoltre, non è chiaro se questo "segnale di familiarità" interno correli con la affidabilità fattuale comportamentale del modello (ovvero, se il modello risponda effettivamente in modo corretto su entità note).

Questo studio affronta tali lacune utilizzando la famiglia di modelli Bielik, con tuning per istruzioni, in lingua polacca (da 1.5B a 11B di parametri). Si investiga se la dispersione dell'attivazione possa distinguere tra entità note, reali ma oscure e fabbricate, e se tale segnale tracci la capacità del modello di rispondere correttamente.

Metodologia

Dataset e Progettazione Sperimentale

Gli autori hanno costruito un dataset attraverso quattro domini di entità: atleti, città, scrittori e musicisti. Ogni dominio contiene 126 entità divise in tre condizioni (42 per condizione):

1. Note (Known): Entità famose (es. Robert Lewandowski).
2. Sconosciute-Reali (Unknown-Real): Entità reali ma oscure (es. atleti di serie inferiori) che il modello probabilmente non sa descrivere.
3. Fabbricate (Fabricated): Nomi inventati ma morfologicamente plausibili (es. "Roman Lewandowicz").

I prompt erano domande di una sola frase ("Chi è {entità}?" o "Cos'è {entità}?"). Il dominio degli atleti è servito come banco di prova primario per l'analisi comportamentale, mentre gli altri tre domini sono stati utilizzati per testare la generalizzazione.

Estrazione del Segnale e Metriche

Per ogni prompt, è stato eseguito un singolo passaggio in avanti. Lo studio si è concentrato sulle attivazioni post-Swiglu MLP al punto del prompt (l'ultimo token del prompt, dopo che l'entità è stata elaborata).

• Metriche di Dispersione (Non Supervisionate):
  • Rapporto di Partecipazione Inversa (IPR): Misura la concentrazione dell'attivazione (alto IPR = localizzato).
  • Entropia Spettrale: Misura l'entropia della distribuzione dell'attivazione normalizzata (bassa entropia = localizzato).
  • Pre-processing: Le attivazioni sono state winsorizzate al 99° quantile per evitare che outlier massicci dominassero le statistiche.
• Limite Superiore Supervisionato: Un probe di regressione logistica con regolarizzazione $\ell_2$ addestrato sugli stati nascosti per determinare il massimo segnale linearmente decodificabile.
• Baseline:
  • Conteggio dei Token: Una baseline lessicale basata sulla lunghezza dell'entità.
  • Entropia Semantica: Una baseline multi-campione (5 campioni + clustering LLM) che misura la coerenza della risposta.
  • Entropia del Primo Token: Baseline di entropia sul lato output.

Framework di Valutazione

• Nulli Sensibili alla Selezione (Selection-Aware Nulls): Per prevenire l'overfitting sulla selezione dei layer, gli autori hanno utilizzato test di permutazione (10.000 permutazioni) in cui le etichette sono state rimescolate e il miglior layer/metrica è stato ricollegato per ogni permutazione. Il 95° percentile di questi massimi nulli ha servito da pavimento delle prestazioni.
• Validazione Held-Out: I layer sono stati selezionati su metà dei dati e valutati sull'altra metà.
• Audit Comportamentale: Per il dominio degli atleti, un giudice LLM (Claude Opus 4.8) ha valutato le risposte per correttezza fattuale sotto rubriche rigide e morbide. Un audit separato (Claude Haiku 4.5) ha contato i rifiuti e le risposte esitanti (hedged).

Contributi Chiave

1. Rilevamento della Familiarità Non Supervisionato: Lo studio dimostra che semplici statistiche di dispersione a forma chiusa (IPR ed entropia spettrale), calcolate su un singolo passaggio in avanti, possono separare le entità note da quelle fabbricate con AUROC 0.94–1.00 in tutte le scale dei modelli (1.5B–11B). Questo segnale supera i pavimenti di permutazione selection-aware (~0.70–0.74) e sopravvive alla selezione dei layer held-out.
2. Generalizzazione tra i Domini: Il rilevatore si generalizza tra atleti, città, scrittori e musicisti. Il trasferimento del probe cross-dominio produce AUROC fuori diagonale medi di 0.92–0.99. Il calo di prestazioni osservato nel trasferimento al dominio "città" è stato dimostrato essere causato dalle differenze nei template dei prompt ("Cos'è" vs "Chi è"), non dal tipo di entità, tramite un controfattuale con template corrispondente.
3. Dissociazione delle Curve di Scaling: Il documento identifica due distinti comportamenti di scaling:
   • Familiarità Rappresentazionale: La capacità di distinguere entità note da sconosciute è già al tetto (AUROC > 0.94) alla scala più piccola (1.5B) e non migliora significativamente con la scala.
   • Affidabilità Comportamentale: La capacità di rispondere correttamente su entità note scala bruscamente. Per gli atleti noti, le risposte completamente corrette sotto un giudice rigoroso sono passate da 0/42 (1.5B) a 19/42 (11B).
4. Risultato Negativo sulla Affidabilità Fattuale: All'interno del set di entità note, le metriche di dispersione non riescono a distinguere tra risposte corrette e allucinazioni (AUROC ~0.68–0.82, spesso indistinguibili dalle baseline). Il segnale rileva la familiarità, non la veridicità.
5. Complementarità con l'Entropia Semantica: Mentre la dispersione in un singolo passaggio supera l'entropia semantica nel contrasto "noto vs fabbricato" (0.94+ vs 0.71–0.83), l'entropia semantica supera la dispersione nel contrasto "corretto vs allucinazione" (fino a 0.87). I due parametri consumano informazioni diverse (familiarità lato prompt vs coerenza lato generazione).
6. Il Gap di Astensione: Nonostante portino un segnale interno quasi perfetto di non familiarità a tutte le scale, i modelli quasi mai rifiutano di rispondere. In 2.520 risposte campionate di atleti, ci sono stati solo 2 rifiuti e 1 risposta esitante (99.88% di asserzioni dirette). Questo gap esiste anche a 11B, dove il segnale interno è leggibile.

Risultati

• Separabilità: La migliore metrica di dispersione non supervisionata ha raggiunto AUROC di 0.936 (1.5B) a 0.984 (4.5B) per atleti noti vs fabbricati. Il probe supervisionato ha raggiunto 0.99–1.00, indicando che l'informazione è presente nelle attivazioni.
• Contrasti di Controllo:
  • Noti vs Sconosciuti-Reali: La dispersione ha raggiunto 0.97–1.00, provando che il segnale traccia la familiarità piuttosto che la semplice "stranezza" delle stringhe fabbricate.
  • Sconosciuti-Reali vs Fabbricati: La dispersione ha raggiunto 0.70–0.82, suggerendo una componente residua lessicale o di plausibilità nelle stringhe fabbricate, ma questo è molto al di sotto del segnale principale.
• Struttura della Profondità: Il segnale di familiarità è presente dai primi-medi layer (profondità relativa ~0.2) e persiste attraverso la rete. L'entropia spettrale mostra una consistente "banda di conoscenza" alla profondità relativa [0.48, 0.77] attraverso i modelli.
• Diffusione dell'Attenzione: Il segnale non è trasportato da un piccolo set fisso di teste di attenzione. L'analisi per testa mostra che il segnale di familiarità è diffuso, con solo 1–2 teste condivise tra le top-20 teste di tutti e quattro i domini.
• Scaling Comportamentale: La correttezza sulle entità note è migliorata monotonicamente con la scala (0 → 2 → 10 → 19 corretti su 42 secondo criteri rigorosi).
• Comportamento di Rifiuto: I modelli raramente si astengono. Solo l'11B ha rifiutato due volte; i modelli 1.5B e 4.5B non hanno mai rifiutato, nonostante abbiano lo stesso segnale di familiarità interna.

Significato e Rivendicazioni

Il documento sostiene che la familiarità dell'entità e l'affidabilità fattuale sono fenomeni distinti che si muovono su diverse curve di scaling.

• La familiarità è una proprietà a bassa capacità: I modelli piccoli (1.5B) possiedono già una rappresentazione interna leggibile di ciò che conoscono e non conoscono. Questa è un' "ombra volumetrica grossolana" del circuito di riconoscimento delle entità trovato negli studi meccanicistici.
• L'affidabilità è una proprietà ad alta capacità: La capacità di recuperare fatti senza allucinazioni richiede significativamente più parametri e ripetizione dei dati.
• Il Gap di Allineamento: La scoperta più significativa è il regime di quasi-zero-rifiuto. I modelli possiedono un segnale interno "perfetto" che indica che non conoscono un'entità, eppure quasi mai agiscono su di esso comportamentalmente. Gli autori sostengono che questo sia un gap di allineamento/tuning piuttosto che un gap di capacità, poiché modelli più grandi (e altre famiglie come Gemma-4) possono essere indotti a rifiutare in condizioni simili.

Il documento conclude che, sebbene la dispersione dell'attivazione fornisca un gate economico e senza etichette per rilevare entità non familiari (utile per il routing verso il recupero o l'astensione), non può essere utilizzata come rilevatore di allucinazioni per contenuti riguardanti entità familiari. Lo stato interno dice al modello "Non conosco questa entità", ma non dice "Sto per mentire su questa entità nota".