💬 NLP

Efficient Knowledge Probing of Large Language Models by Adapting Pre-trained Embeddings

Questo articolo introduce PEEK, un metodo computazionalmente efficiente che adatta modelli di embedding pre-addestrati con un decoder lineare per predire accuratamente la conoscenza fattuale dei Large Language Models su larga scala, evitando così gli elevati costi delle tradizionali tecniche di probing tramite forward-pass.

Autori originali: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Pubblicato 2026-01-27

📖 4 min di lettura☕ Lettura da pausa caffè

CC BY 4.0

Autori originali: Kartik Sharma, Yiqiao Jin, Rakshit Trivedi, Srijan Kumar

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di avere una biblioteca gigante e incredibilmente intelligente (un Modello di Linguaggio di Grandi Dimensioni, o LLM) che ha letto quasi tutto ciò che c'è su Internet. Vuoi sapere esattamente quali fatti ha memorizzato e cosa ha dimenticato.

Il Problema:
Attualmente, per verificare se la biblioteca conosce un fatto specifico (come "I Garifuna sono una popolazione del Guatemala"), devi avvicinarti al bibliotecario, porre la domanda e aspettare la risposta. Se vuoi verificare milioni di fatti, è come cercare di leggere ogni singolo libro della biblioteca uno alla volta. È lento, costoso e, se la biblioteca è una "scatola nera" (non puoi vedere come pensa), non puoi sbirciare dentro il suo cervello per vedere cosa sa senza chiederglielo direttamente.

La Soluzione (PEEK):
Gli autori di questo articolo propongono un nuovo strumento chiamato PEEK (Proxy Embeddings to Estimate Knowledge). Pensa a PEEK come a un "radar della conoscenza" ad alta tecnologia o a un bibliotecario ombra.

Invece di fare alla gigantesca biblioteca ogni singola domanda, PEEK utilizza uno "scanner" più piccolo e veloce, pre-addestrato (un modello di embedding), per indovinare cosa sa la grande biblioteca.

Ecco come funziona, passo dopo passo:

La Fase di Addestramento (Insegnare allo Scanner):
Per prima cosa, i ricercatori prendono un piccolo campione di fatti e chiedono alla grande biblioteca: "Conosci questo?". Registrano la risposta della biblioteca (Sì/No, o quanto è sicura). Poi, prendono uno scanner più piccolo e veloce e mostrano allo scanner il testo di quei fatti. Regolano le impostazioni dello scanner (come sintonizzare una radio) finché il "indovino" dello scanner non corrisponde alla risposta reale della grande biblioteca.

Analogia: Immagina di avere uno chef magistrale (l'LLM) e un sous-chef (il modello di embedding). Assaggi la zuppa dello chef magistrale e dici al sous-chef: "Questa zuppa è salata". Continui a regolare il condimento del sous-chef finché questi non è in grado di prevedere esattamente quanto sarà salata la zuppa dello chef magistrale, semplicemente guardando la lista degli ingredienti.

La Fase di Predizione (Il Radar):
Una volta che lo scanner è tarato, non hai più bisogno della grande biblioteca. Ti basta inserire un nuovo fatto nello scanner. Lo scanner predice istantaneamente: "La grande biblioteca conosce questo" oppure "La grande biblioteca non conosce questo".

Analogia: Ora, invece di chiedere allo chef magistrale di assaggiare ogni nuovo ingrediente, il sous-chef guarda la lista degli ingredienti e dice istantaneamente: "Lo chef sa come cucinare questo".

Cosa hanno scoperto:

Velocità e Accuratezza: Questo metodo dello "scanner" è incredibilmente veloce e accurato. Nei loro test, è stato in grado di prevedere ciò che la grande biblioteca sapeva con un'accuratezza fino al 90% senza mai porre una singola domanda alla grande biblioteca.
Testo vs. Mappe: Hanno provato due tipi di scanner: uno che legge frasi (come un modello di embedding di frasi) e uno che legge mappe di connessioni (come una rete neurale a grafo). Hanno scoperto che lo scanner di frasi funzionava molto meglio. Sembra che la grande biblioteca organizzi la sua conoscenza più come una collezione di frasi che come una rigida mappa di connessioni.
Nessuna necessità di guardare dentro: A differenza di altri metodi che richiedono di osservare le onde cerebrali interne della biblioteca (gli strati nascosti), PEEK ha solo bisogno del testo del fatto. Ciò significa che funziona anche se la biblioteca è una "scatola nera" che non puoi toccare.

Perché questo è importante:
L'articolo suggerisce che, prima di lasciare che queste gigantesche biblioteche di IA ci aiutino in compiti importanti (come l'assistenza sanitaria o il diritto), dovremmo usare questo "scanner" per controllare rapidamente le loro lacune di conoscenza. È un modo economico ed efficiente per dire: "Ehi, questa IA non sa X, quindi sistemiamolo prima di lasciarla parlare con un paziente".

In sintesi:
PEEK è un modo per costruire un proxy veloce ed economico che impara a mimare la base di conoscenza di una IA gigante. Una volta addestrato, questo proxy può scansionare milioni di fatti per dirti cosa sa la grande IA, risparmiandoti tempo e denaro rispetto al chiedere direttamente alla grande IA.

Riepilogo Tecnico: Sonda Efficiente della Conoscenza dei Large Language Models tramite l'Adattamento di Embedding Pre-addestrati

Problema

I Large Language Models (LLM) acquisiscono vaste quantità di conoscenza fattuale in diversi domini durante il pre-addestramento generativo. Tuttavia, a causa di obiettivi di apprendimento stocastici e dati di addestramento rumorosi, mappare il panorama specifico della conoscenza di un LLM rimane una sfida. Gli attuali metodi per sondare questa conoscenza — come la creazione di prompt specifici, l'investigazione delle rappresentazioni nascoste o la stima dell'incertezza epistemica — richiedono passaggi in avanti (forward passes) attraverso l'LLM sottostante. Questi approcci sono computazionalmente costosi, dispendiosi in termini di tempo e spesso impraticabili per modelli estremamente grandi o "black-box", limitando la capacità di identificare efficientemente le lacune fattuali prima del deployment in applicazioni che richiedono alta intensità di conoscenza, come la sanità e il diritto.

Metodologia: PEEK (Proxy Embeddings to Estimate Knowledge)

Gli autori propongono PEEK, un framework che sfrutta modelli di embedding pre-addestrati come proxy per stimare la conoscenza degli LLM senza interrogare direttamente gli LLми. L'ipotesi centrale è che gli embedding possano codificare efficacemente la conoscenza fattuale e che, se adattati, possano predire gli output degli LLM con alta precisione.

1. Funzioni di Sonda della Conoscenza (Knowledge Probing Functions)

Per stabilire la verità fondamentale (ground truth) per i modelli proxy, gli autori definiscono quattro distinte strategie di sonda per determinare se un LLM ( $M$ ) conosce un fatto specifico ( $f$ ):

Generazione Binaria: Prompting dell'LLM con domande sì/no riguardanti la veridicità di un'affermazione.
Generazione di Logit Binari: Estrazione dei logit dei token attesi ('yes'/'no') dall'LLM per misurare la "fiducia esterna".
Predizione di Attivazione Binaria: Addestramento di un head lineare sulle rappresentazioni nascoste (attivazioni dell'ultimo token) dell'LLM per predire la veridicità, misurando la "fiducia interna".
Generazione di Fatti: Utilizzo della generazione aperta (es. biografie) e classificazione dei fatti atomici come supportati (noti) o non supportati (non noti) sulla base di basi di conoscenza esterne.

2. Modelli di Embedding Proxy

Il framework utilizza due tipi di modelli di embedding pre-addestrati per rappresentare i fatti:

Embedding di Frasi (Sentence Embeddings): Modelli (es. MPNET, NVE2, Linq, GTE) che codificano le frasi in spazi a bassa dimensionalità, addestrati per rappresentare la similarità semantica.
Reti Neurali su Grafi (GNN): Nello specifico ULTRA, che codifica triple di grafi della conoscenza (testa, relazione, coda) utilizzando informazioni sul percorso minimo (shortest-path).

3. Tuning degli Embedding (Proxy Tuning)

Poiché gli embedding pre-addestrati non sono nativamente allineati con la conoscenza specifica di un LLM, gli autori li adattano utilizzando un piccolo set di addestramento di fatti identificati tramite le strategie di sonda. L'adattamento prevede la minimizzazione di una funzione di perdita per far corrispondere la predizione basata sull'embedding ( $\hat{P}_\theta$ ) con l'output sondato dall'LLM ( $P_M$ ). Due strategie di tuning sono impiegate:

Linear Tuning: Aggiornamento solo dello strato di decoder lineare finale ( $W$ ) mantenendo congelati i parametri dell'embedding ( $E$ ).
Low-Rank Tuning (LoRA): Aggiornamento dei parametri tramite l'aggiunta di una matrice a basso rango.

La funzione di perdita è la cross-entropy binaria per output discreti (0/1) e la perdita di distillazione della conoscenza (con temperatura $T$ ) per output continui (logit/attivazioni).

Contributi Chiave

Approccio di Sonda Novello: Introduzione di PEEK, che utilizza head lineari addestrabili su modelli di embedding pre-addestrati per sondare la conoscenza degli LLM, evitando costosi passaggi in avanti attraverso l'LLM target.
Validazione Multi-Strategia: Scoperta della conoscenza fattuale attraverso diverse strategie, inclusi query binarie, generazione a forma libera e analisi delle attivazioni interne.
Valutazione Esaustiva: Esperimenti estesi su 4 LLM (Llama-3.1-8B, GPT-4o, GPT-4o-mini), 3 dataset (DBP100k, YAGO310, FactScore) e 7 modelli di embedding.
Efficienza e Accuratezza: Dimostrazione che gli embedding possono predire la conoscenza degli LLM su set di test non visti con un'accuratezza fino al 90% e alti punteggi AUC, superando significativamente i baseline come i classificatori a maggioranza e il caso casuale.

Risultati Sperimentali

Performance: I modelli di sentence embedding (particolarmente NVE2 e Linq) hanno costantemente superato gli embedding grafici (ULTRA) e i baseline. Nel compito di generazione binaria su DBP100k, NVE2 ha raggiunto fino al 91,52% di accuratezza e l'86,89% di AUC per GPT-4o-mini.
Confronto tra Modelli: Mentre Linq ha performato meglio su YAGO310, NVE2 eccelle su DBP100k. Notevolmente, il modello basato su grafi ULTRA ha performato scarsamente, suggerendo che gli LLM non inducono i fatti attraverso gli stessi meccanismi di percorso minimo utilizzati dalle GNN sui grafi della conoscenza.
Efficienza di Tuning: Il linear tuning è risultato efficace quanto il tuning LoRA, suggerendo che un semplice strato lineare è sufficiente per adattare gli embedding allo spazio della conoscenza di un LLM.
Robustezza: I risultati sono rimasti stabili attraverso varie percentuali di campionamento (0,1% - 10%) e rapporti di campioni negativi, sebbene le performance siano generalmente migliorate con l'inclusione di campioni negativi grazie al bilanciamento delle classi.
Limitazioni Osservate: Il metodo ha incontrato difficoltà con Llama-3.3-70B, dove i modelli di embedding non sono riusciti a stimare la conoscenza meglio del caso casuale, indicando che stimare la conoscenza in modelli più grandi e complessi rimane una sfida.

Significatività e Rivendicazioni

L'articolo sostiene che PEEK fornisce un'alternativa scalabile e conveniente al probing tradizionale della conoscenza. Utilizzando proxy di embedding, ricercatori e professionisti possono:

Identificare le lacune fattuali negli LLM su larga scala senza interrogare i modelli.
Ottenere intuizioni sul bias induttivo interno degli LLM riguardo ai paesaggi fattuali.
Ottimizzare la Generazione Aumentata da Recupero (RAG) ignorando i fatti che il modello già conosce, migliorando così l'utilizzo del contesto.

Gli autori sottolineano che, sebbene il loro benchmark si basi su conoscenze derivate da Wikipedia, la metodologia non è intrinsecamente limitata a domini chiusi. Tuttavia, notano con modestia che la conoscenza di domini specializzati potrebbe richiedere l'addestramento di embedding specifici per il dominio partendo da zero. Il lavoro conclude che gli embedding dovrebbero essere utilizzati nella fase di pre-deployment degli LLM per trovare e correggere preventivamente le lacune fattuali.