Revisiting Non-Verbatim Memorization in Large Language Models: The Role of Entity Surface Forms

1. Il Problema

La memorizzazione di conoscenze fattuali nei Large Language Models (LLM) è fondamentale per valutarne l'affidabilità. Tuttavia, le valutazioni esistenti basate su domande e risposte (QA) relative a entità spesso utilizzano un singolo nome canonico (superficie) per ogni entità.
Questo approccio presenta un limite critico: è difficile distinguere se un modello abbia effettivamente memorizzato un fatto su un'entità o se sia semplicemente in grado di accedere a quel fatto attraverso un nome specifico. Poiché le entità reali sono spesso referenziate con molteplici forme superficiali (nomi alternativi, abbreviazioni, varianti ortografiche, errori comuni), la valutazione basata solo sul nome canonico potrebbe sovrastimare la robustezza del modello o nascondere fallimenti nell'accesso alla conoscenza quando l'entità è nominata diversamente.

2. Metodologia: RedirectQA

Per analizzare sistematicamente questo fenomeno, gli autori introducono RedirectQA, un nuovo dataset di QA basato su entità.

• Costruzione del Dataset:
  • Il dataset associa triple fattuali di Wikidata (soggetto, relazione, oggetto) a multiple forme superficiali del soggetto, utilizzando le informazioni di reindirizzamento (redirect) di Wikipedia.
  • La relazione fattuale e la risposta corretta (gold answer) rimangono fisse, mentre viene variata solo la forma superficiale del soggetto nella domanda.
  • Le forme superficiali di reindirizzamento sono categorizzate in tre tipi principali:
    1. Nomi Alternativi e Abbreviazioni (es. "NYT" per "The New York Times", nomi di nascita).
    2. Varianti Ortografiche (es. differenze di accenti, punteggiatura, maiuscole/minuscole).
    3. Errori Tipici (es. errori di battitura o nomi errati comuni).
• Struttura: Il dataset contiene circa 30.000 istanze superficiali (14.672 canoniche e 15.888 di reindirizzamento) derivate da 14.672 triple fattuali, generando oltre 61.000 realizzazioni di domande.
• Sperimentazione: Sono stati valutati 13 LLM diversi, inclusi modelli trasparenti (Pythia, OpenSciRef, OLMo 2), modelli open-weight (Llama 3.1, Qwen 3) e un modello proprietario (GPT-4o-mini).

3. Risultati Chiave

A. Incoerenza nelle Predizioni

L'analisi della coerenza tra le risposte date con la forma canonica e quelle date con le forme di reindirizzamento rivela che:

• Gli esiti delle predizioni cambiano frequentemente quando si modifica solo la forma superficiale dell'entità, anche se il fatto sottostante è identico.
• L'incoerenza è dipendente dalla categoria:
  • I modelli sono relativamente robusti alle piccole variazioni ortografiche (varianti di spelling, accenti).
  • I modelli mostrano una bassa coerenza con variazioni lessicali più ampie come alias, nomi alternativi e abbreviazioni.
  • Gli errori tipici (typo) si collocano in una zona intermedia.
• Asimmetria: In alcuni casi, un modello fallisce con il titolo canonico di Wikipedia ma riesce con una forma alternativa, suggerendo che la "canonicità" umana non corrisponde necessariamente alla forma superficiale attraverso cui l'LLM accede più affidabilmente al fatto.

B. Analisi delle Frequenze (Entità vs. Superficie)

Gli autori hanno analizzato la relazione tra la frequenza di un'entità/forma superficiale nei dati di pre-addestramento e l'accuratezza del modello:

• Accoppiamento Cross-Superficie: L'accuratezza non dipende esclusivamente dalla frequenza della specifica forma superficiale usata nella domanda, ma anche dalla frequenza aggregata dell'entità (somma di tutte le sue forme superficiali).
• Analisi di Correlazione Parziale: Quando si controlla per la frequenza della superficie, la frequenza dell'entità mantiene una correlazione positiva significativa con l'accuratezza (specialmente per le forme canoniche). Al contrario, la frequenza della superficie specifica ha un impatto minore una volta controllata la frequenza dell'entità.
• Questo suggerisce che la memorizzazione fattuale non è puramente indipendente per ogni forma superficiale, ma esiste un accoppiamento cross-superficie (cross-surface coupling) nell'accesso ai fatti.

4. Contributi Principali

1. Introduzione di RedirectQA: Una risorsa controllata e su larga scala che permette di studiare l'accesso ai fatti variando sistematicamente le forme superficiali delle entità, superando i limiti delle valutazioni basate su un'unica forma canonica.
2. Dimostrazione della Dipendenza dalla Superficie: Evidenzia che la memorizzazione non-verbatim non è invariante rispetto alla superficie; la capacità di un modello di recuperare un fatto dipende criticamente da come l'entità è nominata.
3. Nuova Prospettiva sulla Memorizzazione: Smentisce l'ipotesi che la memorizzazione sia puramente specifica per la superficie (ogni nome è un fatto separato) o puramente invariante (tutti i nomi puntano allo stesso fatto interno). Propone invece un quadro intermedio con accoppiamento cross-superficie.
4. Analisi su Modelli Diversi: Fornisce evidenze empiriche su una vasta gamma di architetture e dimensioni di modelli, mostrando che il problema è trasversale.

5. Significato e Implicazioni

Il lavoro sottolinea che valutare la memorizzazione fattuale dei LLM utilizzando esclusivamente nomi canonici è insufficiente e può portare a conclusioni errate sull'affidabilità dei modelli.

• Valutazione: È necessario incorporare la diversità delle forme superficiali (alias, abbreviazioni, errori) nei benchmark di QA per ottenere una valutazione realistica delle capacità di conoscenza dei modelli.
• Robustezza: I modelli attuali sono fragili di fronte a variazioni lessicali significative (come le abbreviazioni), il che rappresenta un rischio per applicazioni reali dove i nomi delle entità possono variare.
• Ricerca Futura: I risultati indicano che la comprensione di come i modelli associano diverse forme superficiali alla stessa entità interna richiede un'analisi più profonda delle rappresentazioni interne e dei processi di recupero, andando oltre le semplici statistiche di frequenza.

In sintesi, il paper dimostra che la "memoria" dei fatti negli LLM è un fenomeno complesso e sensibile al contesto superficiale, richiedendo nuovi strumenti di valutazione come RedirectQA per misurarne accuratamente i limiti.