Understanding the Interplay between LLMs' Utilisation of Parametric and Contextual Knowledge: A keynote at ECIR 2025

Questo intervento all'ECIR 2025 esamina l'interazione tra la conoscenza parametrica e quella contestuale nei modelli linguistici, presentando ricerche su metodi di valutazione, test diagnostici per rilevare conflitti di conoscenza e le caratteristiche che favoriscono l'uso efficace del contesto.

L'essenziale

Ecco una spiegazione semplice e creativa del contenuto di questo articolo, pensata per chiunque, anche senza conoscenze tecniche di informatica.

Immagina che un Grande Modello Linguistico (LLM) sia come un cuoco esperto che ha passato anni a studiare milioni di libri di cucina.

1. Il Cuoco e i suoi Ricetti (Conoscenza Parametrica)

Questo cuoco ha memorizzato tutto ciò che ha letto. Quando gli chiedi "Come si fa la pasta?", lui risponde basandosi su ciò che ha imparato da solo, senza guardare nulla fuori dalla sua cucina. Questa è la sua conoscenza parametrica: è tutto ciò che ha "imparato a memoria" e che è scritto nei suoi neuroni artificiali.

• Il problema: Se il cuoco ha studiato un libro vecchio di 10 anni, potrebbe dirti che il telefono è un oggetto da appendere al muro, perché non ha aggiornato la sua memoria. Inoltre, se gli chiedi qualcosa di molto specifico o raro, potrebbe inventare una risposta (allucinazione) perché non sa che non lo sa.

2. Il Libretto di Note Esterno (Conoscenza Contestuale)

Per risolvere il problema dei dati vecchi, diamo al cuoco un libretto di note (o un tablet) con le ultime ricette aggiornate. Questo è il RAG (Retrieval-Augmented Generation): il modello cerca informazioni fresche su internet e le usa per rispondere.

• L'obiettivo: Il cuoco dovrebbe leggere il libretto e dire: "Ah, ho sbagliato! La ricetta aggiornata dice che si usa il sale grosso, non quello fino".

3. Il Grande Conflitto: Quando la Memoria e il Libretto Litigano

Qui arriva il punto centrale della ricerca della professoressa Augenstein. A volte succede una cosa strana:

• Il cuoco (la memoria interna) è sicurissimo che la ricetta sia A.
• Il libretto (il contesto esterno) dice chiaramente che la ricetta è B.
• Cosa fa il cuoco? Spesso, invece di ascoltare il libretto, continua a dire "A" perché è troppo orgoglioso della sua memoria o perché il libretto gli sembra poco credibile.

La ricerca scopre due tipi di litigi:

1. Litigio Interno (Intra-memory conflict): Il cuoco ha letto due libri diversi durante gli anni di studio e ha due versioni della stessa ricetta nella testa. È confuso e insicuro.
2. Litigio Esterno (Context-memory conflict): Il libretto dice una cosa, ma il cuoco ne è convinto di un'altra.

4. La Scoperta Sorprendente: "Le Bugie Facili"

Uno dei risultati più curiosi è questo:

• Se il libretto parla di cose che cambiano spesso (es. "Chi è il presidente di oggi?"), il cuoco tende a ignorare il libretto e a fidarsi della sua vecchia memoria.
• Se il libretto parla di cose che non cambiano mai (es. "Qual è la capitale della Francia?"), il cuoco è più facile da convincere a cambiare idea, anche se il libretto dice una cosa assurda (es. "La capitale è Londra").
• Metafora: È come se il cuoco pensasse: "So che la capitale non cambia, quindi se qualcuno me lo dice, deve essere vero". Invece, per le cose che cambiano, pensa: "Forse il libretto è sbagliato, io ricordo meglio". È un paradosso!

5. Il Libretto Perfetto (Cosa rende il contesto utile?)

La ricerca ha anche analizzato come il cuoco legge il libretto. Ha scoperto che:

• Non legge tutto con la stessa attenzione. Se il testo è lungo e confuso, lo ignora.
• Se il testo è scritto in modo diretto, assertivo e chiaro (come un articolo di un fact-checker serio), il cuoco lo ascolta di più.
• Se il testo è pieno di dubbi o "forse", il cuoco lo scarta e torna alla sua memoria.

6. La Conclusione: Non è un Cerchio, è una Spirale

L'autrice conclude dicendo che, nonostante tutta la tecnologia avanzata, stiamo ancora imparando a capire perché questi cuoci digitali fanno certe scelte. Spesso pensiamo di aver inventato qualcosa di nuovo, ma in realtà stiamo solo riscoprendo vecchie idee con vestiti più moderni.
Come diceva la famosa scienziata Karen Spärck Jones (in onore della quale è stato dato questo premio): non stiamo girando in tondo, stiamo salendo una spirale. Ogni volta che pensiamo di aver capito tutto, scopriamo un nuovo livello di complessità, ma siamo più in alto di prima.

In sintesi:
Questo studio ci dice che per fare un'intelligenza artificiale affidabile, non basta darle più libri da leggere. Dobbiamo capire come legge, quando decide di fidarsi di noi e quando è troppo testarda per cambiare idea, specialmente quando le sue vecchie memorie entrano in conflitto con la realtà attuale.

Sommario tecnico

Ecco un riassunto tecnico dettagliato del keynote di Isabelle Augenstein, presentato in forma estesa per ECIR 2025, tradotto e sintetizzato in italiano.

Titolo

Comprendere l'Interazione tra l'Utilizzo di Conoscenza Parametrica e Contestuale nei LLM: Un Keynote su ECIR 2025

1. Il Problema

I Large Language Models (LLM) acquisiscono conoscenza parametrica (memoria interna) durante l'addestramento, codificata nei loro pesi. Tuttavia, l'uso di questi modelli per compiti che richiedono conoscenza intensiva presenta sfide fondamentali:

• Limitazioni della conoscenza interna: I modelli soffrono di allucinazioni, conoscenze incomplete o obsolete e difficoltà nel ragionamento.
• Costo dell'aggiornamento: Correggere o aggiornare la conoscenza parametrica richiede un ri-addestramento costoso o tecniche di editing che possono causare effetti a catena indesiderati (ripple effects) o rimuovere conoscenze a coda lunga.
• Conflitti di conoscenza: Quando si utilizzano tecniche come la Retrieval-Augmented Generation (RAG) per integrare contesto esterno, i LLM tendono spesso a ignorare il contesto fornito se questo è in conflitto con la loro memoria parametrica preesistente.
• Mancanza di comprensione: Esiste un vuoto di ricerca riguardo a quando e come un modello decide di sovrascrivere la sua memoria interna con il contesto recuperato, e quali caratteristiche del contesto influenzano questa decisione.

2. Metodologia

La ricerca presentata si basa su una serie di studi empirici che combinano analisi di attribuzione, test diagnostici e nuovi dataset realistici:

• Framework di Valutazione Unificato (Attribuzione): Per comprendere come i LLM utilizzano la conoscenza parametrica, è stato proposto un framework che confronta due metodi di attribuzione:
  • Attribuzione delle Istanze (Instance Attribution): Identifica le istanze di addestramento più influenti.
  • Attribuzione Neurale (Neuron Attribution): Identifica i neuroni (specificamente nello strato MLP) più importanti.
  • Il framework allinea queste due prospettive e valuta la loro "fedeltà" tramite test di sufficienza (attivazione dei neuroni chiave) e completezza (soppressione dei neuroni chiave).
• Probing per i Conflitti (DynamicQA): È stato creato il dataset DynamicQA per studiare due tipi di conflitti:
  • Conflitto intra-memoria: Contraddizioni all'interno dei dati di addestramento (es. fatti statici vs. dinamici/temporali vs. disputabili).
  • Conflitto contesto-memoria: Situazioni in cui il contesto recuperato contraddice la conoscenza parametrica.
  • Vengono utilizzati metriche come l'entropia semantica (per l'incertezza interna) e il coherent persuasion score (per misurare lo spostamento semantico indotto dal contesto).
• Dataset Realistico (DRUID) e Misura ACU: Per superare i limiti dei dati sintetici, è stato introdotto DRUID, un dataset per la verifica di affermazioni basato su contesti reali. È stata inoltre definita una nuova metrica, ACU (Actual Context Usage), per misurare quanto effettivamente un modello utilizza il contesto recuperato in scenari reali.
• Manipolazione del Contesto (CMT): Studio di diverse tecniche di manipolazione del contesto (dal prompting semplice alle interventi meccanici) per risolvere i conflitti.

3. Risultati Chiave

A. Conoscenza Parametrica e Attribuzione

• Ridondanza Neurale: Contrariamente alle ipotesi precedenti, la rimozione della maggior parte dei neuroni nello strato MLP non altera significativamente le previsioni, suggerendo che la conoscenza non risiede esclusivamente in quei neuroni ma potrebbe essere distribuita o codificata nei pesi di attenzione.
• Limiti dell'Attribuzione: L'uso di istanze di addestramento "influenti" per il fine-tuning non ha portato a miglioramenti rispetto a un campionamento casuale, a causa della bassa diversità delle istanze selezionate. Tuttavia, la combinazione di attribuzione istanza-neurone si è rivelata efficace per scoprire artefatti del dataset (overfitting su pattern lessicali).

B. Dinamicità dei Fatti e Conflitti

• Paradosso della Persuasione: Contrariamente all'intuizione, i LLM sono più facilmente persuasi da contesti che contraddicono fatti statici o a bassa dinamicità rispetto a fatti dinamici (che cambiano nel tempo). I fatti che cambiano regolarmente sono meno propensi a essere aggiornati tramite recupero contestuale, mentre i fatti "immobili" vengono facilmente sovrascritti.
• Indicatore di Fallimento: La dinamicità del fatto è stata identificata come il predittore negativo più forte e consistente per la persuasione del modello, superando la popolarità del fatto (che in precedenza guidava le strategie RAG).

C. Utilizzo del Contesto in Scenari Reali (DRUID)

• Fallimento dei Dati Sintetici: I dataset sintetici sovrastimano l'impatto di certi conflitti (es. conflitti di conoscenza) e esagerano il fenomeno del "repulsione del contesto" (quando il modello ignora il contesto), che è raro nei dati reali.
• Caratteristiche che Favoriscono l'Uso del Contesto:
  • Fonti di fact-checking con linguaggio assertivo e diretto.
  • Documenti pubblicati dopo l'affermazione da verificare.
  • Alta similarità query-contesto (difficile da ottenere nel RAG reale).
• Fattori che Riducono l'Uso: Riferimenti a fonti esterne generiche e contesti molto lunghi (i modelli sono meno fedeli ai contesti estesi).
• Gerarchia di Conoscenza: In caso di conflitto, per la verifica di affermazioni i modelli tendono a preferire la conoscenza contestuale; per domande di senso comune (basso conflitto), preferiscono la memoria parametrica.
• Dimensione del Modello: I modelli più grandi utilizzano il contesto con maggior successo in media, ma i modelli più piccoli possono superarli se applicati con la tecnica di manipolazione del contesto (CMT) ottimale per loro.

4. Contributi Principali

1. Framework Unificato di Attribuzione: Un approccio sistematico per confrontare e allineare metodi di attribuzione basati su istanze e neuroni, rivelando nuove intuizioni sull'architettura interna dei LLM.
2. Nuovi Dataset e Metriche: Introduzione di DynamicQA per analizzare i conflitti di memoria e DRUID per valutare l'uso del contesto in scenari reali, insieme alla metrica ACU.
3. Scoperta del Paradosso della Dinamicità: La dimostrazione empirica che i fatti statici sono più suscettibili all'aggiornamento contestuale rispetto a quelli dinamici, sfidando le attuali strategie di RAG.
4. Reality Check sul RAG: La prova che i dati sintetici distorcono la comprensione dell'interazione contesto-memoria, sottolineando la necessità di studi basati su dati reali.

5. Significato e Implicazioni

Questo lavoro evidenzia che l'interazione tra conoscenza parametrica e contestuale è complessa e non ancora pienamente compresa. Le implicazioni principali sono:

• Ridefinizione delle Strategie RAG: Le strategie attuali che si basano sulla popolarità dei fatti per decidere quando recuperare informazioni sono inefficaci; è necessario sviluppare nuovi indicatori basati sulla dinamicità del fatto e sulla natura del conflitto.
• Valutazione Realistica: È urgente abbandonare la dipendenza da dati sintetici per valutare i sistemi RAG, poiché questi non riflettono le dinamiche del mondo reale (es. la rarità dei conflitti di conoscenza nei dati recuperati).
• Collaborazione Interdisciplinare: La sfida richiede una stretta collaborazione tra ricercatori di Information Retrieval (IR) e Natural Language Processing (NLP) per migliorare la fedeltà e l'affidabilità dei modelli linguistici.
• Evoluzione della Ricerca: Come citato da Karen Spärck Jones, la ricerca non gira in tondo ma ascende a spirale: le sfide osservate nei LLM (come la recitazione invece del ragionamento) ricordano quelle dei modelli linguistici precedenti, ma con nuove sfumature che richiedono soluzioni avanzate.

In sintesi, il keynote fornisce una visione critica e basata sui dati su come i LLM gestiscono la conoscenza, evidenziando che la semplice aggiunta di contesto non garantisce un miglioramento delle prestazioni senza una comprensione profonda dei meccanismi di conflitto e delle caratteristiche del contenuto recuperato.