Temporal Fact Conflicts in LLMs: Reproducibility Insights from Unifying DYNAMICQA and MULAN

1. Il Problema

I Large Language Models (LLM) incorporano conoscenze fattuali nei loro parametri, ma spesso soffrono di conflitti di conoscenza temporale. Queste incongruenze sorgono quando le informazioni nei dati di addestramento diventano obsolete o evolvono nel tempo (es. "Chi è il presidente degli USA?"), portando il modello a mantenere conoscenze contraddittorie.

Due studi recenti hanno raggiunto conclusioni opposte sulla capacità dei LLM di aggiornare queste conoscenze temporali tramite contesto esterno:

• DYNAMICQA (Marjanovic et al.): Sostiene che i fatti temporali siano più resistenti all'aggiornamento rispetto ai fatti statici quando viene fornito un contesto esterno (es. passaggi di Wikipedia).
• MULAN (Fierro et al.): Sostiene il contrario, ovvero che i fatti temporali siano più facili da aggiornare rispetto a quelli statici.

Questa discrepanza suggerisce una mancanza di consenso sulla reattività dei LLM agli aggiornamenti di conoscenza, motivando la necessità di uno studio di riproducibilità per identificare le fonti di tale divergenza (design del dataset, metriche di valutazione o dimensioni del modello).

2. Metodologia

Gli autori hanno condotto uno studio di riproducibilità sistematico in tre fasi principali:

A. Riproduzione degli Esperimenti Originali

Hanno replicato le valutazioni di entrambi gli studi sui loro dataset originali utilizzando gli stessi LLM (principalmente modelli da 7B) e le stesse metriche:

• DYNAMICQA: Valutazione tramite Coherent Persuasion Score (misura lo spostamento della distribuzione di output), Semantic Entropy (incertezza) e accuratezza.
• MULAN: Valutazione tramite Update Success Rate (percentuale di casi in cui il contesto cambia la risposta memorizzata) e F1-score.
• Correzione Critica: Gli autori hanno identificato e corretto un errore nel codice originale di DYNAMICQA, dove le risposte senza contesto venivano erroneamente confrontate con le risposte sostitutive (sbagliate) invece che con quelle originali.

B. Unificazione e Cross-Valutazione

Per isolare la causa del disaccordo, hanno applicato la metodologia di valutazione di uno studio al dataset dell'altro:

• DYNAMICQA su MULAN: Hanno sostituito le frasi costruite programmaticamente di MULAN con contesti naturali generati sinteticamente da un LLM (simili a quelli di DYNAMICQA) per valutare il Coherent Persuasion Score.
• MULAN su DYNAMICQA: Hanno convertito le domande QA di DYNAMICQA in formato completamento di frasi (fact-completion) per valutare il Update Success Rate.
• Standardizzazione: Hanno allineato i formati dei dataset e rimosso i "fatti controversi" (disputed) da DYNAMICQA per focalizzarsi esclusivamente sui fatti temporali, rendendo il confronto diretto.

C. Analisi per Dimensione del Modello

Mentre gli studi originali si limitavano a modelli da 7B, questo lavoro ha esteso l'analisi alla famiglia Gemma 3 (1B, 4B, 12B) per determinare se le conclusioni siano robuste o dipendenti dalla scala del modello.

3. Contributi Chiave

1. Riproduzione Sistematica: Conferma delle conclusioni originali di entrambi gli studi nelle loro condizioni native, validando la correttezza dei risultati originali una volta corretti gli errori di implementazione.
2. Identificazione della Dipendenza dal Dataset: Dimostrazione che le conclusioni opposte derivano principalmente da differenze nel design del dataset (es. come viene definita la "temporalità" e la qualità dei contesti) e nelle metriche di valutazione.
3. Analisi della Scala del Modello: Evidenziazione di come la dimensione del modello influenzi la capacità di retention e aggiornamento dei fatti temporali, rivelando pattern non monotoni.
4. Risorse Open Source: Pubblicazione di codice e dati per permettere future ricerche su conflitti temporali.

4. Risultati Principali

Riproducibilità (RQ1)

• DYNAMICQA: Confermato che i fatti dinamici (temporali e controversi) sono più resistenti all'aggiornamento (basso Coherent Persuasion Score) e mostrano una maggiore percentuale di istanze "stubborn" (resistenti) rispetto ai fatti statici.
• MULAN: Confermato che i fatti mutabili (temporali) hanno un tasso di aggiornamento (Update Success Rate) più elevato rispetto ai fatti immutabili, suggerendo che sono più facili da aggiornare.

Influenza della Dimensione del Modello (RQ2)

L'analisi sulla famiglia Gemma (1B, 4B, 12B) ha rivelato che le conclusioni non sono generalizzabili uniformemente:

• Il pattern di MULAN (fatti temporali più facili da aggiornare) non è costante.
• Nel modello Gemma 4B, i fatti temporali sono effettivamente più facili da aggiornare.
• Tuttavia, nei modelli 1B e 12B, i fatti temporali sono più difficili da aggiornare rispetto ai fatti immutabili.
• Questo indica un comportamento non monotono: la facilità di aggiornamento dipende criticamente dalla dimensione specifica del modello, non solo dalla sua architettura.

Impatto di Dataset e Metodologia (RQ3)

Quando le metodologie sono incrociate:

• MULAN su DYNAMICQA: I risultati di MULAN (fatti temporali più aggiornabili) tendono a generalizzare anche quando applicati al dataset DYNAMICQA (usando contesti naturali).
• DYNAMICQA su MULAN: I risultati di DYNAMICQA (fatti temporali più resistenti) non si generalizzano pienamente. Applicando la metrica di DYNAMICQA al dataset MULAN, si ottengono risultati misti e talvolta contraddittori.
• Cause della divergenza:
  • Definizione di Temporalità: DYNAMICQA usa i conteggi delle modifiche di Wikipedia (spesso imprecisi, con molti fatti "temporali" che hanno solo 2 modifiche, simili ai statici), mentre MULAN usa relazioni strutturate di Wikidata.
  • Qualità del Contesto: I contesti programmatici di MULAN sono semplici, mentre quelli generati per DYNAMICQA sono più complessi e naturali.
  • Template: La sensibilità ai template di domanda/completamento influenza le prestazioni.

5. Significato e Conclusioni

Il paper conclude che nessuno dei due benchmark offre da solo una visione completa della risoluzione dei conflitti temporali negli LLM. Le conclusioni su quanto i fatti temporali siano facili o difficili da aggiornare sono altamente contingenti a:

1. La costruzione del dataset (come viene definita e filtrata la temporalità).
2. La metodologia di valutazione (metriche di distribuzione vs. successo binario).
3. La dimensione del modello.

La domanda se il contesto esterno risolva affidabilmente i conflitti temporali rimane aperta. Gli autori sottolineano la necessità di standardizzare i benchmark e considerare la variabilità delle dimensioni del modello per ottenere conclusioni robuste sull'aggiornamento della conoscenza nei LLM.