LLMs as Cultural Archives: Cultural Commonsense Knowledge Graph Extraction

Sintesi Tecnica: Gli LLM come Archivi Culturali: Estrazione di Grafi di Conoscenza del Senso Comune Culturale

Definizione del Problema
I Large Language Models (LLM) codificano vaste quantità di conoscenza culturale derivata da dati su scala web, offrendo una potenziale risorsa per modellare il senso comune culturale su larga scala. Tuttavia, questa conoscenza rimane in gran parte implicita, non strutturata e difficile da interpretare. Gli approcci computazionali esistenti al ragionamento del senso comune hanno storicamente trattato la cultura come neutrale o eurocentrica/occidentale (ad es., ATOMIC), mentre gli sforzi recenti per costruire basi di conoscenza culturale si basano spesso su fatti statici e isolati provenienti da fonti come Wikipedia o i social media. Questi approcci non riescono a catturare la natura procedurale, sequenziale e contestuale delle pratiche culturali, che sono spesso definite da catene ordinate di azioni piuttosto che da affermazioni atomiche. Inoltre, vi è una mancanza di rappresentazioni strutturate e inferenziali che riflettano le norme e le pratiche locali attraverso diverse lingue.

Metodologia
Gli autori propongono un framework iterativo, basato su prompt, per costruire un Grafo di Conoscenza del Senso Comune Culturale (CCKG), trattando gli LLM come "archivi culturali" per estrarre e strutturare sistematicamente la conoscenza specifica della cultura.

1. Costruzione del Framework:

   • Definizione del Grafo: Il CCKG è un grafo diretto etichettato $G = (V, E)$ dove i nodi rappresentano azioni e gli archi rappresentano relazioni etichettate. Un'asserzione è una tripla $(A_i, R, A_j)$ interpretata come "se l'azione $A_i$ avviene, allora l'azione $A_j$ segue".
   • Tipi di Relazione: Il framework utilizza cinque tipi di relazione: $xNext$ (prossima azione dell'agente), $xEffect$ (effetto sull'agente), $xNeed$ (pre-requisito per l'agente), $oNext$ (prossima azione degli altri) e $oEffect$ (effetto sugli altri).
   • Processo di Estrazione (Algoritmo 1):
     • Generazione Iniziale: Dato un sottotema, un paese e una lingua, un LLM (GPT-4o) genera asserzioni iniziali "if-then" basate su tipi di relazione predefiniti.
     • Espansione Iterativa: La base di conoscenza viene arricchita attraverso due meccanismi:
       • Espansione Intermedia: Decomposizione di un collegamento diretto $(A_i \to A_j)$ in una sequenza di passaggi intermedi più fini.
       • Espansione in Avanti: Generazione di nuove continuazioni partendo dall'azione risultante $A_j$.
     • Potatura (Pruning): Per garantire l'efficienza e ridurre la ridondanza, le azioni generate vengono confrontate con i nodi esistenti tramite punteggi di similarità; i duplicati vengono uniti e la lista di espansione è limitata a sei asserzioni per nodo.

2. Configurazione Sperimentale:

   • Ambito: Il framework è stato applicato a cinque paesi (Cina, Indonesia, Giappone, Inghilterra, Egitto) coprendo 11 temi della vita quotidiana e 65 sottotemi.
   • Lingue: I grafi di conoscenza sono stati generati sia in inglese che nelle rispettive lingue native (cinese, indonesiano, giapponese, arabo).
   • Valutazione: Annotatori umani (madrelingua) hanno valutato i grafi generati su tre dimensioni: Correttezza (azioni e relazioni valide), Rilevanza Culturale (specificità rispetto alla cultura target) e Coerenza del Percorso Logico (coerenza delle catene inferenziali).
   • Task a Valle (Downstream Tasks): Il CCKG estratto è stato utilizzato per potenziare modelli LLM più piccoli per tre compiti: Risposta a Domande a Scelta Multipla (MCQA), Completamento di Frasi e Generazione di Storie. I benchmark includono IndoCulture e ArabCulture.

Contributi Chiave

1. Framework CCKG: L'introduzione di un metodo per estrarre catene di conoscenza inferenziale multilingue e specifiche per la cultura dagli LLM, andando oltre i fatti statici verso strutture di ragionamento procedurali a più fasi.
2. Analisi Empirica della Codifica Culturale: Una valutazione sistematica che rivela come, sebbene le lingue native catturino dettagli culturali più ricchi, l'inglese spesso funga da mezzo più coerente e consistente per rappresentare i grafi di conoscenza culturale all'interno degli attuali LLM.
3. Potenziamento delle Prestazioni: Dimostrazione che l'integrazione di CCKG in modelli più piccoli o base (tramite asserzioni in-context o percorsi) migliora significativamente le loro prestazioni nei compiti di ragionamento culturale e generazione di storie, in particolare quando si utilizzano asserzioni nella lingua nativa per contesti culturali specifici.

Risultati

• Qualità del Grafo: Nelle valutazioni umane, i CCKG generati in inglese hanno costantemente superato le versioni in lingua nativa in termini di correttezza, rilevanza culturale e coerenza del percorso per culture non inglesi (es. cinese, indonesiano, arabo). Ciò suggerisce un'asimmetria negli attuali LLM multilingue in cui l'inglese funge da mezzo di rappresentazione più stabile per il ragionamento culturale, probabilmente a causa di un pre-training più ricco.
• Compiti di Ragionamento (MCQA): L'integrazione della conoscenza CCKG ha migliorato l'accuratezza sui benchmark IndoCulture e ArabCulture. L'integrazione in lingua nativa ha prodotto i guadagni più elevati (media +1,2 punti), superando l'integrazione in inglese e i baseline esistenti come Mango. Notevolmente, il prompting Chain-of-Thought (CoT) ha performato peggio del baseline, suggerendo che il senso comune culturale si affida più all'intuizione contestuale che alla logica esplicita passo-passo.
• Compiti di Generazione: Per il completamento delle frasi e la generazione di storie, l'integrazione del CCKG (specificamente basata sui percorsi) ha migliorato i punteggi di similarità e coerenza delle frasi. Nella generazione di storie, l'incorporazione dei percorsi CCKG ha aumentato costantemente i punteggi di Rilevanza Culturale (aumento medio di +1,4 per i modelli Llama), con i miglioramenti più significativi osservati nella generazione di storie in inglese, sebbene anche la generazione in lingua nativa ne abbia beneficiato in casi specifici (es. storie indonesiane con Llama3.1-8B-IT).
• LLM-as-a-Judge: La valutazione automatizzata tramite LLM ha mostrato una forte correlazione con i giudizi umani per le storie in lingua nativa, ma una correlazione da moderata a debole per le storie in inglese, specialmente riguardo a fluidità e coerenza, probabilmente a causa di variazioni stilistiche e sfumature di traduzione.

Significatività e Rivendicazioni
Il paper sostiene che gli LLM possono servire come validi "archivi culturali" per estrarre conoscenza inferenziale strutturata, a patto che il processo di estrazione sia sistematico. Gli autori affermano che la conoscenza culturale strutturata a catena è un substrato pratico per lo sviluppo di sistemi NLP culturalmente radicati.

Lo studio evidenzia un limite critico e un'intuizione fondamentale: nonostante l'obiettivo di modellare il ragionamento culturale locale, gli attuali LLM rappresentano il senso comune culturale in modo più efficace attraverso l'inglese, anche quando la cultura target non è inglese. Questa scoperta sfida l'assunto che gli output in lingua nativa siano intrinsecamente superiori per i compiti culturali e suggerisce che l'inglese possa agire come un "pivot" per un ragionamento culturale coerente nei modelli attuali.

Gli autori concludono che, sebbene il loro metodo sia promettente, si tratta di un prototipo di ricerca. Avvertono di non utilizzare il contenuto estratto come un dataset formale per sistemi di produzione senza affrontare i potenziali rischi, come il rafforzamento degli stereotipi, e sottolineano la necessità di lavori futuri per investigare i bias ed estendere il framework a livelli culturali più fini.