Enhancing Structural Mapping with LLM-derived Abstractions for Analogical Reasoning in Narratives

1. Il Problema

Il ragionamento analogico è una capacità cognitiva fondamentale per la generalizzazione umana, ma rimane una sfida significativa per le macchine, specialmente quando applicato a narrazioni complesse.

• Limiti degli approcci esistenti: I motori cognitivi per il "mappaggio strutturale" (come SME o FAME) richiedono input strutturati e pre-estratti, rendendoli inapplicabili direttamente a testi non strutturati come le storie. D'altra parte, i Large Language Models (LLM) mostrano capacità emergenti di risolvere analogie, ma le loro prestazioni sono spesso fragili, sensibili al formato del prompt e dipendono eccessivamente dalla similarità superficiale (lessicale) piuttosto che da quella relazionale (strutturale).
• Il divario: Esiste un vuoto tra i framework cognitivi (che necessitano di strutture) e gli LLM (che gestiscono testo grezzo ma faticano a generalizzare). In particolare, i modelli faticano a risolvere analogie "lontane" (far analogies), dove due storie condividono una struttura logica profonda ma hanno poco in comune a livello superficiale, preferendo spesso analogie "vicine" (near analogies) basate su sovrapposizioni lessicali.

2. Metodologia: Il Framework YARN

Gli autori propongono YARN (Yielding Abstractions for Reasoning in Narratives), un framework neuro-simbolico modulare che combina la potenza generativa degli LLM con un motore di mappaggio strutturale. Il processo avviene in tre fasi principali:

A. Estrazione delle Unità (Unit Extraction)

YARN utilizza un LLM (con few-shot prompting) per decomporre una narrazione in unità di eventi (frasi brevi che descrivono azioni, stati o decisioni).

• Vincoli: Le unità devono garantire la copertura del contenuto (nessuna perdita di informazione) e la non ridondanza.
• Ordinamento: Viene inferito anche l'ordine temporale degli eventi, poiché l'ordine testuale non sempre corrisponde a quello cronologico.

B. Astrazione delle Unità (Unit Abstraction)

Questa è la componente innovativa. Le frasi estratte vengono trasformate in rappresentazioni astratte per catturare il significato generale e il ruolo narrativo, rimuovendo i dettagli superficiali. Sono definiti quattro livelli di astrazione basati sulla teoria del framing:

1. Astrazione Concettuale: Rimuove nomi e termini specifici, estraendo una struttura [modificatore]-[radice] (es. "carico di lavoro" invece di "troppi progetti").
2. Astrazione Valutativa: Assegna un ruolo funzionale (stato, azione, risultato) e una polarità (positiva, negativa, neutra) rispetto al protagonista.
3. Astrazione dell'Arco Narrativo: Classifica gli eventi in fasi globali della storia (es. Sfondo, Evento Principale, Sfida, Azione, Conclusione).
4. Astrazione di Fase (Stage): Aggrega gruppi di eventi correlati all'interno di una stessa fase narrativa in un'unica rappresentazione di alto livello.

C. Mappaggio Strutturale (Structural Mapping)

Le unità astratte delle storie base e target vengono confrontate.

• Il sistema genera tutte le possibili coppie locali tra le unità delle due storie.
• Calcola un punteggio di similarità utilizzando embedding vettoriali (cosine similarity) sulle frasi astratte.
• Utilizza un algoritmo greedy per costruire una mappatura globale uno-a-uno che massimizza il punteggio totale di allineamento strutturale, selezionando la storia target con il punteggio più alto.

3. Contributi Chiave

1. Framework YARN: Il primo sistema che integra estrazione basata su LLM e mappaggio strutturale per il ragionamento analogico nelle narrazioni.
2. Livelli di Astrazione: Definizione operativa di quattro livelli di astrazione che catturano sia il significato semantico che la funzione pragmatica degli eventi, superando i limiti della similarità superficiale.
3. Analisi Sistematica: Sperimentazione su due benchmark (StoryAnalogy-MCQ e ARN) che dimostra come la combinazione di astrazione e mappaggio superi i modelli LLM end-to-end in scenari specifici.
4. Analisi degli Errori e Limiti: Una disamina dettagliata delle cause di fallimento (estrazione errata, astrazione insufficiente, limiti della similarità vettoriale e ambiguità nei dataset).

4. Risultati Sperimentali

Gli esperimenti sono stati condotti su due dataset: MCQ (domande a scelta multipla, storie brevi) e ARN (coppie di narrazioni basate su proverbi, storie più lunghe).

• Prestazioni Generali: Il mappaggio strutturale puro (senza astrazione) performa male, spesso sotto il livello casuale, perché gli embedding catturano solo la similarità superficiale. L'aggiunta delle astrazioni migliora drasticamente le prestazioni.
• Confronto con LLM End-to-End:
  • Su MCQ, YARN con astrazione concettuale supera i modelli LLM puri (es. Qwen: 0.46 vs 0.41).
  • Su ARN, YARN eccelle nelle analogie lontane (far analogies), dove i modelli LLM puri falliscono o performano male. Mentre gli LLM sono bravi nelle analogie vicine (alta similarità superficiale), YARN è più robusto nel cogliere la struttura relazionale profonda.
• Impatto dei Livelli di Astrazione:
  • L'astrazione concettuale è la più efficace in generale.
  • L'astrazione valutativa aiuta nel dataset MCQ ma può ridurre le prestazioni su ARN (forse a causa di sfumature causali complesse).
  • L'astrazione di fase (Stage) è utile per le analogie lontane su ARN, ma meno per le storie brevi di MCQ.
• Inconsistenza degli LLM: L'analisi mostra che gli LLM sono inconsistenti: le loro prestazioni variano significativamente a seconda che ricevano la storia intera, singole frasi o eventi estratti, suggerendo una mancanza di ragionamento strutturale robusto e una forte dipendenza dal formato di input.

5. Significato e Conclusioni

Il paper dimostra che l'integrazione di meccanismi cognitivi ispirati (mappaggio strutturale) con la capacità estrattiva degli LLM è una via promettente per il ragionamento analogico nelle macchine.

• Superamento dei limiti superficiali: Le astrazioni permettono al sistema di ignorare le differenze lessicali e focalizzarsi sulla struttura causale e funzionale, risolvendo efficacemente analogie "lontane".
• Sfide aperte: L'analisi degli errori rivela che:
  1. Gli LLM faticano ancora a estrarre correttamente la causalità implicita.
  2. Le funzioni di similarità basate su embedding (cosine similarity) sono fragili di fronte a pattern di analogia complessi (es. analogie basate su contrasti o risultati opposti).
  3. I benchmark attuali (come ARN) contengono pattern di analogia multipli che un semplice mappaggio strutturale non può catturare completamente.
• Direzioni Future: Gli autori suggeriscono l'uso di rappresentazioni strutturate più ricche (come AMR o Answer Set Programming), l'integrazione di teorie sulla moralità e le emozioni nell'astrazione, e la creazione di nuovi dataset con annotazioni granulari per il mappaggio relazionale.

In sintesi, YARN rappresenta un passo significativo verso l'operazionalizzazione di teorie cognitive sul ragionamento analogico, dimostrando che l'ibridazione tra LLM e framework strutturali è superiore all'uso di LLM isolati per compiti di ragionamento profondo su testi narrativi.