Structural Ranking of the Cognitive Plausibility of Computational Models of Analogy and Metaphors with the Minimal Cognitive Grid

Sintesi Tecnica: Classificazione Strutturale della Plausibilità Cognitiva dei Modelli Computazionali di Analogia e Metafora con la Griglia Cognitiva Minima

Enunciato del Problema
La creazione e l'interpretazione di analogie e metafore sono fondamentali per la competenza semantica umana. Sebbene siano stati proposti numerosi modelli computazionali per replicare queste capacità, manca un quadro sistematico e quantitativo per valutarne la plausibilità cognitiva—in particolare, l'estensione in cui i loro meccanismi interni si allineano ai processi cognitivi umani piuttosto che limitarsi a produrre output funzionalmente equivalenti. I sistemi attuali di Intelligenza Artificiale, in particolare i Modelli Linguistici di Grande Formato (LLM), spesso raggiungono elevate prestazioni nei compiti di analogia ma operano tramite meccanismi (ad esempio, riconoscimento di pattern statistici) che differiscono fondamentalmente dalla cognizione umana. Il lavoro affronta la necessità di una metrica standardizzata per distinguere tra "artefatti funzionali" (che imitano l'output) e "modelli strutturali" (che imitano i meccanismi cognitivi interni), valutando così il loro potere esplicativo nelle scienze cognitive.

Metodologia: La Griglia Cognitiva Minima (MCG)
Gli autori impiegano e formalizzano operativamente la Griglia Cognitiva Minima (MCG), un quadro proposto da Lieto (2021) per classificare i sistemi artificiali in base alla loro accuratezza strutturale rispetto a target biologici o cognitivi. La metodologia prevede una valutazione quantitativa attraverso tre dimensioni distinte:

1. Rapporto Funzionale/Strutturale (FSR): Questa dimensione valuta l'equilibrio tra replicazione funzionale (corrispondenza dell'output) e implementazione strutturale (corrispondenza del meccanismo). Gli autori definiscono una metrica, $FSRM$, basata su un insieme di vincoli strutturali derivati da due principali teorie cognitive:

   • Teoria della Mappatura Strutturale (SMT): I vincoli includono la mappatura uno-a-uno, la connettività parallela, la sistematicità (preferenza per strutture relazionali interconnesse) e la proiezione inferenziale.
   • Teoria della Categorizzazione della Metafora (CTM): I vincoli includono la categorizzazione (interpretare le metafore come affermazioni di inclusione di classe) e la selezione delle proprietà (trasferimento di caratteristiche salienti).
     I modelli sono valutati in base al fatto che implementino questi meccanismi strutturalmente ($s_i=1$) o meramente funzionalmente ($s_i=0$), ponderati in base all'importanza teorica di ciascun vincolo.

2. Generalità (GM): Questa dimensione valuta l'ampiezza delle funzioni cognitive che un modello può simulare, fondata sulla tassonomia delle abilità cognitive umane di Cattell-Horn-Carroll (CHC). Gli autori valutano i modelli in cinque domini: Conoscenza Quantitativa, Ragionamento Fluido, Elaborazione Visiva, Conoscenza Linguistica/Verbale e Abilità Sensoriali/Motorie. I punteggi sono assegnati in base alla copertura completa (1), parziale (0.5) o assenza (0), con uno schema di ponderazione specifico che enfatizza l'importanza delle abilità Sensoriali/Motorie nella cognizione incarnata.

3. Corrispondenza delle Prestazioni (PMM): Questa dimensione quantifica l'allineamento tra il comportamento del modello e il comportamento umano, considerando non solo l'accuratezza ma anche i pattern di errore e i tempi di risposta. Il punteggio è una somma ponderata di:

   • Delta di Accuratezza: La deviazione dalla prestazione di base umana.
   • Pattern di Errore: Se il modello replica la distribuzione degli errori umani (ad esempio, fallendo sugli stessi elementi difficili).
   • Tempi di Risposta: La similarità nella latenza di esecuzione rispetto ai tempi di reazione umani.

Contributi Chiave

• Operazionalizzazione Formale: Il lavoro fornisce un'operazionalizzazione matematica rigorosa della MCG, trasformando distinzioni teoriche qualitative in punteggi quantitativi ($FSRM$, $GM$, $PMM$) che consentono il confronto diretto di architetture AI disparate.
• Metrica Unificata di Plausibilità Cognitiva (CPM): Gli autori introducono un punteggio composito, $CPM = \lambda \cdot FSR'_M + \mu \cdot GM + \nu \cdot PMM$, che integra le tre dimensioni. Propongono uno schema di ponderazione ($\lambda=0.5, \mu=0.25, \nu=0.25$) che dà priorità alla fedeltà strutturale, sostenendo che il potere esplicativo nelle scienze cognitive dipenda principalmente dall'allineamento dei meccanismi interni con la teoria umana.
• Analisi Comparativa Sistematica: Il quadro è applicato a quattro classi distinte di sistemi:
  • SME (Structure-Mapping Engine) & CogSketch: Sistemi simbolici basati sulla SMT.
  • METCL: Un modello basato sulla logica per la generazione di metafore basato sulla CTM.
  • LLM: Inclusi GPT-3.5, GPT-4 e GPT-4o.

Risultati
La valutazione produce profili distinti per ciascun sistema:

• SME e CogSketch: Raggiungono i punteggi Strutturali più alti ($FSR'_M \approx 0.606$) grazie alla loro implementazione esplicita dei vincoli SMT (mappatura uno-a-uno, sistematicità). Dimostrano anche la più alta Corrispondenza delle Prestazioni ($PMM \approx 0.923$) sui Matrici Progressive di Raven, replicando accuratezza umana e pattern di errore. Tuttavia, ottengono punteggi molto bassi in Generalità ($GM \approx 0.063–0.125$) poiché mancano di capacità nel ragionamento quantitativo, nell'elaborazione del linguaggio e nei compiti sensoriali-motori.
• METCL: Occupa una posizione intermedia. Ottiene un punteggio moderato in Fedeltà Strutturale ($FSR'_M \approx 0.407$) implementando i vincoli CTM (categorizzazione, selezione delle proprietà) ma manca dei vincoli strutturali basati sulla SMT. La sua Generalità è limitata ($GM \approx 0.125$) e la Corrispondenza delle Prestazioni è moderata ($PMM \approx 0.714$).
• LLM: Mostrano la più alta Generalità ($GM \approx 0.500–0.800$), coprendo domini quantitativi, fluidi, visivi e linguistici. Tuttavia, mostrano una Fedeltà Strutturale molto bassa ($FSR'_M \approx 0.109$), non implementando vincoli SMT come la sistematicità o la mappatura uno-a-uno in senso meccanicistico. La loro Corrispondenza delle Prestazioni è mista ($PMM \approx 0.578$), spesso mostrando alta accuratezza ma pattern di errore divergenti (ad esempio, fallendo su compiti ricchi di distrattori dove gli umani hanno successo) e mancando di dati di allineamento temporale.

Secondo lo schema di ponderazione non uguale proposto (che dà priorità alla plausibilità strutturale), CogSketch e SME si classificano primi nella plausibilità cognitiva complessiva. Secondo uno schema di ponderazione uguale, gli LLM superano METCL grazie alla loro superiore generalità, un risultato che gli autori descrivono come "paradossale" data la mancanza di vincoli ispirati alla cognizione negli LLM.

Significato e Affermazioni
Il lavoro afferma che la MCG offre una "progettazione" per un confronto generalizzabile e riproducibile dei sistemi AI basato sulla loro plausibilità biologica o cognitiva, piuttosto che solo sul loro output funzionale.

• Potere Esplicativo: Gli autori sostengono che il Rapporto Funzionale/Strutturale è la dimensione critica per le scienze cognitive perché valuta se il successo di un modello sia fondato su meccanismi rilevanti per il fenomeno (ad esempio, mappatura relazionale) piuttosto che sulla generalizzazione statistica.
• Distinzione dal Comportamentismo: Il quadro mira a evitare un "comportamentismo rinnovato" penalizzando i sistemi che raggiungono prestazioni a livello umano attraverso processi interni non simili a quelli umani.
• Scalabilità: La metodologia è presentata come uno strumento scalabile per valutare le generazioni attuali e future di AI, fornendo un linguaggio di misurazione comune tra architetture simboliche, sub-simboliche e ibride.
• Limitazioni: Gli autori riconoscono modestamente le limitazioni, inclusa la disponibilità disuguale di dati di riferimento (gli LLM sono testati su più dataset rispetto a SME/CogSketch), la mancanza di dati sui tempi di risposta per alcuni sistemi e il fatto che i pesi dei vincoli siano attualmente basati sulla rilevanza teorica piuttosto che su una derivazione guidata dai dati. Suggeriscono che il lavoro futuro dovrebbe concentrarsi sull'espansione dei dataset e sul perfezionamento degli schemi di ponderazione per estendere ulteriormente la generalizzabilità del quadro.