CommonWhy: A Dataset for Evaluating Entity-Based Causal Commonsense Reasoning in Large Language Models

Riepilogo Tecnico: CommonWhy

Enunciato del Problema
I Large Language Models (LLM) hanno dimostrato competenza nella codifica di conoscenze fattuali e nel senso comune generale, ma la loro capacità di eseguire un ragionamento sul senso comune basato su entità—specificamente riguardo a relazioni causali e vincoli nel mondo reale—rimane inadeguatamente valutata. I benchmark esistenti per il ragionamento basato su entità (ad esempio, StrategyQA, CREAK) si affidano principalmente a formati Vero/Falso o a scelta multipla che testano la verifica deduttiva o l'abbinamento di pattern. Questi dataset non valutano esplicitamente la capacità di un modello di ragionamento abduttivo (inferenza verso la migliore spiegazione) quando risponde a domande "perché". Inoltre, sebbene esistano dataset per la Risposta alle Domande su Grafi della Conoscenza (KGQA), questi si concentrano prevalentemente sul recupero di informazioni fattuali o sulla concatenazione di fatti multi-hop, mancando della necessità di integrare assunzioni implicite di senso comune con conoscenze fattuali per generare spiegazioni causali.

Metodologia
Gli autori introducono CommonWhy, un dataset composto da 15.000 domande "perché" progettato per valutare il ragionamento causale sul senso comune basato su entità. La costruzione del dataset segue una pipeline a tre stadi:

1. Generazione di Assiomi: Per superare i limiti dei metodi basati sull'estrazione (che spesso producono domande risolvibili tramite semplice recupero), gli autori sfruttano gli LLM (GPT-5.1) per generare assiomi di senso comune "elevati". Partendo da un insieme iniziale di assiomi estratti da dataset esistenti (StrategyQA, CREAK, CoLoTa), l'LLM viene sollecitato ad espandere creativamente questi elementi in nuove strutture causali. Gli assiomi generati vengono filtrati rigorosamente da annotatori umani per garantire che siano allineati al senso comune umano.
2. Generazione di Query: Gli assiomi validati vengono riscritti come coppie astratte domanda-risposta. Queste vengono poi ancorate istanziando le variabili astratte con entità concrete dal grafo della conoscenza Wikidata. Gli autori utilizzano query SPARQL per recuperare entità che soddisfano i vincoli fattuali specifici degli assiomi, assicurando che tutte le conoscenze fattuali necessarie siano disponibili all'interno di Wikidata. Le query risultanti vengono riscritte in domande "perché" fluide e in linguaggio naturale.
3. Annotazione Multi-risposta: Riconoscendo che gli effetti causali nel mondo reale ammettono spesso molteplici spiegazioni valide, il dataset adotta un formato multi-risposta. Gli annotatori umani esaminano i sottografi rilevanti di Wikidata per ogni query per identificare tutte le spiegazioni causali plausibili supportate dai fatti e dalle assunzioni di senso comune. Solo le cause concordate da più annotatori vengono conservate come verità fondamentale (ground truth).

Il dataset è suddiviso in sottoinsiemi Head e Long-Tail in base alla popolarità delle entità (conteggi delle triple Wikidata) per valutare la robustezza del modello attraverso diversi livelli di familiarità con le entità.

Contributi Chiave

• Dataset CommonWhy: Il primo dataset su larga scala specificamente progettato per valutare il ragionamento causale abduttivo basato su entità. Colma il divario tra ragionamento sul senso comune e KGQA richiedendo ai modelli di combinare il recupero fattuale con l'inferenza causale implicita.
• Nuovo Paradigma KGQA: A differenza dei benchmark KGQA tradizionali che testano il recupero di fatti, CommonWhy stabilisce un benchmark per il ragionamento guidato da spiegazioni sui grafi della conoscenza, dove le risposte richiedono di sintetizzare i fatti del KG con assiomi di senso comune.
• Verità Fondamentale Multi-risposta: Il dataset modella esplicitamente la natura non unica del ragionamento causale fornendo molteplici risposte di verità fondamentale valide per ogni query, superando i vincoli di singola risposta.

Risultati Sperimentali
Gli autori hanno valutato gli LLM all'avanguardia (inclusi GPT-5.1, Gemini-2.5-Flash, Llama-3.3-70B, OpenAI-o3 e DeepSeek-V3.2) e i metodi KGQA basati su LLM (KB-Binder, KGR) su CommonWhy. Le scoperte chiave includono:

• Limiti del Ragionamento: Anche i modelli di ragionamento più forti faticano con il compito. OpenAI-o3, il modello con le prestazioni migliori, ha raggiunto solo circa il 68% di correttezza sulla suddivisione Head e circa il 67% sulla suddivisione Long-Tail. Gli altri modelli hanno ottenuto risultati significativamente peggiori (ad esempio, DeepSeek-V3.2 al ~41%).
• Discrepanza delle Metriche: Le metriche standard di generazione a lungo formato (BERTScore, ROUGE-L, METEOR) si sono rivelate cattivi indicatori della correttezza causale. Modelli come Gemini-2.5-Flash hanno ottenuto punteggi elevati di similarità lessicale ma bassa correttezza logica, suggerendo che la fluidità a livello superficiale non equivale a un ragionamento abduttivo valido.
• Impatto della Popolarità delle Entità: Le prestazioni si sono degradate costantemente passando dalle entità Head a quelle Long-Tail, confermando che la popolarità delle entità influenza la robustezza del ragionamento anche quando i pattern di ragionamento sottostanti sono identici.
• Allucinazioni: Anche quando i modelli producevano risposte logicamente corrette, mostravano frequentemente allucinazioni fattuali (affermazioni atomiche non supportate), come misurato da FActScore. Questo problema era più pronunciato per le entità Long-Tail.
• Inadeguatezza dei KGQA: I metodi KGQA esistenti non sono riusciti ad adattarsi a questo compito. KB-Binder, che traduce le query in SPARQL, ha ottenuto scarsi risultati perché SPARQL non può catturare il senso comune implicito richiesto dalle domande "perché". KGR non ha mostrato miglioramenti significativi rispetto al prompt diretto, indicando che le pipeline attuali sono insufficienti per il ragionamento causale abduttivo.

Significato
Il paper afferma che CommonWhy rivela un divario critico nelle attuali capacità degli LLM: il successo sui benchmark esistenti di senso comune basati su deduzione o verifica non si trasferisce al ragionamento causale abduttivo in contesti basati su entità. Stabilendo un benchmark in cui la conoscenza fattuale (Wikidata) è necessaria ma insufficiente senza inferenza di senso comune, CommonWhy fornisce un banco di prova impegnativo per la ricerca futura. Sottolinea la necessità di nuovi metodi capaci di integrare il recupero fattuale con il ragionamento causale implicito per interagire efficacemente con il mondo reale, segnando un cambiamento nella valutazione KGQA dal recupero di fatti al ragionamento guidato da spiegazioni.