LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning

1. Il Problema

Il ragionamento di senso comune (commonsense reasoning) è fondamentale per l'intelligenza artificiale, ma le attuali valutazioni presentano limiti significativi:

• Valutazione a risposta singola: La maggior parte dei benchmark (es. CommonsenseQA) richiede la selezione di una singola risposta "atomica". Questo approccio oscura la natura ambigua del senso comune, dove spesso esistono molteplici interpretazioni plausibili che possono essere congiunte (AND), disgiunte (OR) o mutualmente esclusive.
• Mancanza di composizione logica: I modelli attuali non vengono testati sulla capacità di ragionare sulle relazioni tra affermazioni plausibili. Falliscono nel distinguere se due affermazioni sono giunte plausibili, parzialmente plausibili o giunte implausibili.
• Fragilità dei modelli: Nonostante i progressi, i Large Language Models (LLM) mostrano una competenza fragile, fallendo sotto perturbazioni semantiche minime e affidandosi a scorciatoie statistiche piuttosto che a un vero ragionamento logico-composizionale.

2. Metodologia

Gli autori introducono LOGICAL-COMMONSENSEQA, un nuovo benchmark che riformula il compito di ragionamento di senso comune come una composizione logica su coppie di affermazioni atomiche.

Costruzione del Dataset

Il dataset è costruito estendendo il benchmark CommonsenseQA attraverso una pipeline in tre fasi:

1. Generazione di Opzioni Candidate: Utilizzando GPT-4o-mini, vengono generati 4-6 candidati plausibili e 4-6 implausibili per ogni domanda, focalizzandosi su ragionamenti causali e situazionali multi-step.
2. Raffinamento e Potatura: Un modello LLM filtra le opzioni rimuovendo quelle incoerenti o banali, creando un set curato di 3 opzioni corrette e 4 distrattori per domanda.
3. Composizione Logica Deterministica: Le opzioni atomiche vengono combinate in modo deterministico utilizzando tre operatori simbolici che rappresentano livelli di plausibilità (non operatori logici proposizionali stretti, ma giudizi di plausibilità):
   • AND: Entrambe le affermazioni sono indipendentemente plausibili.
   • OR: Almeno una delle due affermazioni è plausibile.
   • NEITHER/NOR: Nessuna delle due affermazioni è plausibile.
   • MIXED: Una condizione in cui diversi operatori appaiono tra le opzioni di risposta della stessa domanda.

Validazione Umana

Per garantire la validità del senso comune, è stato condotto uno studio di validazione umana basato sul framework Awareness-Consensus (consapevolezza e consenso sociale). Due annotatori indipendenti hanno valutato le opzioni su due dimensioni:

• Consapevolezza: Credono personalmente che l'opzione sia corretta?
• Consenso: Credono che la maggior parte degli altri sarebbe d'accordo?
  L'accordo inter-annotatore è stato alto (AC2 = 0.84 per la consapevolezza, 0.91 per il consenso).

Sperimentazione

Il benchmark è stato valutato su una vasta gamma di modelli:

• Classificatori encoder-only (es. DeBERTa).
• Modelli encoder-decoder (es. Flan-T5, Entailer).
• LLM decoder-only open-weight (es. LLaMA-3, Qwen2.5) in configurazioni zero-shot, few-shot e fine-tuned.
• Modelli proprietari closed-source (es. Gemini) in configurazione zero-shot.
  Le valutazioni sono state condotte con prompting standard e Chain-of-Thought (CoT).

3. Risultati Chiave

I risultati evidenziano un divario significativo tra le capacità dei modelli su diversi tipi di composizione logica:

• Performance su AND e OR: I modelli performano ragionevolmente bene sulle composizioni congiuntive (AND) e moderatamente su quelle disgiuntive (OR).
• Collasso su NEITHER/NOR: C'è un crollo drastico delle prestazioni sulle domande basate sulla negazione (NEITHER/NOR).
  • Modelli potenti come LLaMA-3.3-70B scendono a un 13.4% di accuratezza su NEITHER/NOR in zero-shot, contro l'80.9% su AND.
  • Anche con il few-shot prompting, le prestazioni su NEITHER/NOR rimangono basse (spesso sotto il 10-15%).
• Condizione MIXED: Le prestazioni peggiorano ulteriormente quando gli operatori sono misti tra le opzioni, suggerendo che i modelli non riescono a mantenere rappresentazioni stabili a livello di operatore e ricadono su euristiche superficiali.
• Confronto con Fine-Tuning: I modelli fine-tuned raggiungono alte prestazioni (83-95% di F1) su tutti gli operatori, indicando che il compito è apprendibile con supervisione. Il fallimento in zero-shot e few-shot riflette quindi limitazioni nell'inferenza e nel ragionamento composizionale intrinseco, non difetti del dataset.
• Analisi di Decomposizione: L'analisi mostra che la difficoltà non deriva solo dalla stima della plausibilità atomica (che i modelli gestiscono bene, ~79%), ma dall'interazione tra:
  1. Stima della plausibilità atomica.
  2. Ancoraggio all'operatore logico (operator grounding).
  3. Competizione tra distrattori composti.
     Il collasso su NEITHER/NOR è particolarmente accentuato dalla competizione con distrattori plausibili.

4. Contributi Principali

1. Nuovo Benchmark: Introduzione di LOGICAL-COMMONSENSEQA, che sposta il focus dalla selezione di una singola risposta alla valutazione della plausibilità composizionale (AND, OR, NEITHER/NOR).
2. Riformulazione del Compito: Dimostrazione che il senso comune è intrinsecamente distribuito e sociale, richiedendo modelli capaci di gestire ambiguità e relazioni tra affermazioni, non solo verità canoniche.
3. Diagnosi delle Limitazioni: Evidenziazione sistematica della debolezza degli SOTA (State-of-the-Art) nel ragionamento basato sulla negazione e nella composizione logica complessa, anche per modelli di grandi dimensioni.
4. Framework Controllato: Fornitura di un framework controllato per studiare il ragionamento composizionale, con dati e codice pubblicamente disponibili.

5. Significato e Implicazioni

Il lavoro dimostra che i benchmark tradizionali a risposta singola sovrastimano le capacità di ragionamento di senso comune dei modelli. LOGICAL-COMMONSENSEQA rivela che, sebbene i modelli possano identificare fatti plausibili, faticano a comporli logicamente, specialmente quando è richiesta la negazione o la gestione di scenari complessi.

Questo suggerisce che i progressi futuri nell'IA non devono concentrarsi solo sull'aumento della scala dei dati o dei parametri, ma sullo sviluppo di meccanismi di ragionamento che integrino la logica simbolica con la comprensione semantica profonda. Il benchmark serve come strumento critico per guidare lo sviluppo di modelli in grado di ragionare in modo più robusto, simile all'umano, su piani sociali e logici complessi.