MolQuest: A Benchmark for Agentic Evaluation of Abductive Reasoning in Chemical Structure Elucidation

Titolo: MolQuest: Un Benchmark per la Valutazione Agente dell'Abduzione nel Ragionamento Chimico per l'Elucidazione Strutturale

1. Il Problema

I grandi modelli linguistici (LLM) mostrano un potenziale significativo per l'avanzamento della scoperta scientifica, ma la valutazione sistematica del loro ragionamento dinamico in scenari di ricerca reali rimane limitata.
Le attuali benchmark scientifiche presentano tre carenze principali:

• Formato di valutazione statico: La maggior parte si basa su domande e risposte (QA) a turno singolo e statiche, inadeguate per compiti complessi che richiedono iterazione multi-step e interazione sperimentale.
• Mancanza di autenticità dei dati: Molti benchmark utilizzano dati sintetici che non catturano artefatti reali come rumore, sovrapposizione di picchi o deviazioni sistemiche, tipici degli esperimenti chimici reali.
• Assenza di iniziativa strategica: I modelli esistenti agiscono come rispondenti passivi, privi della capacità di pianificare esperimenti, selezionare le fonti di dati più informative e prendere decisioni strategiche in un ambiente parzialmente osservabile, come fanno i veri scienziati.

2. Metodologia: Il Framework MolQuest

Per colmare questo divario, gli autori introducono MolQuest, un nuovo framework di valutazione basato su agenti per l'elucidazione della struttura molecolare.

• Definizione del Task: L'elucidazione strutturale è formalizzata come un Problema di Soddisfacimento dei Vincoli (CSP). L'agente (LLM) deve dedurre la struttura precisa di un composto sconosciuto partendo da dati sperimentali discreti e multimodali (NMR, Spettrometria di Massa, ecc.).
• Ambiente Interattivo Dinamico: A differenza dei test statici, MolQuest simula un laboratorio virtuale. L'LLM agisce come un "Spectroscopista Senior" che deve:
  • Pianificare attivamente quali strumenti usare (es. "Misura Peso Molecolare", "Ottieni spettro 1H NMR").
  • Gestire vincoli di risorse (costi simulati degli esperimenti).
  • Iterare tra ipotesi, raccolta dati e raffinamento delle strutture.
• Costruzione dei Dati (Human-in-the-Loop):
  • I dati provengono da informazioni di supporto (SI) di letteratura chimica reale pubblicata dopo il 2025, garantendo l'autenticità e riducendo il rischio di contaminazione dai dati di addestramento.
  • È stato implementato un pipeline rigoroso con validazione umana: estrazione automatizzata tramite LLM multi-agente, verifica chimica tramite strumenti di chemioinformatica (RDKit, PubChemPy) e revisione finale da parte di esperti umani per correggere errori sottili (es. stereochimica, assegnazione dei picchi).
  • Il dataset finale comprende 530 task validati, con pesi molecolari da 150 a 500 Da.
• Metriche di Valutazione: Oltre alla semplice accuratezza della struttura finale (SMILES), il framework valuta:
  • Validità SMILES: Capacità di generare grafi chimici parsabili.
  • Conservazione della Formula: Coerenza logica tra la struttura proposta e i dati di massa (controllo dell'allucinazione).
  • Affidabilità Probabilistica (RMSCE): Quanto bene il modello calibra la propria confidenza rispetto alla correttezza della risposta.
  • Efficienza Interattiva: Numero di turni di interazione e accuratezza per milione di token.

3. Risultati Chiave

Lo studio ha valutato 12 modelli LLM all'avanguardia (tra cui GPT-5.2, Gemini 3 Pro, Claude Opus 4.5, Qwen3-Max, DeepSeek-R1).

• Performance Generali: I modelli mostrano limitazioni significative in scenari scientifici autentici. Anche i modelli più avanzati (SOTA) raggiungono un'accuratezza di circa il 50% (es. Gemini 3 Flash al 51.51%), mentre la maggior parte degli altri modelli rimane sotto la soglia del 30%.
• Impatto del Paradigma Dinamico:
  • Gruppo "Potenziato": Modelli come Qwen3-Max e DeepSeek V3.2 hanno migliorato le prestazioni nel modalità agente rispetto alla modalità statica (baseline), suggerendo che l'interazione dinamica funge da "impalcatura cognitiva" che riduce il carico di memoria di lavoro.
  • Gruppo "Sfidiato": Modelli come Kimi K2 e Gemini 2.5 Pro hanno peggiorato le prestazioni in modalità dinamica, rivelando deficit nella pianificazione strategica e nella valutazione del "valore dell'informazione" (richieste ridondanti o terminazione prematura).
• Allucinazioni Chimiche: Molti modelli generano strutture che sembrano plausibili ma violano i vincoli sperimentali (es. conservazione della formula). Gemini 3 Pro ha mostrato un'eccellente conservazione della formula (93.57%), mentre altri modelli sono scesi sotto il 25%.
• Affidabilità: I modelli "Thinking" (con tracce di ragionamento interno) non sempre traducono il ragionamento in una migliore auto-valutazione, mostrando errori di calibrazione elevati.

4. Contributi Principali

1. Nuovo Paradigma di Valutazione: Spostamento da QA statico a task interattivi multi-turno che simulano il flusso di lavoro reale di un laboratorio chimico.
2. Dataset Realistico: Creazione di un benchmark basato su dati reali e verificati da umani, superando i limiti dei dati sintetici usati in precedenza.
3. Diagnosi delle Capacità di Ragionamento: Il framework non misura solo la conoscenza chimica, ma la capacità strategica di pianificare esperimenti e gestire l'incertezza (ragionamento abduttivo).
4. Analisi Comparativa: Identificazione di una biforcazione nelle capacità dei modelli: alcuni traggono vantaggio dall'interazione dinamica, mentre altri ne subiscono i costi cognitivi, evidenziando la necessità di valutare non solo cosa sanno, ma come ragionano sotto vincoli.

5. Significato e Implicazioni

MolQuest evidenzia un divario critico tra le capacità attuali degli LLM e le esigenze della ricerca scientifica autonoma. Dimostra che l'interazione dinamica non è solo un metodo di test, ma uno strumento diagnostico fondamentale per distinguere tra modelli che possiedono un vero ragionamento strategico e quelli che si affidano al riconoscimento di pattern.
Il lavoro stabilisce le basi per lo sviluppo di sistemi di IA collaborativa uomo-macchina, dove gli LLM possono gestire la generazione rapida di ipotesi e la triage dei dati, mentre gli esperti umani si concentrano sulla strategia di alto livello e sulla validazione complessa. Questo approccio è essenziale per il futuro dell'"AI for Science", mirando a creare agenti che possano partecipare attivamente e in modo affidabile al processo scientifico.