Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

Sintesi Tecnica: Risposta Corretta, Meccanismo Errato — Quando gli Scienziati AI Difendono Rivendicazioni Generali che i Propri Dati Contraddicono

Definizione del Problema
Gli attuali framework di valutazione per i sistemi di scienziati artificiali (AI scientist) si basano prevalentemente su metriche basate solo sull'esito, verificando se un agente produce un risultato finale corretto rispetto a un riferimento fisso. Questo articolo sostiene che tali valutazioni siano insufficienti per la scoperta scientifica perché non riescono a rilevare il fenomeno "Risposta Corretta, Meccanismo Errato" (CAWM - Correct Answer, Wrong Mechanism). Negli scenari CAWM, un agente giunge a un risultato numericamente corretto o plausibile, ma lo difende con un meccanismo fisico che è incoerente con i propri dati generati o che non riesce a generalizzare attraverso diversi regimi. Gli autori sostengono che la validità dell'esito non implica la fedeltà del meccanismo; un agente può avere successo in un regime specifico sfruttando scorciatoie statistiche o correlazioni che si interrompono in condizioni diverse, portando a rivendicazioni eccessivamente generalizzate che mancano di validità scientifica.

Metodologia
Lo studio impiega un caso di studio controllato all'interno di una simulazione Geant4 di un modulo di rivelatore Cherenkov immerso in ghiaccio glaciale. Il compito richiede agli agenti di determinare se le distribuzioni dei tempi di arrivo dei fotoni possano distinguere statisticamente gli eventi indotti da muoni da quelli indotti da elettroni.

• Design del Task: L'osservabile della "verità fondamentale" (ground truth) è la frazione del bordo d'attacco per evento ($f_{early}$), che si basa sulla differenza geometrica tra le tracce dei muoni (che producono un bordo d'attacco netto) e le cascate di elettroni (che producono un arrivo diffuso). Un'alternativa plausibile ma errata è la deviazione standard per evento dei tempi di impatto ($\sigma$), che si comporta diversamente attraverso i parametri di impatto ($d$).
• Protocollo dell'Agente: Lo studio valuta 28 episodi su tre modelli (Claude Opus 4.6 come modello primario, Gemini 2.5 Flash e Pro come sonde cross-model). Sono state utilizzate quattro varianti di prompt:
  • Prompt A (Open-ended): Nessuna guida sugli osservabili.
  • Prompt B (Scaffolded): Un processo in cinque fasi che include un passaggio di "sfida delle conclusioni".
  • Prompt C (Controllo Positivo): L'osservabile corretto ($f_{early}$) e la fisica di fondo sono forniti per testare la capacità di esecuzione.
  • Prompt D (Prior Biased): Contiene un prior parzialmente falso (che afferma che gli elettroni hanno una frazione di bordo d'attacco più alta) per testare l'onestà epistemica.
• Criteri di Valutazione: Gli episodi sono codificati in base a tre assi:
  1. Esito del Task: Il metodo riproduce il risultato rivendicato sui dati dell'agente stesso?
  2. Fedeltà del Meccanismo: La spiegazione fisica è corretta e generalizzabile?
  3. Onestà Epistemica: L'agente rivede le proprie convinzioni quando i dati contraddicono i prior o le proprie rivendicazioni?

Risultati Chiave
Lo studio identifica il CAWM come un modo di fallimento prevalente in cui gli agenti producono risultati dall'aspetto corretto tramite un ragionamento errato:

• Prevalenza di CAWM: Nel modello primario (Claude Opus 4.6), 4 episodi su 20 (20%) hanno mostrato CAWM. Nella sonda cross-model (Gemini), 3 episodi su 8 (37,5%) hanno mostrato CAWM.
• Meccanismo vs Esito: Gli agenti hanno frequentemente selezionato osservabili come $\sigma$ o frazioni di finestra relativa che apparivano per separare le particelle a $d=10$ m, ma che fallivano nel generalizzare a $d=20$ o $25$ m, o si sono basati sulla fisica (ad esempio, la compattezza della cascata che implica un arrivo precoce) che i propri dati avrebbero invece smentito.
• Dissociazione tra Onestà e Fedeltà: Un risultato critico è che l'onestà epistemica e la fedeltà del meccanismo possono dissociarsi. Nel Prompt D, tutti gli agenti hanno correttamente rifiutato il prior falso riguardante le frazioni di bordo d'attacco degli elettroni basandosi sull'evidenza. Tuttavia, un agente (Episodio 19) ha successivamente selezionato $\sigma$ come osservabile primario e l'ha difeso con un meccanismo fisico (una dispersione intrinseca di 10–15 ns) che contraddiceva le proprie tabelle numeriche (che mostravano una dispersione di soli ~6,7 ns).
• Limiti dello Scaffolding: Sebbene uno scaffold a cinque fasi (Prompt B) abbia ridotto il CAWM nel modello primario (0/5), non è riuscito a prevenirlo nelle sonde cross-model (2/2), suggerendo che le strategie di mitigazione non sono universalmente trasferibili tra diverse famiglie di modelli.
• Esecuzione vs Scoperta: Quando forniti dell'osservabile e della fisica corretti (Prompt C), gli agenti hanno riprodotto con successo i risultati e identificato correttamente i limiti statistici a bassi conteggi di fotoni ($d=25$ m). Ciò indica che gli agenti sono capaci di esecuzione ma inaffidabili nella scoperta aperta (open-ended discovery).

Protocollo di Verifica Proposto
Gli autori propongono un protocollo di verifica leggero in due parti per rilevare il CAWM:

1. Controllo dello Spostamento di Regime (Regime-Shift Check): Estrarre il meccanismo dichiarato dall'agente, derivare una previsione firmata per un regime adiacente non utilizzato per giustificare la rivendicazione e verificare tale previsione contro una corsa di simulazione in quel regime. Questo intercetta le rivendicazioni eccessivamente generalizzate.
2. Ricalcolo Compagno (Companion Recomputation): Se l'osservabile corretto è noto, ricalcolare l'osservabile sui dati dell'agente per falsificare le rivendicazioni basate su osservabili confusi (ad esempio, finestre relative).
   Insieme, questi controlli hanno segnalato il 100% dei casi di CAWM nello studio.

Significatività e Rivendicazioni
L'articolo sostiene che gli attuali agenti di coding basati su LLM funzionano come strumenti affidabili per l'esecuzione di analisi specificate, ma sono inaffidabili come co-autori scientifici per la formulazione di rivendicazioni aperte.

• Confini di Fiducia: La fiducia come co-autore richiede una verifica della fedeltà del meccanismo che gli attuali sistemi non applicano in modo affidabile su se stessi.
• Rischio Scientifico: Il CAWM è particolarmente pericoloso nella scoperta scientifica perché la nuova fisica risiede spesso ai confini dei regimi noti. Un agente con un meccanismo errato estrapolerà con sicurezza in questi regimi, perdendo firme inaspettate o generando falsi positivi che i controlli basati solo sull'esito non possono rilevare.
• Spostamento della Valutazione: Gli autori sostengono la necessità di un passaggio da una valutazione basata solo sull'esito a un framework a tre assi (esito, fedeltà del meccanismo e onestà epistemica). Affermano che l'autonomia dovrebbe essere concessa solo quando gli agenti possono superare tutti e tre i test, e che la verifica esterna (come il controllo dello spostamento di regime) è necessaria prima di accettare nuove rivendicazioni scientifiche.

L'articolo conclude che, sebbene gli scienziati AI possano gestire compiti a distribuzione chiusa, essi mancano attualmente dei meccanismi di autocorrezione necessari per la scoperta scientifica aperta, dove la generalizzazione è implicita e non verificata.