Sintesi Tecnica: Imaging-101

Definizione del Problema

L'imaging computazionale, ovvero il processo di recupero di segnali nascosti da misurazioni indirette, rumorose e incomplete, è fondamentale per la scoperta quantitativa in diverse discipline scientifiche, dall'astronomia alla medicina. Tuttavia, la costruzione di una pipeline di ricostruzione corretta è un lavoro laborioso, che richiede una profonda competenza di dominio per gestire la pulizia dei dati, la modellazione della fisica forward, la selezione degli algoritmi e il debugging iterativo. Sebbene i Large Language Models (LLM) abbiano dimostrato competenza nella programmazione generale e in parti del flusso di lavoro scientifico, rimane una questione aperta se i modelli all'avanguardia possano risolvere in modo affidabile compiti di imaging computazionale end-to-end. Tali compiti richiedono il ragionamento congiunto sui processi di misurazione fisica, sulle formulazioni matematiche e sui solver numerici, traducendoli in codice eseguibile che superi rigorose verifiche numeriche. Gli existing benchmark spesso non riescono a esporre le modalità di fallimento specifiche inerenti ai problemi inversi scientifici, come sottili errori di convenzione fisica o una selezione inappropriata del solver.

Metodologia

Per affrontare questa lacuna, gli autori introducono Imaging-101, un benchmark composto da 57 compiti di imaging computazionale verificati da esperti, che spaziano sei domini scientifici: astronomia, biologia, chimica e scienza dei materiali, scienze della terra, medicina e fisica.

Costruzione del Benchmark

Il benchmark è costruito tramite una pipeline expert-in-the-loop progettata per garantire autenticità scientifica e riproducibilità:

1. Radicamento delle Fonti (Source Grounding): Ogni compito è derivato da un articolo peer-reviewed e dalla sua implementazione open-source di riferimento.
2. Standardizzazione: I compiti sono canonicalizzati in una pipeline standardizzata a quattro fasi:
   • Preprocessing: Conversione delle misurazioni grezze in una forma compatibile con il modello forward.
   • Modellazione della Fisica Forward: Implementazione dell'operatore forward $A$ (e spesso del suo aggiunto $A^*$).
   • Solver Inverso: Scelta ed esecuzione di un algoritmo di inversione per recuperare la quantità latente.
   • Visualizzazione: Rendering del segnale ricostruito.
3. Verifica: Esperti di dominio (livello PhD) validano la riproduzione delle esecuzioni di riferimento rispetto alle pubblicazioni originali. La pipeline utilizza l'assistenza dell'IA (Claude Code) per il refactoring e la sintesi dei test unitari, ma gli esperti mantengono l'autorità finale sulla correttezza.
4. Metriche di Valutazione: I compiti sono valutati utilizzando tolleranze numeriche calibrate. Il successo end-to-end è misurato tramite la Correlazione Incrociata Normalizzata (NCC) e l'Errore Quadratico Medio Normalizzato (NRMSE), che sono robusti rispetto alla scala di ampiezza globale, a differenza di PSIM o SSIM.

Tracciati di Valutazione

Imaging-101 impiega tre tracciati di valutazione complementari per sondare distinte capacità degli agenti:

1. Pianificazione (Planning): Gli agenti generano un piano strutturato (descrizione dell'algoritmo e progettazione dei moduli) basato sul problema. La correttezza è giudicata dagli esperti di dominio rispetto ai piani di riferimento.
2. Livello di Funzione (Function-Level): Gli agenti implementano funzioni specifiche all'interno della pipeline. La correttezza è determinata dal superamento di una suite di test unitari pytest con strette tolleranze numeriche (deterministici vs stocastici).
3. End-to-End: Gli agenti generano l'intera pipeline di codice, la eseguono e producono una ricostruzione. Il successo è definito dal raggiungimento delle soglie di qualità dell'immagine (NCC/NRMSE) rispetto al riferimento.

Contributi Chiave

• Benchmark Imaging-101: Una collezione di 57 compiti radicati nella letteratura peer-reviewed, che supportano la valutazione della pianificazione, del livello di funzione e end-to-end attraverso sei domini scientifici.
• Pipeline di Costruzione Supervisionata da Esperti: Una metodologia che canonicalizza la ricerca in un layout standardizzato a quattro fasi, consentendo compiti di benchmark scalabili, riproducibili ed eseguibili tramite verifica.
• Caratterizzazione Empirica delle Modalità di Fallimento: Il lavoro fornisce prove di specifici gap di capacità negli attuali LLM quando applicati all'imaging computazionale scientifico, distinguendoli dagli errori riscontrati nei benchmark di programmazione generale.

Risultati

Gli autori hanno valutato sette LLM all'avanguardia (inclusi Claude-4.6-Opus, GPT-5.4 e DeepSeek-V3) sui 57 compiti.

Prestazioni Quantitative

• Pianificazione: GPT-5.4 e Kimi-k2.5 hanno ottenuto i tassi di superamento complessivi più elevati (~52,6%), seguiti da vicino da Claude-4.6-Opus (50,9%). Il preprocessing è stato il dominio di pianificazione più difficile (tasso medio di superamento del 67,9%), mentre la selezione del solver inverso è stata la più facile (88,5%).
• Livello di Funzione: Le prestazioni sono scese significativamente nella fase di implementazione. Il tasso di superamento dei moduli complessivi (che richiede che tutte le funzioni in un modulo passino) è variato tra l'1,8% e il 22,8% tra i modelli. I solver inversi sono stati i più difficili da implementare correttamente (tasso medio di superamento dei moduli del 30,6%).
• End-to-End: Il modello con le migliori prestazioni, Claude-4.6-Opus, ha raggiunto un tasso di successo del 29,8%. GPT-5.4 è seguito al 19,3%. Un agente black-box (Claude Code) ha ottenuto il 56,1%, suggerendo che maggiori capacità di esecuzione (ad esempio, installazione di pacchetti senza restrizioni, feedback della shell) migliorano significativamente le prestazioni.

Analisi delle Modalità di Fallimento

La valutazione ha rivelato modalità di fallimento sistematiche distinte dagli errori di programmazione generale:

1. Fallimenti del Ragionamento Scientifico: Gli errori dominanti non erano errori di sintassi superficiali, ma fallimenti nel ragionamento scientifico.
   • Disallineamento Misurazione-Fisica: Gli agenti spesso omettevano passaggi critici di preprocessing, come la conversione dell'intensità del sensore ($1/r^4$) nell'ampiezza del campo d'onda ($1/r$) nell'imaging non-line-of-sight.
   • Selezione Inappropriata del Solver: I modelli hanno frequentemente sostituito solver specializzati e accoppiati alla fisica (es. qNewton-PIE per la ptychography di Fourier) con ottimizzatori generici (es. Adam), citando euristiche generali che ignoravano la struttura specifica del problema inverso.
2. Deriva delle Convenzioni Numeriche: L'errore di codice più comune (42,1% dei fallimenti) riguardava l'uso di segni, scale, ordini di assi o convenzioni di normalizzazione errati (es. omissione della normalizzazione della bobina MVUE in MRI). Questi errori producevano codice strutturalmente valido che superava i controlli visivi ma falliva i test di parità numerica rigorosi.
3. Non Completamento dell'Agente: Il 28,2% dei fallimenti è avvenuto perché gli agenti hanno esaurito i loro budget di riflessione senza produrre codice, spesso quando trattavano librerie specializzate (es. ehtim, deepwave), indicando un collo di bottiglia nella familiarizzazione con le API piuttosto che nel ragionamento matematico.

Significato

L'articolo sostiene che, sebbene gli LLM mostrino promesse nei flussi di lavoro scientifici, attualmente mancano della affidabilità necessaria per l'imaging computazionale autonomo. Le conclusioni evidenziano che la "materia oscura" di queste pipeline — la conoscenza tacita del dominio riguardante le convenzioni delle unità, i fattori di normalizzazione e l'accoppiamento misurazione-modello — non è esplicitamente catturata nelle specifiche scritte e viene sistematicamente trascurata dai modelli attuali.

Gli autori concludono che colmare questo divario richiede di andare oltre gli agenti di programmazione generale verso agenti dotati di competenze specializzate nel dominio. Propongono che la codifica della conoscenza tacita in moduli riutilizzabili e verificati (librerie di skill) sia una strada pratica verso un'assistenza scientifica affidabile. Imaging-101 funge da benchmark fondamentale per tracciare i progressi in questa direzione, sottolineando che la vera affidabilità nel calcolo scientifico richiede più della semplice generazione di codice; richiede l'aderenza fedele alle leggi fisiche e alla precisione numerica.