Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

Sintesi Tecnica: Audit delle Rivendicazioni di Scoperta in ambito Agentic Science

Enunciato del Problema
Il documento affronta la difficoltà di validare le rivendicazioni fatte da sistemi di IA auto-miglioranti nella scoperta scientifica. Quando tali agenti rivendicano una nuova capacità (ad esempio, il design di RNA con strutture a pseudonodo), l'evidenza è tipicamente limitata a delta di benchmark, gate di lunghezza della descrizione o p-value. Tali metriche non riescono a distinguere tra l'acquisizione di una reale capacità e artefatti quali:

• Oracle gaming: l'agente che ottimizza eccessivamente per un predittore specifico e fallibile.
• Intensità di ricerca: un miglioramento delle prestazioni dovuto a una ricerca più intensa piuttosto che a nuovi principi.
• Memorizzazione: il richiamo di soluzioni per target specifici anziché l'apprendimento di una regola generalizzabile.
• Spostamenti del verificatore: cambiamenti nelle prestazioni derivanti da uno standard di verifica modificato piuttosto che dalla policy dell'agente.

Gli autori sostengono che i metodi attuali manchino di un criterio a due lati che sia decidibile su almeno un lato per separare i guadagni reali da questi fattori di confusione.

Metodologia: L'Audit a Due Lati
Gli autori propongono un framework di audit formale applicato al dominio del design inverso dell'RNA, mirando specificamente alle strutture di incrocio (pseudonodi). L'audit è asimmetrico, composto da un lato negativo e un lato positivo:

1. Il Lato Negativo (Decidibile/Esatto):

   • Base Formale: Utilizza la gerarchia di Chomsky. Le strutture RNA annidate sono Context-Free (CF), mentre le strutture di incrocio (pseudonodi) sono Mildly Context-Sensitive (MCS).
   • Teorema: Un oracle di folding privo di pseudonodi ($\Omega_{cf}$) ha un intervallo di rappresentazione strettamente confinato a strutture annidate ($L_{nest}$). È formalmente impossibile per questo oracle certificare una coppia di incrocio.
   • Meccanismo di Audit: Prima di ogni esecuzione, gli autori dimostrano che una policy pregressa verificata solo da $\Omega_{cf}$ ha un linguaggio di target realizzabili $R_{\Omega_{cf}}(\pi_{before})$ che è disgiunto dall'insieme dei target di incrocio ($L_{pk}$). Questo fornisce un limite esatto e offline: il sistema precedente non poteva aver certificato questi target, indipendentemente dal budget di ricerca.

2. Il Lato Positivo (Relativo al Modello/Adjudicato):

   • Adjudicazione: Poiché le strutture di incrocio non possono essere verificate da un singolo oracle esatto, gli autori utilizzano un panel di tre predittori euristici (pKiss, ProbKnot, ShapeKnots).
   • Protocollo:
     • Impegno Sigillato: L'agente si impegna in un design (congelato tramite hash) dopo l'ottimizzazione in-loop ma prima di eseguire l'adjudicatore tenuto fuori (held-out). Ciò impedisce la selezione post-hoc.
     • Astensione: Se i tre predittori sono in disaccordo, il target viene marcato come "non risolto" (astensione), evitando la conversione di artefatti di modellazione in rivendicate capacità.
     • Metriche: L'audit riporta un vettore di sei componenti ($E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$), distinguendo tra teoremi esatti, guadagni empirici e test di attribuzione.

3. Setup Sperimentale:

   • Pool di Target: 60 target di incrocio da Pseudobase++ (pool di sviluppo/valutazione) e un pool strutturalmente disgiunto di 27 target.
   • Baseline: Un operatore "gamer" ottimizzato per un singolo oracle (pKiss), un solver a energia libera minima (DesiRNA) e un operatore scritto da un umano.
   • Invenzione dell'Agente: Un agente LLM riceve i primitivi per scrivere un operatore privo di solver, che viene poi congelato e sottoposto ad audit.

Contributi Chiave

1. Un Criterio a Due Lati: Un framework formale per lare audit dell'acquisizione di capacità che separa il "può ora" (guadagno empirico) dal "non poteva essere certificato prima" (esclusione decidibile).
2. Formalizzazione del Linguaggio di Target Realizzabile: Definire $R_{\Omega}(\pi)$ come l'insieme dei target che una policy può realizzare sotto un oracle, permettendo l'applicazione dei lemmi di pompaggio per vincolare il linguaggio delle strutture piuttosto che il codice dell'operatore.
3. Dimostrazione di Oracle Gaming: Evidenza empirica di come un singolo oracle possa gonfiare le rivendicazioni di capacità (ad esempio, 43/60 successi sotto un singolo predittore che crollano a 1/60 sotto un panel di tre predittori).
4. Gate di Attribuzione a Due Stadi: Un protocollo per distinguere tra correlazione e meccanismo, identificando prima le proprietà che differiscono tra i sistemi e poi intervenendo (trasplantando) per verificare la causalità.
5. Risultati su Codice Scritto da Agenti: Evidenza che gli operatori congelati, scritti da agenti, possono superare quelli scritti da umani sotto un adjudicatore tenuto fuori, anche con meno chiamate all'oracle, sebbene il meccanismo specifico rimanga non identificato.

Risultati

• Misurazione dell'Oracle Gaming: Un operatore inventato ottimizzato per pKiss ha ottenuto 43/60 successi. Quando ri-adjudicato da un predittore tenuto fuori (ProbKnot), solo 2/43 sono sopravvissuti; sotto il pieno panel di tre predittori, solo 1/60 è sopravvissuto. Questo crollo da 43$\to$1 dimostra che le metriche a singolo oracle sono insufficienti.
• Audit del Sistema degli Autori: L'operatore degli autori, che ottimizza il "panel", ha ottenuto 3–8/60 successi consistenti con il panel misto (media 3.29) sul pool di sviluppo, significativamente al di sopra del pavimento 0/60 del contesto-free. Tuttavia, il guadagno è stato limitato:
  • $\Delta_{gamer}$: L'operatore ha superato il gamer a singolo oracle, ma l'effetto si è ridotto all'aumentare della replicazione.
  • $\Delta_{undirected}$: Ha eguagliato la ricerca non guidata, suggerendo che il guadagno derivi dal predicato di successo (congiunzione di oracle) piuttosto che dalla guida della ricerca.
  • Probe Senza Ricerca: L'84% dei successi dell'operatore è avvenuto su target dove una sequenza casuale compatibile aveva già risolto il target, indicando che l'operatore non sta risolvendo i casi "difficili".
• Controllo Positivo (Operatori Scritti da Agenti): Gli operatori congelati scritti da LLM di frontiera (specificamente due dei sei modelli che sono stati eseguiti senza timeout) hanno ottenuto un tasso di carry-over di 0.293 verso il predittore tenuto fuori (ShapeKnots) rispetto allo 0.095 dell'operatore scritto da umani.
  • Questa differenza è stata stabilita (D1) e mostrata come non acquistata con la computazione (D2), poiché gli agenti hanno utilizzato da 4.6 a 10 volte meno chiamate all'oracle.
  • Meccanismo (D3): Sette candidati meccanismi (inclusi tratti strutturali e gap di ensemble) sono stati trasplantati nell'operatore umano, ma nessuno ha riprodotto il vantaggio dell'agente. Il meccanismo rimane non identificato.

Significatività e Rivendicazioni
Il documento afferma di non aver fatto nuove scoperte scientifiche di un principio di design, poiché il meccanismo dietro il successo dell'agente non è identificato (D3 non è stato raggiunto). Invece, la significatività risiede nello strumento di audit stesso:

1. Rigore vs Insensibilità: L'audit distingue con successo tra un sistema che è genuinamente capace e uno che è semplicemente insensibile ai modi di fallimento di un singolo oracle. Il crollo 43$\to$1 prova che lo strumento rileva l'over-optimization.
2. Verifica del Non-Uso: L'audit conferma che gli operatori scritti dagli agenti hanno ottenuto i loro risultati senza chiamare solver di design inverso pre-impacchettati, stabilendo una capacità "solver-free" rispetto alla classe di strumenti dichiarata.
3. Modesta Acquisizione di Capacità: Il documento stabilisce che alcuni operatori scritti da agenti possono superare un test rigoroso (D1 e D2) con una frazione del costo computazionale, ma esclude esplicitamente la rivendicazione di "ascesa autonoma robusta" o "scoperta" perché il meccanismo è ignoto e il risultato è limitato a modelli specifici e a un singolo pool di benchmark.
4. Limitazioni: Gli autori riconoscono che i predittori del panel condividono parametri termodinamici (modelli nearest-neighbor), limitando l'indipendenza dell'adjudicazione. Affermano che un predittore proveniente da una classe di modelli diversa è il passo successivo necessario per una rivendicazione più forte.

In sintesi, il documento fornisce un protocollo di audit rigoroso a due lati che espone la fragilità delle rivendicazioni basate su un singolo oracle nell'IA scientifica e dimostra che, sebbene gli operatori scritti da agenti possano superare le baseline umane in condizioni rigorose, i meccanismi sottostanti a tali miglioramenti rimangono spesso opachi e non attribuibili.