Auditing Discovery Claims: A Two-Sided Criterion for Agentic Science, with the Negative Side Decidable

Resumen Técnico: Auditoría de Reclamaciones de Descubrimiento en Ciencia Agéntica

Declaración del Problema
El artículo aborda la dificultad de validar las afirmaciones realizadas por sistemas de IA con capacidad de auto-mejora en el descubrimiento científico. Cuando tales agentes reclaman una nueva capacidad (por ejemplo, diseñar ARN con estructuras de pseudonudos), la evidencia suele limitarse a deltas de puntos de referencia (benchmarks), puertas de longitud de descripción o valores p. Estas métricas no logran distinguir entre la adquisición genuina de capacidades y artefactos tales como:

• Optimización de Oráculo (Oracle gaming): El agente sobre-optimiza para un predictor específico y falible.
• Intensidad de búsqueda: Mejora en el rendimiento debido a una búsqueda más intensa en lugar de nuevos principios.
• Memorización: Recordar soluciones para objetivos específicos en lugar de aprender una regla generalizable.
• Cambios en el verificador: Cambios en el rendimiento que resultan de un cambio en el estándar de verificación en lugar de en la política del agente.

Los autores argumentan que los métodos actuales carecen de un criterio de dos caras que sea decidible en al menos un lado para separar las ganancias reales de estos factores de confusión.

Metodología: La Auditoría de Dos Caras
Los autores proponen un marco de auditoría formal aplicado al dominio del diseño inverso de ARN, centrándose específicamente en estructuras de cruce (pseudonudos). La auditoría es asimétrica, consistiendo en un lado negativo y un lado positivo:

1. El Lado Negativo (Decidible/Exacto):

   • Base Formal: Utiliza la jerarquía de Chomsky. Las estructuras de ARN anidadas son Libres de Contexto (CF), mientras que las estructuras de cruce (pseudonudos) son Débilmente Sensibles al Contexto (MCS).
   • Teorema: Un oráculo de plegamiento libre de pseudonudos ($\Omega_{cf}$) tiene un rango de representación estrictamente confinado a estructuras anidadas ($L_{nest}$). Es formalmente imposible que este oráculo certifique un par de cruce.
   • Mecanismo de Auditoría: Antes de cualquier ejecución, los autores demuestran que una política previa verificada solo por $\Omega_{cf}$ tiene un lenguaje de objetivos realizables $R_{\Omega_{cf}}(\pi_{before})$ que es disjunto del conjunto de objetivos de cruce ($L_{pk}$). Esto proporciona un límite exacto y offline: el sistema previo no podría haber certificado estos objetivos, independientemente del presupuesto de búsqueda.

2. El Lado Positivo (Relativo al Modelo/Adjudicado):

   • Adjudicación: Dado que las estructuras de cruce no pueden ser verificadas por un único oráculo exacto, los autores utilizan un panel de tres predictores heurísticos (pKiss, ProbKnot, ShapeKnots).
   • Protocolo:
     • Compromiso Sellado (Sealed Commitment): El agente compromete un diseño (con hash congelado) después de la optimización en el bucle (in-loop) pero antes de ejecutar el adjudicador mantenido fuera de la muestra (held-out). Esto evita la selección post-hoc.
     • Abstención: Si los tres predictores discrepan, el objetivo se marca como "no resuelto" (abstención), evitando la conversión de artefactos de modelado en capacidades reclamadas.
     • Métricas: La auditoría reporta un vector de seis componentes ($E_{range}, \Delta_{prior}, \Delta_{gamer}, \Delta_{undirected}, \Delta_{held-out}, g_{aut}$), distinguiendo entre teoremas exactos, ganancias empíricas y pruebas de atribución.

3. Configuración Experimental:

   • Grupo de Objetivos: 60 objetivos de cruce de Pseudobase++ (grupo de desarrollo/evaluación) y un grupo estructuralmente disjunto de 27 objetivos.
   • Líneas Base: Un operador "gamer" optimizado para un único oráculo (pKiss), un resolvedor de energía libre mínima (DesiRNA) y un operador escrito por humanos.
   • Invención del Agente: Un agente de LLM recibe primitivas para escribir un operador libre de solver, que luego es congelado y auditado.

Contribuciones Clave

1. Un Criterio de Dos Caras: Un marco formal para auditar la adquisición de capacidades que separa el "puede ahora" (ganancia empírica) del "no podía ser certificado antes" (exclusión decidible).
2. Formalización del Lenguaje de Objetivos Realizables: Definir $R_{\Omega}(\pi)$ como el conjunto de objetivos que una política puede realizar bajo un oráculo, permitiendo la aplicación de lemas de bombeo para restringir el lenguaje de las estructuras en lugar del código del operador.
3. Demostración de Optimización de Oráculo (Oracle Gaming): Evidencia empírica que muestra cómo un único oráculo puede inflar las reclamaciones de capacidad (por ejemplo, 43/60 éxitos bajo un predictor, colapsando a 1/60 bajo un panel de tres predictores).
4. Puerta de Atribución de Dos Etapas: Un protocolo para distinguir entre correlación y mecanismo, primero identificando propiedades que difieren entre sistemas y luego interviniendo (trasplantando) para verificar la causalidad.
5. Resultados Empíricos en Código Escrito por Agentes: Evidencia de que los operadores congelados, escritos por agentes, pueden superar a los escritos por humanos bajo un adjudicador mantenido fuera de la muestra, incluso con menos llamadas al oráculo, aunque el mecanismo específico permanece sin identificar.

Resultos

• Medición de la Optimización de Oráculo: Un operador inventado optimizado para pKiss logró 43/60 éxitos. Al ser re-adjudicado por un predictor mantenido fuera (ProbKnot), solo 2/43 sobrevivieron; bajo el panel completo de tres predictores, solo 1/60 sobrevivió. Este colapso de 43$\to$1 demuestra que las métricas de un solo oráculo son insuficientes.
• Auditoría del Sistema de los Autores: El operador de los autores (optimizado para el panel) logró entre 3 y 8/60 éxitos consistentes con el panel mixto (media de 3.29) en el grupo de desarrollo, significativamente por encima del suelo de 0/60 de contexto libre. Sin embargo, la ganancia fue estrecha:
  • $\Delta_{gamer}$: El operador superó al "gamer" de un solo oráculo, pero el tamaño del efecto se redujo a medida que aumentaba la replicación.
  • $\Delta_{undirected}$: La búsqueda no dirigida fue indistinguible del operador guiado, lo que sugiere que la ganancia proviene del predicado de éxito (conjunción de oráculos) más que de la guía de búsqueda.
  • Sonda Libre de Búsqueda: El 84% de los éxitos del operador ocurrieron en objetivos donde una secuencia aleatoria compatible ya resolvía el objetivo, lo que indica que el operador no está resolviendo los casos "difíciles".
• Control Positivo (Operadores Escritos por Agentes): Los operadores congelados escritos por LLMs de frontera (específicamente dos de seis modelos que funcionaron sin tiempos de espera) lograron una tasa de transferencia a la de Shapenet (ShapeKnots) de 0.293 en comparación con el 0.095 del operador escrito por humanos.
  • Esta diferencia se estableció (D1) y se demostró que no fue comprada con cómputo (D2), ya que los agentes usaron entre 4.6 y 10 veces menos llamadas al oráculo.
  • Mecanismo (D3): Se trasplantaron siete mecanismos candidatos (incluyendo características estructurales y brechas de ensamble) al operador humano, pero ninguno reprodujo la ventaja del agente. El mecanismo sigue siendo un misterio.

Significancia y Reclamaciones
El artículo afirma que no hay un nuevo descubrimiento científico del principio de diseño, ya que el mecanismo detrás del éxito del agente no ha sido identificado (D3 no se alcanzó). En su lugar, la importancia reside en el instrumento de auditoría mismo:

1. Rigurosidad vs. Insensibilidad: La auditoría distingue con éxito entre un sistema que es genuinamente capaz y uno que es simplemente insensible a los modos de falla de un solo oráculo. El colapso de 43$\to$1 prueba que el instrumento detecta la sobre-optimización.
2. Verificación de No Uso: La auditoría confirma que los operadores escritos por agentes lograron sus resultados sin llamar a los solvers de diseño inverso empaquetados, estableciendo una capacidad "libre de solver" relativa a la clase de herramientas declarada.
3. Modesta Adquisición de Capacidad: El artículo establece que algunos operadores escritos por agentes pueden superar una barra estricta y mantenida fuera (D1 y D2) con una fracción del costo computacional, pero explícitamente evita la afirmación de "ascenso autónomo robusto" o "descubrimiento" porque el mecanismo es desconocido y el resultado es limitado a modelos específicos y un único grupo de pruebas.
4. Limitaciones: Los autores reconocen que los predictores del panel comparten parámetros termodinámicos (modelos de vecino más cercano), lo que limita la independencia de la adjudicación. Afirman que un predictor de una clase de modelo diferente es el siguiente paso necesario para una afirmación más fuerte.

En resumen, el artículo proporciona un protocolo de auditoría riguroso de dos caras que expone la fragilidad de las reclamaciones de un solo oráculo en la ciencia de la IA y demuestra que, si bien los procedimientos escritos por agentes pueden superar a las líneas base humanas bajo condiciones estrictas, los mecanismos subyacentes de tales mejoras suelen ser opacos y no atribuibles.