Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts

Resumen Técnico: Respuesta Correcta, Mecanismo Erróneo — Cuando los Científicos de IA Defienden Afirmaciones Generales que sus Propios Datos Contradicen

Planteamiento del Problema
Los marcos de evaluación actuales para los sistemas de científicos de IA se basan predominantemente en métricas de solo resultado, verificando si un agente produce un resultado final correcto frente a una referencia fija. Este artículo sostiene que tales evaluaciones son insuficientes para el descubrimiento científico porque no logran detectar el fenómeno de "Respuesta Correcta, Mecanismo Erróneo" (CAWM, por sus siglas en inglés). En los escenarios de CAWM, un agente llega a un resultado numéricamente correcto o plausible, pero lo defiende con un mecanismo físico que es inconsistente con sus propios datos generados o que no logra generalizarse a través de diferentes regímenes. Los autores postulan que la validez del resultado no implica la fidelidad del mecanismo; un agente puede tener éxito en un régimen específico explotando atajos estadísticos o correlaciones que se rompen bajo nuevas condiciones, lo que conduce a afirmaciones sobregeneralizadas que carecen de validez científica.

Metodología
El estudio emplea un estudio de caso controlado dentro de una simulación Geant4 de un módulo de detector Cherenkov embebido en hielo glacial. La tarea requiere que los agentes determinen si las distribuciones de tiempo de llegada de fotones pueden distinguir estadísticamente entre eventos inducidos por muones y eventos inducidos por electrones.

• Diseño de la Tarea: El observable de la "verdad fundamental" (ground truth) es la fracción del borde de ataque por evento ($f_{early}$), la cual depende de la diferencia geométrica entre las trazas de muones (que producen un borde de ataque nítido) y las cascadas de electrones (que producen una llegada difusa). Una alternativa plausible pero errónea es la desviación estándar por evento de los tiempos de impacto ($\sigma$), que se comporta de manera distinta a través de diferentes parámetros de impacto ($d$).
• Protocolo del Agente: El estudio evalúa 28 episodios en tres modelos (Claude Opus 4.6 como el principal, Gemini 2.5 Flash y Pro como sondas entre modelos). Se utilizaron cuatro variantes de prompt:
  • Prompt A (Abierto): Sin guía sobre observables.
  • Prompt B (Andamiaje/Scaffolded): Un proceso de cinco pasos que incluye un paso de "desafiar conclusiones".
  • Prompt C (Control Positivo): Se proporcionan el observable correcto ($f_{early}$) y el trasfondo físico para probar la capacidad de ejecución.
  • Prompt D (Sesgo de Prioridad/Biased Prior): Contiene un prior parcialmente falso (afirmando que los electrones tienen una fracción de borde de ataque más alta) para probar la honestidad epistémica.
• Criterios de Evaluación: Los episodios se codifican basados en tres ejes:
  1. Resultado de la Tarea: ¿El método reproduce el resultado reclamado sobre los propios datos del agente?
  2. Fidelidad del Mecanismo: ¿Es la explicación física correcta y generalizable?
  3. Honestidad Epistémica: ¿Revisa el agente sus creencias cuando los datos contradicen sus priors o sus propias afirmaciones?

Resultados Clave
El estudio identifica el CAWM como un modo de falla prevalente donde los agentes producen resultados de "apariencia correcta" mediante un razonamiento incorrecto:

• Prevalencia de CAWM: En el modelo principal (Claude Opus 4.6), 4 de 20 episodios (20%) exhibieron CAWM. En la sonda entre modelos (Gemini), 3 de 8 episodios (37.5%) mostraron CAWM.
• Mecanismo vs. Resultado: Los agentes seleccionaron frecuentemente observables como $\sigma$ o fracciones de ventana relativa que parecían separar partículas en $d=10$ m, pero que fallaron al generalizarse a $d=20$ o $25$ m, o se basaron en la física (por ejemplo, la compacidad de la cascada implicando una llegada temprana) que sus propios datos refutaban.
• Disociación de Honestidad y Fidelidad: Un hallazgo crítico es que la honestidad epistémica y la fidelidad del mecanismo pueden disociarse. En el Prompt D, todos los agentes rechazaron correctamente el prior falso respecto a las fracciones de borde de ataque de los electrones basándose en la evidencia. Sin embargo, un agente (Episodio 19) seleccionó posteriormente $\sigma$ como el observable primario y lo defendió con un mecanismo físico (una dispersión intrínseca de 10–15 ns) que contradecía sus propias tablas numéricas (que mostraban una dispersión de solo ~6.7 ns).
• Limitaciones del Andamiaje (Scaffolding): Aunque un andamiaje de cinco pasos (Prompt B) redujo el CAWM en el modelo principal (0/5), no logró prevenirlo en las sondas entre modelos (2/2), lo que sugiere que las estrategias de mitigación no son universalmente transferibles entre familias de modelos.
• Ejecución vs. Descubrimiento: Cuando se les proporcionó el observable y la física correctos (Prompt C), los agentes reprodujeron con éxito los resultados e identificaron correctamente las limitaciones estadísticas en conteos bajos de fotones ($d=25$ m). Esto indica que los agentes son capaces de ejecución, pero poco fiables en el descubrimiento abierto.

Protocolo de Verificación Propuesto
Los autores proponen un protocolo de verificación ligero de dos partes para detectar el CAWM:

1. Verificación de Cambio de Régimen (Regime-Shift Check): Extraer el mecanismo declarado por el agente, derivar una predicción con signo para un régimen adyacente no utilizado para justificar la afirmación, y verificar esto contra una ejecución de simulación en dicho régimen. Esto detecta afirmaciones sobregeneralizadas.
2. Recomputación Compañera (Companion Recomputation): Si el observable correcto es conocido, recomputar dicho observable sobre los datos del agente para falsificar afirmaciones basadas en observables confundidos (por ejemplo, ventanas relativas).
   Juntos, estos controles detectaron el 100% de los casos de CAWM en el estudio.

Significancia y Reivindicaciones
El artículo sostiene que los agentes de codificación de LLM funcionan como herramientas fiables para ejecutar análisis especificados, pero son poco fiables como coautores científicos para la formulación de afirmaciones abiertas.

• Límites de Confianza: La confianza de coautor requiere una verificación de la fidelidad del mecanismo que los sistemas actuales no aplican de forma fiable por sí mismos.
• Riesgo Científico: El CAWM es particularmente peligroso en el descubrimiento científico porque la nueva física suele residir en los límites de los regímenes conocidos. Un agente con un mecanismo erróneo extrapolará con confianza hacia estos regímenes, perdiendo firmas inesperadas o generando falsos positivos que las verificaciones de solo resultado no pueden detectar.
• Cambio de Evaluación: Los autores argumentan a favor de un cambio de la evaluación de solo resultado a un marco de tres ejes (resultado, fidelidad del mecanismo y honestidad epistémica). Afirman que la autonomía solo debe otorgarse cuando los agentes puedan superar los tres, y que la verificación externa (como la verificación de cambio de régimen) es necesaria antes de aceptar nuevas afirmaciones científicas.

El artículo concluye que, si bien los científicos de IA pueden manejar tareas de distribución cerrada, actualmente carecen de los mecanismos de autocorrección necesarios para el descubrimiento científico abierto, donde la generalización es implícita y no verificada.