Resumen Técnico: PHREEQC-MCQ-200

Planteamiento del Problema

Aunque los agentes de Modelos de Lenguaje Extensos (LLM) se están integrando cada vez más con software científico, no está claro si el acceso a herramientas mejora genuinamente la fiabilidad de la computación científica o si simplemente añade complejidad. Las evaluaciones existentes suelen centrarse en si un modelo puede llamar a una herramienta, en lugar de determinar cuándo el aumento de herramientas mejora la capacidad de un modelo para operar un flujo de trabajo científico determinista y cuándo el bucle de la herramienta se convierte en una fuente de error. Además, las métricas de precisión agregada suelen ocultar regresiones a nivel de ítem donde los agentes pierden elementos que antes respondían correctamente sin herramientas.

Metodología

Los autores presentan PHREEQC-MCQ-200, un benchmark diagnóstico diseñado para evaluar agentes aumentados por herramientas en simulaciones de geoquímica acuosa deterministas utilizando el simulador de código abierto PHREEQC.

• Dataset: El benchmark consiste en 200 preguntas de opción múltiple derivadas de 21 escenarios de simulación validados. Cada ítem tiene una respuesta objetivo única derivada del simulador. El agente debe construir un archivo de entrada de PHREEQC, ejecutar el simulador, inspeccionar la salida estructurada y comprometerse con una respuesta final (A, B, C o D).
• Entorno del Agente (Agent Harness): Los agentes operan en un espacio de trabajo aislado con un máximo fijo de 24 pasos. Se les proporcionan herramientas para escribir/leer archivos, listar archivos y ejecutar PHREEQC.
• Protocolos de Acceso a la Salida: El estudio compara dos protocolos para manejar las salidas del simulador, que a menudo son extensas y con estructuras por secciones:
  1. Agente-Raw100k: La salida completa se incluye de forma integrada pero se trunca a 100,000 caracteres (cabecera/cola).
  2. Agente-TOC (Tabla de Contenidos): La herramienta devuelve un esquema a nivel de sección (nombres y números de línea). El agente debe solicitar secciones específicas explícitamente mediante llamadas a read_file.
• Métricas de Evaluación: Más allá de la precisión agregada, los autores emplean:
  • Descomposición de Ganancia/Pérdida/Retención: Seguimiento de qué ítems se mantienen, se ganan o se pierden en relación con una línea base sin herramientas.
  • Análisis de Trayectoria: Monitoreo de presupuestos de pasos, fallos de ejecución y tasas de compromiso (commit rates).
  • Estabilidad de Reejecución: Medición de la varianza a través de reejecuciones independientes.
  • Taxonomía de Fallos: Revisión por parte de expertos en el dominio de los modos de fallo (por ejemplo, mala construcción de la entrada vs. mala interpretación de la salida).

Contribuciones Clave

1. Benchmark PHREEQC-MCQ-200: Un paquete de artefactos validado por expertos para evaluar agentes de LLM en un entorno de software científico determinista con respuestas únicas, que incluye entradas del simulador, salidas, trayectorias y colas de análisis de fallos.
2. Necesidad de Ejecución Anclada (Grounded Execution): Evidencia de que escalar los tokens de razonamiento de cadena de pensamiento (CoT) no puede sustituir la ejecución anclada al simulador. El CoT ofrece ganancias marginales (±8 pp) con una expansión masiva de tokens (hasta 140×), mientras que el acceso al simulador proporciona ganancias sustanciales (15.0–41.5 pp) para modelos capaces.
3. Aumento de Herramientas No Aditivo: Demostración de que el acceso a herramientas no es puramente aditivo. Los agentes de nivel superior y medio pierden entre 10 y 32 ítems que respondían correctamente sin herramientas, mientras ganan entre 62 y 110 nuevos aciertos, resultando en tasas de retención del 56.4–86.5%.
4. Sensibilidad al Protocolo de Acceso a la Salida: Identificación de un efecto de interacción por niveles de capacidad. Una interfaz guiada por metadatos (TOC) actúa como una solución de Pareto-óptima para modelos de nivel superior (igualando o superando la precisión de la salida bruta con una reducción de tokens del 11–57%) pero degrada el rendimiento de los modelos de nivel medio (pérdida de precisión de 7.5–9.5 pp) debido a la sobrecarga de navegación.
5. Marco Diagnóstico: Una propuesta para evaluar agentes científicos reportando la retención a nivel de ítem, la sensibilidad al protocolo de acceso a la salida, los fallos de trayectoria y puntos de ruptura específicos en la cadena de computación, en lugar de confiar únicamente en la precisión agregada.

Resultados Clave

• Rendimiento del Modelo: Los modelos de nivel superior (Claude Opus 4.6, Sonnet 4.6, GPT-5.4) alcanzaron una precisión del 72.5%–84.0% con acceso a herramientas, superando significativamente sus líneas base sin herramientas (27.0%–42.0%). Los modelos de nivel medio (GPT-5.1, GPT-5.2) mostraron resultados mixtos, con GPT-5.1 y GPT-5.2 perdiendo precisión bajo el protocolo TOC en comparación con Raw100k.
• Fallo por Debajo del Nivel Medio: El agente Gemini 3 Flash Preview sufrió una regresión de 17.0 pp bajo el protocolo TOC, fallando al no poder comprometerse con las respuestas debido al agotamiento del presupuesto de pasos causado por la sobrecarga de navegación.
• Análisis de Retención: Los modelos de la familia GPT exhibieron una menor retención (56.4%–59.0%) en comparación con los modelos de Anthropic (83.3%–86.5%), perdiendo una mayor fracción de ítems que resolvían correctamente anteriormente.
• Modos de Fallo:
  • Nivel Superior: Los fallos suelen implicar el agotamiento del presupuesto de pasos después de comprometerse con una respuesta o fallos sutiles en el modelado de la entrada (por ejemplo, omisión de palabras clave de carga).
  • Nivel Medio: Los fallos están dominados por el compromiso prematuro con respuestas incorrectas y construcciones de PHREEQC de alta confianza pero erróneas.
  • Debajo de Nivel Medio: Los fallos se caracterizan por el agotamiento del presupuesto de pasos sin llegar a comprometerse con una respuesta.
• Eficiencia: El entorno personalizado logró un ratio de tokens-por-respuesta-correcta de 2.7–3.3× mejor en comparación con los entornos CLI predeterminados de los proveedores (Claude Code, Codex) en una submuestra emparejada.

Significancia

El artículo argumenta que el uso de herramientas científicas debe abordarse como un problema diagnóstico de extremo a extremo en lugar de una simple capacidad de llamada a herramientas. El hallazgo central es que el aumento de herramientas no es una mejora monotónica; introduce un compromiso entre nuevas capacidades y la pérdida de las existentes, dependiendo fuertemente del nivel de capacidad del modelo y del protocolo de acceso a la salida.

Los autores sostienen que las evaluaciones de agentes científicos deben ir más allá de la precisión agregada para reportar:

• La retención a nivel de ítem (estabilidad de las respuestas correctas).
• La sensibilidad a los protocolos de acceso a la salida.
• Los modos de fallo de la trayectoria (donde se rompe la cadena de computación).
• La interacción específica entre la capacidad del modelo y el diseño de la interfaz.

Este trabajo proporciona un entorno de diagnóstico reutilizable para medir agentes de uso de herramientas científicas y localizar exactamente dónde se pierde la fiabilidad, ofreciendo una visión más matizada del rendimiento de los agentes en flujos de trabajo científicos deterministas.