IsoSci: A Benchmark of Isomorphic Cross-Domain Science Problems for Evaluating Reasoning versus Knowledge Retrieval in LLMs

Resumen Técnico: ISOSCI

Planteamiento del Problema
Los avances recientes en los Modelos de Lenguaje de Gran Escala (LLMs) han destacado el "razonamiento" como un motor principal del rendimiento en tareas científicas complejas, a menudo validado por benchmarks como GPQA, SciBench y MMLU-STEM. Sin embargo, estos benchmarks conllevan una confusión entre dos capacidades distintas: la recuperación de conocimiento específico del dominio y la aplicación de procedimientos de razonamiento lógico. Cuando un modelo falla en un problema científico, resulta ambiguo si el fallo se debe a una falta de recuperación de hechos o a una incapacidad para ejecutar los pasos de razonamiento necesarios. En consecuencia, no está claro si los mecanismos de razonamiento (por ejemplo, el prompting de cadena de pensamiento o el entrenamiento específico de razonamiento) mejoran genuinamente la inferencia lógica o si sirven primordialmente para hacer emerger el conocimiento de dominio relevante. Los benchmarks existentes carecen de los controles estructurales para desacoplar estos factores.

Metodología: El Benchmark ISOSCI
Para abordar esto, los autores introducen ISOSCI, un benchmark de pares de problemas científicos isomórficos transdominios. El principio de diseño central es mantener constante la estructura de razonamiento mientras se varía el conocimiento de dominio requerido.

• Pares Isomórficos: Cada problema $q$ se empareja con un contraparte $q'$ de un dominio científico diferente (Física, Química, Biología o Ciencias de la Tierra). Los pares cumplen cuatro condiciones:
  1. Pertenecen a dominios diferentes.
  2. Comparten exactamente el mismo tipo de estructura lógica (por ejemplo, recuperación de fórmulas, conversión de unidades, aplicación de leyes de conservación).
  3. El procedimiento de solución para $q'$ es una biyección del procedimiento para $q$, reemplazando los átomos específicos del dominio (fórmulas, constantes) con sus contrapartes en el nuevo dominio.
  4. Los conjuntos de conocimiento requeridos para cada problema son disjuntos.
• Construcción del Dataset: El benchmark consiste en 144 pares (288 problemas) derivados de problemas semilla de GPQA, SciBench y MMLU-STEM, con generación sintética para Ciencias de la Tierra. Un pipeline de tres etapas (colección de semillas, generación de contrapartes, verificación automatizada) asegura la equivalencia estructural e independencia del conocimiento. La verificación involucra un panel de jueces de LLM y auditorías de expertos humanos, logrando una alta concordancia con el consenso humano.
• Protocolo de Evaluación: El estudio evalúa cinco pares de modelos a través de cuatro familias de modelos (OpenAI, Google, Qwen, DeepSeek). Las comparaciones incluyen pares "tradicionales" (modelos distintos con diferentes objetivos de entrenamiento) y pares de "conmutación" (el mismo modelo con el razonamiento habilitado vs. deshabilitado). Los modelos se evalúan en ISOSCI y otros tres benchmarks (GPQA, MMLU-STEM, SciBench).
• Métrica de Desacoplamiento ($p_{know}$): Los autores proponen una métrica para atribuir las ganancias del modo de razonamiento. Una ganancia es dependiente del conocimiento si la configuración de razonamiento mejora el rendimiento en un miembro de un par isomórfico pero no en el otro. Una ganancia es invariante de la estructura si mejora el rendimiento en ambos. La métrica $p_{know}$ calcula la proporción de las ganancias dependientes del conocimiento respecto al total de las ganancias.

Contribuciones Clave

1. Metodología de Construcción: Un marco escalable para generar pares de problemas científicos isomórficos transdominios que aíslan la estructura de razonamiento del conocimiento de dominio.
2. La Métrica $p_{know}$: Un método cuantitativo para descomponer las ganancias de razonamiento en componentes dependientes del conocimiento e invariantes de la estructura.
3. Benchmark ISOSCI: Un dataset de 144 pares isomórficos liberado públicamente que abarca cuatro dominios científicos, acompañado de hallazgos empíricos sobre la naturaleza de las ganancias de razonamiento.

Resultos

• Dominio de la Dependencia del Conocimiento: A través de cinco pares de modelos y 69 ganancias de modo de razonamiento observadas, el 91.3% (63/69) fueron dependientes del conocimiento en lugar de invariantes de la estructura. Esto indica que cuando los modos de razonamiento mejoran el rendimiento, lo hacen ayudando a los modelos a recuperar o aplicar hechos específicos del dominio, no mediante la mejora de la ejecución del procedimiento lógico en sí mismo.
• Beneficios Mínimos de la Conmutación: Para modelos de alta capacidad, habilitar los interruptores de razonamiento proporcionó ganancias de precisión insignificantes (menos de 5 puntos porcentuales) a través de los dominios. Para el modelo Gemini 2.0 Flash, el interruptor no tuvo un efecto estadísticamente significativo.
• Conclusiones Dependientes del Benchmark: El estudio destaca una reversión drástica en el rendimiento de los modelos según el benchmark. El modelo o3-mini, que supera a GPT-4o-mini por +19.2pp en GPQA Diamond (un benchmark que favorece el razonamiento conceptual profundo), rinde por debajo de GPT-4o-mini por −24.7pp en ISOSCI. Esto demuestra que las conclusiones sobre la utilidad de los modelos de razonamiento dependen enteramente del diseño del benchmark.
• Naturaleza de las Ganancias de Razonamiento: Los datos sugieren que, en tareas científicas procedimentales de horizonte corto, los mecanismos de razonamiento funcionan principalmente como una recuperación de conocimiento extendida, aumentando la probabilidad de que los hechos relevantes emerjan durante la generación, en lugar de mejorar las capacidades de inferencia lógica.

Significancia y Reivindicaciones
El artículo sostiene que la suposición de que el razonamiento de cadena de pensamiento mejora inherentemente la resolución de problemas científicos procedimentales de horizonte corto es desafiada por estos hallazgos. Los autores argumentan que, para los tipos de problemas cubiertos por ISOSCI, las mejoras de razonamiento son mayoritariamente un proxy para una mejor utilización del conocimiento. El estudio afirma que ningún benchmark único proporciona una imagen completa de la capacidad científica; un modelo fuerte en derivación conceptual (GPQA) puede ser débil en la recuperación de conocimiento estructurado (ISOSCI). Los autores posicionan a ISOSCI como una herramienta de diagnóstico para determinar dónde y cómo fallan las capacidades científicas de un modelo, distinguiendo entre brechas de conocimiento y déficits de razonamiento. Concluyen que, si bien la metodología de pares isomórficos y la métrica $p_{know}$ apoyan una evaluación más precisa, los hallazgos actuales son específicos para problemas procedimentales de horizonte corto, dejando la aplicabilidad al razonamiento de largo horizonte o de naturaleza abierta como una cuestión abierta.