SciCoQA: Quality Assurance for Scientific Paper--Code Alignment

1. El Problema: La Crisis de Reproducibilidad y la Inconsistencia Código-Paper

El artículo aborda la "crisis de reproducibilidad" en la ciencia computacional, específicamente en el ámbito de la Inteligencia Artificial y otras ciencias computacionales. Aunque la publicación de código junto con los artículos científicos se ha convertido en un estándar para garantizar la reproducibilidad, la mera disponibilidad del código no asegura que este sea una implementación fiel de lo descrito en el texto.

• Discrepancias Ocultas: A menudo existen divergencias sutiles entre la descripción metodológica del paper (fórmulas, algoritmos, lógica) y la implementación real en el repositorio de código. Estas pueden incluir:
  • Diferencias: El código implementa una lógica distinta (ej. normalización L1 vs. L2).
  • Omisión en el Paper: El código incluye componentes críticos no mencionados en el texto.
  • Omisión en el Código: Pasos descritos en el paper faltan en el repositorio.
• Consecuencias: Estas inconsistencias generan variaciones de rendimiento no reportadas, invalidan comparaciones científicas y erosionan la confianza en la investigación.
• Limitación de la Revisión Humana: La revisión manual de código por parte de revisores es lenta y poco escalable, especialmente con el auge de sistemas de "agentes autónomos" que generan ciencia de forma automatizada, lo que hace imposible la verificación humana exhaustiva.

2. Metodología: Construcción del Dataset SCICOQA

Los autores presentan SCICOQA, un nuevo dataset diseñado para detectar estas discrepancias y evaluar la capacidad de los Modelos de Lenguaje Grandes (LLMs) para realizar una auditoría de calidad automatizada.

Recolección de Datos

El dataset se construye combinando datos reales y sintéticos para lograr escala y diversidad:

1. Datos Reales (92 instancias):

   • Issues de GitHub: Se analizaron repositorios que referencian papers científicos, filtrando issues que reportan inconsistencias específicas entre paper y código.
   • Papers de Reproducibilidad: Se extrajeron discrepancias de informes de desafíos de reproducibilidad (ej. ML Reproducibility Challenge) donde investigadores intentan replicar trabajos previos.
   • Validación: Todos los candidatos fueron filtrados manualmente y verificados por dos LLMs de vanguardia (Gemini 3.1 Pro y GPT-5) para asegurar que cumplan la definición estricta de discrepancia (excluyendo bugs simples o configuraciones de hiperparámetros).

2. Datos Sintéticos (543 instancias):

   • Para escalar el dataset y cubrir dominios fuera de CS/AI (Física, Biología Cuantitativa, Estadística, etc.), se utilizó un método de generación sintética.
   • Se tomaron repositorios de código reales y se usó a GPT-5 para introducir modificaciones controladas ("diffs") que crearan discrepancias semánticas significativas (cambios en lógica, pérdida de pasos, adición de componentes no descritos).
   • Se generaron 543 discrepancias sintéticas a partir de 204 papers, asegurando que los cambios fueran pequeños pero conceptualmente importantes.

Definición de Discrepancia

Se define una discrepancia como un conflicto semántico que altera la lógica científica, el protocolo experimental o la formulación matemática. Se excluyen errores de ingeniería trivial, bugs independientes de la descripción del paper o diferencias en hiperparámetros configurables.

Taxonomía

Las discrepancias se categorizan en:

• Tipos: Diferencia, Omisión en el Paper, Omisión en el Código.
• Categorías: Algoritmo, Modelo, Función de Pérdida (Loss), Evaluación, Datos, Entrenamiento.

3. Contribuciones Clave

1. SCICOQA Dataset: Un recurso público de 635 discrepancias (92 reales, 543 sintéticas) que abarca múltiples dominios científicos y tipos de inconsistencias.
2. Método de Generación Sintética: Una pipeline robusta para crear discrepancias realistas en código científico, permitiendo escalar la evaluación a dominios donde los datos reales son escasos.
3. Benchmark de Evaluación: Un marco de evaluación exhaustivo para probar la capacidad de 22 LLMs (incluyendo modelos comerciales como GPT-5, Gemini y modelos de código abierto como Qwen, DeepSeek, Mistral) en tareas de alineación multimodal (texto + código).
4. Análisis de Limitaciones: Un estudio detallado sobre cómo el contexto largo, el tipo de discrepancia y la fecha de publicación afectan el rendimiento de los modelos.

4. Resultados Experimentales

Los autores evaluaron 22 LLMs utilizando un enfoque de "LLM-as-a-Judge" (GPT-OSS 20B) para comparar las predicciones del modelo con la verdad fundamental (ground truth).

• Rendimiento General: El rendimiento es decepcionante. Los mejores modelos (Gemini 3.1 Pro y GPT-5 Mini) lograron un recall (tasa de recuperación) de solo el 46.7% en datos reales. Esto significa que detectan menos de la mitad de las discrepancias existentes.
• Precisión vs. Recall: Los modelos tienden a tener una alta precisión (cuando dicen que hay un error, suelen tener razón), pero un recall muy bajo, lo que los hace poco fiables para garantizar la integridad científica completa.
• Dificultades Específicas:
  • Omisiones en el Paper: Es el tipo más difícil de detectar, ya que el modelo debe inferir que algo falta en el texto basándose solo en el código, sin una referencia explícita.
  • Longitud del Contexto: El rendimiento disminuye a medida que aumenta la longitud del prompt (papel + código). Los modelos luchan con repositorios grandes (>100k tokens).
  • Datos No Contaminados: Los modelos tienen peor rendimiento en papers publicados recientemente (2025) que no forman parte de sus datos de entrenamiento, lo que subraya la necesidad de datos de evaluación no contaminados.
• Correlación Real-Sintética: Existe una fuerte correlación ($r=0.94$) entre el rendimiento en datos reales y sintéticos, validando el uso de datos sintéticos para evaluar modelos en dominios donde faltan ejemplos reales.
• Ablación "Solo Código": Al eliminar el paper de la entrada, el rendimiento cae drásticamente (un 48.3% de reducción en datos reales), confirmando que la comparación cruzada (cross-modal) es esencial y que los modelos no pueden confiar únicamente en su conocimiento paramétrico o en comentarios del código.

5. Significado e Impacto

• Herramienta para la Ciencia Automatizada: A medida que surgen "Científicos de IA" que generan papers y código autónomamente, SCICOQA proporciona la verdad fundamental necesaria para verificar que estos agentes sean fieles al método científico.
• Advertencia sobre la Automatización: Los resultados indican que los LLMs actuales no están listos para actuar como árbitros autónomos de la validez científica. Su bajo recall implica un riesgo alto de falsos negativos (no detectar errores críticos).
• Futuro de la Revisión por Pares: El trabajo sugiere que la revisión automatizada debe servir como una herramienta de asistencia para humanos, no como un reemplazo, hasta que los modelos mejoren significativamente en la detección de omisiones y razonamiento de contexto largo.
• Llamada a la Acción: Se insta a la comunidad científica a adoptar más tracks de reproducibilidad y a expandir la recolección de datos de discrepancias reales en dominios no informáticos.

En resumen, SCICOQA expone una brecha crítica en la capacidad actual de la IA para auditar la ciencia, proporcionando tanto el dataset como la evaluación necesaria para guiar el desarrollo de herramientas de aseguramiento de calidad más robustas.