Resumen Técnico: GSM-SEM

Declaración del Problema

Las actuales evaluaciones de referencia para evaluar el razonamiento matemático en Modelos de Lenguaje a Gran Escala (LLM), como GSM8K, enfrentan limitaciones significativas en cuanto a robustez y generalización. Las altas puntuaciones en los rankings a menudo reflejan la memorización de conjuntos de prueba estáticos o la explotación de artefactos específicos del conjunto de datos, en lugar de capacidades de razonamiento genuinas. Las variantes de robustez existentes (por ejemplo, parafraseo, renombrado de entidades, sustituciones numéricas) aplican principalmente perturbaciones a nivel superficial que preservan el esqueleto factual subyacente y la estructura relacional de los problemas. En consecuencia, estas variantes a menudo prueban la invariancia a la forma superficial en lugar de la adaptabilidad a condiciones semánticas significativamente diferentes. Además, los lanzamientos estáticos de las evaluaciones de referencia se convierten con el tiempo en objetivos para la memorización, y generar perturbaciones frescas y comparables a menudo requiere una costosa re-annotación de las respuestas de verdad fundamental.

Metodología: El Marco GSM-SEM

Los autores introducen GSM-SEM, un marco estocástico reutilizable diseñado para generar variantes de referencia semánticamente diversas mientras se preservan la respuesta de verdad fundamental y la lógica de cálculo originales. El marco opera mediante una tubería de curaduría y validación dual:

1. Generación de Variantes Semánticas: El marco emplea dos estrategias de aumento complementarias para generar nuevas variantes de pregunta ($\tilde{q}$) a partir de una muestra original $(q, a)$:

   • Generación Condicionada a la Respuesta: Se solicita a los LLM que reverse-engineer una nueva pregunta que preserve el cálculo numérico implícito por la respuesta $a$, pero que altere sustancialmente la forma superficial y los hechos contextuales (por ejemplo, cambiar "bacterias infectan" por "virus se propaga").
   • Generación Condicionada a la Pregunta: Se solicita a los LLM que mantengan todos los valores numéricos fijos mientras alteran el escenario o el tema (por ejemplo, cambiar "peste infecta" por "rumor se propaga"), aumentando así la diversidad semántica sin cambiar la aritmética requerida.
   • Un verificador basado en reglas asegura que todos los valores numéricos en la pregunta generada coincidan con los originales.

2. Validación Automática de Calidad: Un LLM juez, ajustado mediante revisión humana de 70 variantes muestreadas, evalúa la coherencia lógica y la calidad.

3. Poda de Redundancia Basada en Similitud: Las variantes se filtran utilizando similitud del coseno basada en vectores de frecuencia de términos. Los candidatos con una similitud $s(x, \tilde{x}) > 0.85$ con la muestra base o con las variantes retenidas existentes se descartan para asegurar la divergencia semántica.

4. Filtrado de Estrictidad: Para controlar la dificultad y evitar variantes triviales, un filtro de estrictidad evalúa a los candidatos utilizando un conjunto de modelos de referencia retenidos ($M_{hold}$). Las variantes donde los modelos muestran corrección unánime se tratan como potencialmente demasiado fáciles o insuficientemente perturbadas. Estas se podan adicionalmente basándose en una ventana de aceptación de similitud semántica $[\alpha, \beta]$. Esto permite la creación de subconjuntos con diversos niveles de desafío (por ejemplo, el filtro de estrictidad "máx" descarta todas las muestras correctas de manera unánime).

5. Validación Humana: Los conjuntos de datos finales pasan por un riguroso proceso de revisión humana en dos etapas para asegurar la coherencia lógica y la alineación de las respuestas, resultando en conjuntos de datos completamente validados por humanos.

Contribuciones Clave

• Marco GSM-SEM: Una tubería estocástica y reutilizable para generar variantes de referencia semánticamente diversas que mantienen los cálculos y respuestas originales, permitiendo evaluaciones reejecutables sin re-annotación.
• Conjuntos de Datos Validados por Humanos: Lanzamiento público de tres conjuntos de datos completamente validados: GSM8K-SEM, GSM-Symbolic-SEM y GSM-Plus-SEM. Estos conjuntos de datos demuestran una mayor varianza semántica que enfoques anteriores (GSM-Symbolic, GSM-Plus y versiones parafraseadas).
• Evaluación Exhaustiva: Evaluación de 14 Modelos de Lenguaje a Gran Escala (LLM) de vanguardia (SOTA) a través de familias de modelos, revelando una degradación consistente del rendimiento en las variantes SEM en comparación con las evaluaciones de referencia originales.
• Aplicabilidad Transversal: Demostración de la utilidad del marco en conjuntos de datos no-GSM, incluyendo BigBench-Hard, LogicBench y NLR-BIRD.

Resultados

• Degradación del Rendimiento: En 14 modelos SOTA, las variantes GSM-SEM rinden consistentemente menos en comparación con sus evaluaciones de referencia base. En la configuración de estrictidad "med", la tasa promedio de caída de rendimiento (PDR) fue de aproximadamente 28% para GSM-Plus-SEM, la configuración más desafiante.
• Perturbaciones Compuestas: Combinar perturbaciones semánticas (GSM-SEM) con variaciones simbólicas o "plus" existentes (GSM-Symbolic-SEM, GSM-Plus-SEM) amplifica los declives de rendimiento. Por ejemplo, GSM-Plus-SEM mostró una caída promedio de precisión de 13.53% a través de los modelos, significativamente mayor que GSM-Plus por sí solo.
• Sensibilidad Semántica: El análisis revela que la precisión del modelo generalmente mejora con una mayor similitud semántica con el conjunto de datos original. Incluso cuando los cálculos permanecen sin cambios, cambios semánticos sustanciales conducen a mayores caídas de rendimiento, lo que indica que los modelos actuales son sensibles al contexto semántico en lugar de solo a la manipulación simbólica.
• Modos de Fallo: El análisis manual identificó modos de fallo clave en las variantes SEM, que incluyen:
  • Mayor carga cognitiva debido a la indirection añadida.
  • Pistas de unidades/divisas que desencadenan errores de escala (por ejemplo, malinterpretar centavos vs. dólares).
  • Rastreo de estado desestabilizado en reescrituras de estilo de referencia.
  • Recuperación incorrecta de plantillas bajo cambios semánticos menores.
• Transferencia Fuera del Dominio: El marco generó exitosamente variantes para conjuntos de datos no matemáticos. Se observaron caídas de rendimiento en conjuntos de datos más antiguos (BigBench-Hard, 2022), probablemente debido a la memorización, mientras que los conjuntos de datos más nuevos (NLR-BIRD, 2025) mostraron caídas mínimas, lo que sugiere que el marco aísla efectivamente las capacidades de razonamiento de la memorización.

Significado y Afirmaciones

El artículo postula que GSM-SEM aborda la brecha crítica entre las pruebas de robustez a nivel superficial y la verdadera adaptabilidad semántica. Al generar variantes frescas y semánticamente diversas en cada ejecución mientras se preservan las respuestas de verdad fundamental, el marco reduce la dependencia de evaluaciones de referencia públicas estáticas y disminuye el sesgo de evaluación causado por la memorización.

Los autores afirman que los modelos SOTA actuales, a pesar de sus capacidades avanzadas de razonamiento, siguen siendo sensibles a cambios semánticos que alteran el contexto narrativo de un problema, incluso cuando las matemáticas subyacentes son idénticas. Esto sugiere que las altas puntuaciones en las evaluaciones de referencia podrían no capturar completamente la generalización robusta. El marco proporciona un mecanismo para una evaluación más rigurosa y reejecutable que puede adaptarse a diversos conjuntos de datos más allá de los problemas matemáticos estilo GSM, ofreciendo un camino hacia una evaluación más fiable del razonamiento de los LLM.