Resumen Técnico: CROWDMATH: Un conjunto de datos de discusiones de investigación matemática colaborativa

Planteamiento del problema

Los benchmarks actuales para los Modelos de Lenguaje de Gran Escala (LLMs) en razonamiento matemático evalúan predominantemente el rendimiento en problemas bien especificados con respuestas finales definitivas, derivaciones paso a paso o demostraciones completas (por ejemplo, problemas de tipo competición o demostración de teoremas formales). Si bien estos conjuntos de datos demuestran capacidades sólidas para producir soluciones correctas a problemas de forma cerrada, no logran capturar la resolución de problemas abiertos de forma colaborativa. En este escenario, el progreso matemático se distribuye entre múltiples participantes y publicaciones, involucrando argumentos parciales, identificación de errores, reparación de razonamientos y la síntesis gradual de contribuciones incrementales en una demostración completa. Los modelos existentes tienen dificultades para rastrear la significación funcional de las contribuciones individuales dentro de este discurso evolutivo y de múltiples turnos.

Metodología

Construcción del conjunto de datos: CROWDMATH

Los autores presentan CROWDMATH, un conjunto de datos que comprende 164 cadenas de progreso anotadas por expertos derivadas del programa MIT PRIMES–Art of Problem Solving (AoPS) CrowdMath (2016–2025). Este programa es una iniciativa de investigación colaborativa donde participantes de secundaria y licenciatura resuelven problemas originales y no resueltos en matemáticas discretas y combinatoria, lo que a menudo conduce a publicaciones revisadas por pares.

• Fuente de datos: El conjunto de datos se extrae de hilos de foros públicos donde los participantes discuten problemas abiertos.
• Esquema de anotación: Cada publicación está anotada con roles funcionales relativos al proceso de solución en evolución. El esquema incluye:
  • Progress (Progreso): Ideas parciales, lemas o estrategias.
  • Proof (Demostración): Completitud de una demostración o el paso final faltante.
  • Erroneous (Erróneo): Afirmaciones que contienen errores matemáticos fatales.
  • FindError (Identificación de error): Identificación de errores en publicaciones previas.
  • Question/Answer (Pregunta/Respuesta): Consultas aclaratorias y respuestas.
  • Result (Resultado): Nuevos hallazgos matemáticos no conocidos previamente.
• Proceso: La anotación ocurrió en dos fases: (1) identificar todos los resultados matemáticos establecidos en un hilo, y (2) etiquetar las publicaciones individuales basándose en su contribución a dichos resultados. Las publicaciones fueron anonimizadas y los datos se estructuraron en "cadenas de progreso" que rastrean un resultado específico desde el enunciado del problema hasta la demostración final, preservando las dependencias temporales.
• Estadísticas: El conjunto de datos cubre 164 cadenas a través de más de 10 temas matemáticos (por ejemplo, juegos de persecución-evasión, dimensión métrica de grafos). La longitud de las cadenas varía de 1 a 25 publicaciones, con un promedio de 2.7 publicaciones por resultado.

Tareas de evaluación

Los autores evaluaron seis modelos de frontera (GPT-5.4, Claude Opus 4.6, Grok 4.20, DeepSeek V3.2, Gemini 2.5 Flash, Qwen3-235B) en dos tareas derivadas de las anotaciones:

1. Clasificación de rol de la publicación (Post-Role Classification): Dado un prefijo de hilo y una publicación objetivo, el modelo debe clasificar la publicación en uno de cuatro roles funcionales: Progress (Progreso), Result (Resultado/Demostración), Erroneous (Erróneo) o FindError (Identificación de error). Esto pone a prueba la capacidad del modelo para comprender la significación funcional de una contribución.
2. Predicción de la siguiente publicación (Next-Post Prediction): Dado un prefijo de hilo, el modelo debe predecir la publicación siguiente real de un conjunto de cuatro candidatos (uno verdadero y tres distractores muestreados de otros hilos). Esto pone a prueba su capacidad para seguir el flujo local y la continuidad lógica de la discusión.

Resultados clave

1. Dificultad para identificar la significación funcional

Los modelos tuvieron un desempeño deficiente en la Clasificación de rol de la publicación, logrando puntuaciones macro-F1 de entre 0.33 y 0.42.

• Modo de fallo específico: Los modelos tuvieron dificultades constantes para distinguir entre Progress (contribuciones parciales) y Result (completitud de la demostración). Si bien la precisión para la clase Result fue relativamente alta (los modelos rara vez etiquetaron erróneamente publicaciones que no eran de demostración como tales), el recall fue bajo. Los modelos frecuentemente etiquetaron publicaciones que completaban una demostración simplemente como "Progress", fallando en reconocer la finalización del argumento.
• Implicación: Los modelos actuales carecen del razonamiento a nivel de discurso para juzgar la significación de una publicación dentro de la trayectoria colaborativa más amplia.

2. Éxito en la predicción del flujo local

Los modelos funcionaron significativamente mejor en la Predicción de la siguiente publicación, logrando precisiones de entre 82.7% y 87.7% (comparado con un baseline aleatorio del 25%).

• Implicación: Los modelos de frontera pueden seguir eficazmente el flujo superficial del discurso matemático y predecir el siguiente paso inmediato en una conversación, lo que sugiere que comprenden el contexto local y la progresión lógica de un hilo individual.

Significación y afirmaciones

El artículo afirma que CROWDMATH expone una brecha crítica entre resolver problemas matemáticos bien especificados y comprender el progreso matemático colaborativo.

• Proceso vs. Producto: Aunque los modelos a menudo pueden producir respuestas finales correctas o seguir una derivación lineal, tienen dificultades para comprender el progreso matemático como un proceso evolutivo, no lineal y colaborativo que involucra errores, correcciones e ideas parciales.
• Cambio en el benchmarking: Los autores argumentan que pasar la evaluación de la corrección de la respuesta final al "razonamiento consciente del progreso" es necesario para evaluar la inteligencia matemática de manera más holística.
• Limitaciones: Los autores señalan que el conjunto de datos se centra en los resultados (excluyendo ideas abandonadas o callejones sin salida), depende de etiquetas de nivel de publicación de grano grueso y refleja el discurso de participantes estudiantes en lugar de investigadores profesionales.

En conclusión, el artículo postula que los modelos de frontera actuales aún no han aprendido completamente el razonamiento a nivel de discurso requerido para rastrear cómo se desarrollan las ideas matemáticas a lo largo del tiempo en un entorno colaborativo, a pesar de su competencia para resolver problemas aislados y bien definidos.