Categorizing Mathematical Concepts with LLM Voting Ensembles in Mathswitch

Resumen Técnico: Categorización de Conceptos Matemáticos con Conjuntos de Votación de LLM en Mathswitch

Planteamiento del Problema
El proyecto Mathswitch tiene como objetivo conectar conceptos matemáticos a través de recursos dispares (por ejemplo, Wikidata, Wikipedia, MathWorld, Agda-Unimath) mediante la importación de registros y la vinculación de aquellos que se refieren a la misma idea. Sin embargo, debido a que Mathswitch aproxima el conjunto de conceptos matemáticos mediante consultas SPARQL sobre el grafo colaborativo de Wikidata, los datos importados son inherentemente ruidosos. Este ruido se manifiesta de dos maneras: elementos que son claramente no matemáticos pero que coinciden con patrones de consulta debido a un etiquetado incorrecto, y términos genuinamente ambiguos que poseen significados tanto matemáticos como no matemáticos. El artículo aborda el desafío de filtrar este ruido para garantizar la fiabilidad de la red de referencias cruzadas sin requerir un conjunto de datos de entrenamiento etiquetado manualmente, cuya producción es difícil dada la especialización en el dominio necesaria para los casos límite.

Metodología
Los autores proponen y evalúan un flujo de trabajo de categorización automatizado que consta de tres etapas:

1. Recuperación de Datos: Se ejecutan consultas SPARQL contra Wikidata para obtener elementos candidatos basados en rutas de propiedades (por ejemplo, elementos que son instancias de temas estudiados por las matemáticas). El sistema también recupera el texto de artículos asociados de Wikipedia en inglés e identificadores externos (MathWorld, nLab, etc.).
2. Conjunto de Votación de LLM (LLM Voting Ensemble): En lugar de entrenar un clasificador dedicado, el sistema emplea un conjunto de votación de Grandes Modelos de Lenguaje (LLM) que actúan como "jueces".
   • Entrada: Cada elemento candidato se presenta a múltiples LLM independientes con un prompt estructurado que contiene el nombre del elemento, la descripción, las palabras clave extraídas y el texto del artículo.
   • Tarea: Cada juez responde a una pregunta binaria ("¿Es el concepto dado un concepto matemático?") y proporciona una puntuación de confianza (0–100).
   • Conjunto (Ensemble): El sistema utiliza un grupo heterogéneo de modelos (específicamente DeepSeek-R1 14B, Gemma-3 12B y Qwen-2.5 14B, alojados localmente vía Ollama). Un voto de mayoría determina la clasificación final.
   • Bucle de Retroalimentación: Los elementos clasificados como no matemáticos por una mayoría se añaden automáticamente a la lista de exclusión de SPARQL para importaciones posteriores, creando un flujo de datos de autorrefinamiento.
3. Construcción de la Red: Los elementos filtrados se agrupan en conceptos unificados utilizando un algoritmo de Union-Find para fusionar registros de diferentes fuentes.

Resultados Clave
El sistema fue evaluado sobre un conjunto de datos de 16.385 elementos importados en abril de 2026.

• Control Positivo: Sobre una muestra de 1.000 elementos conocidos por tener identificadores de MathWorld (asumidos como matemáticos), el conjunto logró una precisión del 98,2%.
• Robustez ante Marcadores Superficiales: Cuando se eliminaron las referencias a "MathWorld" del contexto del prompt, la precisión cayó solo aproximadamente un 1%, lo que indica que los modelos dependen del contenido semántico en lugar de identificadores de bases de datos como atajos.
• Control Negativo: Sobre una muestra de 500 conceptos de física, el conjunto clasificó correctamente el 86% como no matemáticos. Los pocos elementos clasificados como matemáticos (4,8%) fueron identificados como casos límite legítimos (por ejemplo, ecuaciones diferenciales, grupos de simetría) donde la física y las matemáticas se solapan.
• Análisis de Errores: Los autores analizaron 48 elementos donde el conjunto discrepó con la etiqueta de MathWorld, categorizando los fallos en tres tipos distintos:
  1. Descripciones Degeneradas: Elementos con descripciones tautológicas o vacías (por ejemplo, "Wiener sausage" descrito solo como "concepto matemático") causaron que los modelos, particularmente Gemma, clasificaran erróneamente basándose en nombres superficiales.
  2. Sesgo de Alcance Estrecho: Un modelo (Gemma) rechazó frecuentemente elementos con contextos aplicados (por ejemplo, matrices de Pauli en mecánica cuántica), viéndolos como aplicaciones en lugar de matemática pura.
  3. Desajustes de Alcance Editorial: Elementos rechazados unánimemente por los jueces pero presentes en MathWorld (por ejemplo, herramientas de procesamiento de señales) sugieren que el alcance editorial de MathWorld es más amplio que la definición de "concepto matemático" utilizada por los jueces.

Significancia y Reivindicaciones
El artículo sostiene que un conjunto de votación de LLM sirve como un filtro práctico y efectivo para los datos ruidosos de conceptos matemáticos importados de Wikidata. La significancia del trabajo no radica en alcanzar una precisión perfecta, sino en demostrar que:

• Un enfoque de conjunto zero-shot puede lograr una alta fiabilidad (98,2%) sin datos de entrenamiento etiquetados.
• Los modos de fallo específicos del conjunto son separables y accionables. Los autores identifican que la mayoría de los errores provienen de problemas de calidad de datos ascendentes (descripciones degeneradas) o desajustes de definición (alcance editorial), más que de fallos fundamentales en el enfoque de los LLM.
• El sistema proporciona un bucle de retroalimentación donde los resultados de la categorización refinan directamente el proceso de ingestión de datos, mejorando la calidad de las futuras importaciones.

Los autores mantienen la modestia, señalando que la evaluación depende de los identificadores de MathWorld como un sustituto de la verdad de campo (que también es ruidosa en los límites) y que la muestra de 1.500 elementos sin identificadores carece de una verdad de campo para calcular las tasas de falsos positivos. Concluyen que, si bien el conjunto es un filtro viable, el trabajo futuro debería centrarse en enriquecer las descripciones degeneradas y refinar la definición de conceptos matemáticos para alinearlos mejor con el corpus de referencia.