Categorizing Mathematical Concepts with LLM Voting Ensembles in Mathswitch

Resumo Técnico: Categorização de Conceitos Matemáticos com Ensembles de Votação de LLM no Mathswitch

Declaração do Problema
O projeto Mathswitch visa conectar conceitos matemáticos entre recursos díspares (ex: Wikidata, Wikipedia, MathWorld, Agda-Unimath) ao importar registros e vincular aqueles que se referem à mesma ideia. No entanto, como o Mathswitch aproxima o conjunto de conceitos matemáticos via consultas SPARQL sobre o grafo colaborativamente editado do Wikidata, os dados importados são inerentemente ruidosos. Esse ruído manifesta-se de duas formas: itens que são claramente não matemáticos, mas que coincidem com padrões de consulta devido a marcações incorretas, e termos genuinamente ambíguos que possuem tanto significados matemáticos quanto não matemáticos. O artigo aborda o desafio de filtrar esse ruído para garantir a confiabilidade da rede de referências cruzadas sem exigir um conjunto de dados de treinamento rotulado manualmente, o qual é difícil de produzir dada a especialização necessária para lidar com casos de borda.

Metodologia
Os autores propõem e avaliam um pipeline de categorização automatizado composto por três estágios:

1. Recuperação de Dados: Consultas SPARQL são executadas contra o Wikidata para buscar itens candidatos baseados em caminhos de propriedades (ex: itens que são instâncias de tópicos estudados pela matemática). O sistema também busca textos de artigos da Wikipedia em inglês e identificadores externos (MathWorld, nLab, etc.).
2. Ensemble de Votação de LLM: Em vez de treinar um classificador dedicado, o sistema emprega um ensemble de votação de Grandes Modelos de Linguagem (LLMs) atuando como "juízes".
   • Entrada: Cada item candidato é apresentado a múltiplos LLMs independentes com um prompt estruturado contendo o nome do item, descrição, palavras-chave extraídas e texto do artigo.
   • Tarefa: Cada juiz responde a uma pergunta binária ("O conceito dado é um conceito matemático?") e fornece uma pontuação de confiança (0–100).
   • Ensemble: O sistema utiliza um pool heterogêneo de modelos (especificamente DeepSeek-R1 14B, Gemma-3 12B e Qwen-2.5 14B, hospedados localmente via Ollama). Uma votação majoritária determina a classificação final.
   • Ciclo de Feedback: Itens classificados como não matemáticos por uma maioria são automaticamente anexados à lista de exclusão do SPARQL para importações subsequentes, criando um pipeline de dados de autorrefinamento.
3. Construção de Rede: Itens filtrados são agrupados em conceitos unificados usando um algoritmo Union-Find para fundir registros de diferentes fontes.

Resultos Principais
O sistema foi avaliado em um conjunto de dados de 16.385 itens importados em abril de 2026.

• Controle Positivo: Em uma amostra de 1.000 itens conhecidos por possuírem identificadores do MathWorld (assumidos como matemáticos), o ensemble alcançou uma precisão de 98,2%.
• Robustez a Marcadores de Superfície: Quando as referências ao "MathWorld" foram removidas do contexto do prompt, a precisão caiu apenas cerca de 1 ponto percentual, indicando que os modelos dependem de conteúdo semântico em vez de identificadores de banco de dados como atalhos.
• Controle Negativo: Em uma amostra de 500 conceitos de física, o ensemble classificou corretamente 86% como não matemáticos. Os poucos itens classificados como matemáticos (4,8%) foram identificados como casos de borda legítimos (ex: equações diferenciais, grupos de simetria) onde a física e a matemática se sobrepõem.
• Análise de Erro: Os autores analisaram 48 itens onde o ensemble discordou do rótulo do MathWorld, categorizando as falhas em três tipos distintos:
  1. Descrições Degeneradas: Itens com descrições tautológicas ou vazias (ex: "wiener sausage" descrito apenas como "conceito matemático") fizeram com que os modelos, particularmente o Gemma, classificassem incorretamente com base em nomes de superfície.
  2. Viés de Escopo Estrito: Um modelo (Gemma) frequentemente rejeitou itens com contextos aplicados (ex: matrizes de Pauli na mecânica quântica), vendo-os como aplicações em vez de matemática pura.
  3. Descompassos de Escopo Editorial: Itens unanimemente rejeitados pelos juízes, mas presentes no MathWorld (ex: ferramentas de processamento de sinais), sugerem que o escopo editorial do MathWorld é mais amplo do que a definição de "conceito matemático" utilizada pelos juízes.

Significância e Alegações
O artigo alega que um ensemble de votação de LLM serve como um filtro prático e eficaz para dados ruidosos de conceitos matemáticos importados do Wikidata. A significância do trabalho reside não em alcançar a perfeição, mas em demonstrar que:

• Uma abordagem de ensemble zero-shot pode alcançar alta confiabilidade (98,2%) sem dados de treinamento rotulados.
• Os modos de falha específicos do ensemble são separáveis e acionáveis. Os autores identificam que a maioria dos erros decorre de problemas de qualidade de dados upstream (descrições degeneradas) ou descompassos de definição (escopo editorial), em vez de falhas fundamentais na abordagem de LLM.
• O sistema fornece um ciclo de feedback onde os resultados de categorização refinam diretamente o processo de ingestão de dados, melhorando a qualidade das importações futuras.

Os autores mantêm a modéstia, observando que a avaliação depende de identificadores do MathWorld como um proxy para a verdade fundamental (que também é ruidosa nas fronteiras) e que a amostra de 1.500 itens sem identificadores carece de uma verdade fundamental para calcular as taxas de falsos positivos. Eles concluem que, embora o ensemble seja um filtro viável, o trabalho futuro deve focar no enriquecimento de descrições degeneradas e no refinamento da definição de conceitos matemáticos para melhor alinhar-se com o corpus de referência.