Resumo Técnico: Aprendizado de Máquina Algébrico para Conjuntos de Dados Pequenos a Médios

Declaração do Problema

O paradigma predominante no aprendizado de máquina supervisionado baseia-se na otimização numérica sobre modelos parametrizados (por exemplo, redes neurais, árvores impulsionadas), onde o viés indutivo é codificado por meio de arquitetura e hiperparâmetros ajustados via validação cruzada. Embora eficaz, essa abordagem exige dados significativos e recursos computacionais para validação, particularmente em regimes de poucos dados onde cada exemplo rotulado é escasso. Por outro lado, a IA simbólica clássica, que depende de regras explícitas e relações lógicas, foi amplamente considerada não competitiva em tarefas supervisionadas realistas, a menos que combinada com aprendizes numéricos modernos.

Este artigo desafia a suposição de que métodos simbólicos não podem competir com bases padrão robustas. Ele investiga o Aprendizado de Máquina Algébrico (AML), um framework que aprende por meio da decomposição subdireta de estruturas algébricas em vez de otimização baseada em gradiente, para determinar se um viés indutivo algébrico genérico pode rivalizar com bases específicas de modalidade (como CNNs para imagens ou XGBoost para dados tabulares) sem a necessidade de validação cruzada ou ajuste de hiperparâmetros dependentes da tarefa.

Metodologia

O Framework AML

O AML codifica tarefas de classificação em uma estrutura algébrica, especificamente um semilattice.

• Codificação: Pontos de dados são representados como produtos (termos) de constantes correspondentes a pares valor-valor de características e rótulos de classe. Para variáveis numéricas, relações de ordem são codificadas por meio de cadeias de constantes ordenadas inversamente.
• Mecanismo de Aprendizado: Em vez de otimizar parâmetros, o AML realiza decomposição subdireta. O processo de aprendizado envolve encontrar uma "atomização" da álgebra que satisfaça as restrições de classificação: nenhum átomo discrimina exemplos positivos (exemplos pertencentes à classe verdadeira), enquanto pelo menos um átomo discrimina cada exemplo negativo.
• Algoritmo: O algoritmo Sparse Crossing constrói iterativamente essa atomização. Ele começa com o semilattice mais livre e impõe lotes de "duplas" (pares de um termo e um rótulo). Ele remove átomos que discriminam incorretamente exemplos positivos e adiciona átomos para discriminar exemplos negativos, generalizando para dados não vistos.
• Classificação: O artigo avalia duas estratégias de leitura:
  1. Menos Erros: Uma classificação algébrica direta baseada no número de átomos que falham em discriminar o exemplo.
  2. Leitura de Regressão Logística: Uma camada linear treinada no vetor de atomização (onde as entradas indicam se um átomo está abaixo do termo do exemplo). O artigo relata principalmente resultados usando essa leitura, pois produz consistentemente pontuações F1 mais altas.

Configuração Experimental

O estudo avalia o AML contra bases robustas com validação cruzada em duas modalidades:

• Classificação de Imagens: 12 conjuntos de dados (por exemplo, MNIST, CIFAR-10, MedMNIST) variando de 2 a 49 classes. As entradas são restritas a resoluções de 32x32 ou inferiores (exceto COIL-20 em 128x128) devido aos custos computacionais.
• Classificação Tabular: 29 conjuntos de dados com características categóricas e numéricas mistas (2–308 características).
• Regimes de Treinamento: Os experimentos são conduzidos em tamanhos de conjunto de treinamento de 50, 100, 200, 500, 1000 e 2000 exemplos.
• Bases:
  • Imagens: CNNs, MLPs, SVMs, XGBoost, LightGBM, Florestas Aleatórias.
  • Tabular: XGBoost, LightGBM, Florestas Aleatórias, MLPs, SVMs.
  • Todas as bases passam por validação cruzada de 5 dobras para seleção de hiperparâmetros. O AML usa hiperparâmetros fixos e nenhum conjunto de validação.

Contribuições Principais

1. Avaliação Empírica Sistemática: Uma comparação abrangente do AML contra bases supervisionadas padrão em 41 conjuntos de dados (12 de imagem, 29 tabulares) e tamanhos de treinamento variáveis (50–2000).
2. Desempenho em Regimes de Poucos Dados: Demonstração de que o AML, utilizando um viés indutivo algébrico genérico e não exigindo ajuste de hiperparâmetros, alcança desempenho competitivo ou superior em comparação com métodos state-of-the-art quando os dados são escassos.
3. Sucesso Agnóstico à Modalidade: Evidência de que um único framework de codificação algébrica pode lidar efetivamente com tipos de dados estruturalmente distintos (grades densas de pixels e tabelas de características heterogêneas) sem redesenho arquitetural.

Resultados

Classificação de Imagens

• Desempenho Agregado: Em todos os tamanhos de treinamento, o AML (com leitura de regressão logística) é o método de melhor desempenho em agregado, estatisticamente distinguível de todas as bases.
• Dados Baixos a Médios (50–1000 exemplos): O AML alcança a maior pontuação macro-F1 em uma pluralidade de conjuntos de dados na faixa de 200–1000 exemplos, superando CNNs e outras bases por uma margem significativa.
• Grandes Dados (2000 exemplos): As CNNs tornam-se competitivas com o AML, consistente com a expectativa de que modelos parametrizados exploram melhor vieses específicos da tarefa à medida que o volume de dados aumenta.
• Significância Estatística: Testes post-hoc confirmam que o AML supera significativamente CNNs, XGBoost, LightGBM, Florestas Aleatórias, SVMs e MLPs no domínio de imagens.

Classificação Tabular

• Desempenho Agregado: O XGBoost permanece o método mais forte no geral, superando estatisticamente o AML.
• Competitividade: O AML é comparável a outras bases tabulares fortes como LightGBM e Florestas Aleatórias. Não é estatisticamente distinguível desses métodos em agregado, embora seja distinguível do XGBoost.
• Regimes Específicos: O AML alcança o melhor resultado em uma pluralidade de conjuntos de dados no tamanho de treinamento de 1000 exemplos.
• Impacto da Leitura: Embora a leitura de regressão logística melhore o desempenho sobre a variante "menos erros", o modelo algébrico sozinho (menos erros) ainda alcança uma classificação média competitiva com várias bases (superando MLPs e SVMs em dados tabulares).

Significado e Alegações

O artigo postula que o aprendizado simbólico pode ser competitivo em tarefas supervisionadas realistas quando a estrutura simbólica é aprendida a partir de dados em vez de ser projetada manualmente. O significado dessas descobertas repousa em três pontos principais:

1. Eficiência em Regimes de Poucos Dados: A capacidade do AML de aprender sem um conjunto de validação retido permite que ele utilize cada exemplo rotulado para treinamento. Isso fornece uma vantagem distinta quando os dados são escassos, pois as bases padrão devem sacrificar dados para o ajuste de hiperparâmetros.
2. Viés Indutivo Fixo: O viés indutivo do AML é derivado da própria estrutura algébrica, não de hiperparâmetros ajustados nos dados. Isso permite que ele contorne o problema de selecionar arquiteturas e parâmetros de regularização a partir de dados limitados, um desafio que frequentemente impede métodos padrão em configurações de poucos dados.
3. Viabilidade da Decomposição Algébrica: Os resultados sugerem que a decomposição subdireta é um mecanismo de aprendizado viável. Embora o AML atualmente careça da extensa otimização e co-design de hardware do aprendizado profundo ou de árvores impulsionadas por gradiente, sua competitividade com uma única implementação não otimizada indica que a decomposição algébrica é uma direção promissora para o aprendizado, particularmente onde os dados são limitados e abordagens agnósticas à modalidade são desejadas.

Os autores concluem modestamente que, embora o AML seja atualmente competitivo, a escalabilidade para conjuntos de dados maiores, modalidades adicionais e tipos de tarefas diversos permanece uma questão empírica aberta que requer trabalho futuro, incluindo aceleração algorítmica e otimização de sistemas.