Resumo Técnico: Estrutura de Solução de Aprendizado de Máquina Pública para Iniciantes

Declaração do Problema

O aprendizado de máquina (ML) é uma ferramenta crítica para a descoberta de conhecimento em diversos setores, como finanças, saúde e marketing. No entanto, uma escassez significativa de especialistas em ML cria um gargalo para profissionais de negócios que buscam alavancar dados. O processo de consultar especialistas é frequentemente demorado e, mesmo para os especialistas, identificar a solução ideal para requisitos específicos pode ser moroso.

As ferramentas existentes para auxiliar não especialistas dividem-se em três categorias primárias, cada uma com limitações:

1. Sistemas de AutoML: Embora totalmente automatizados, frequentemente sofrem com execução lenta, cobertura de tarefas limitada (focando principalmente em classificação/regressão), critérios de avaliação estreitos (baseando-se em métricas únicas como acurácia), falta de transparência (natureza de caixa-preta) e flexibilidade limitada.
2. Cheat Sheets (Folhas de Consulta): Fornecem diretrizes estáticas baseadas em árvores (ex: da Microsoft ou Scikit-learn), mas carecem de escalabilidade, flexibilidade e orientação detalhada sobre etapas de pré-processamento.
3. Sistemas de Critérios de Seleção: Oferecem seleção interativa, mas são frequentemente limitados à recomendação de algoritmos únicos, dependem do conhecimento de um pequeno número de autores e carecem de mecanismos para processar dados de desempenho narrativos provenientes de pesquisas.

O problema central abordado é a necessidade de um sistema que preencha a lacuna entre o conhecimento do especialista e os usuários não especialistas, fornecendo uma solução transparente, estruturada e semiautomática que vá além da recomendação de um algoritmo único para sugerir pipelines completos de ML.

Metodologia

Os autores propõem uma plataforma inovadora, "I Solve My ML Problem" (disponível em isolvemymlproblem.org), que integra critérios de seleção definidos por especialistas com análise baseada em dados e transferência de aprendizado (transfer learning). O sistema opera através dos seguintes componentes técnicos:

1. Ingestão e Caracterização de Dados

Os usuários conectam-se às suas próprias bases de dados MySQL ou fazem o upload de arquivos Excel. O sistema extrai automaticamente as características dos dados, incluindo:

• Variância de atributos e distribuição de valores.
• Presença de valores ausentes.
• Número de atributos (features) e tamanho do conjunto de dados.
• Correlações de atributos.
• Desbalanceamento de classes.
  Com base nessas características, o sistema infere automaticamente o tipo de aprendizado (ex: supervisionado vs. não supervisionado, classificação vs. regressão).

2. Compreensão do Problema via Transfer Learning

O sistema aceita descrições textuais do problema de ML do usuário. Ele utiliza o Sentence-BERT (uma rede neural profunda pré-treinada) para realizar o emparelhamento de similaridade semântica entre a descrição do problema do usuário e um portfólio de cadeias de processamento (pipelines) existentes. Isso permite que o sistema identifique uma estrutura de pipeline adequada sem exigir o retreinamento manual dos pesos da rede.

3. Seleção e Classificação de Algoritmos

O mecanismo central de seleção baseia-se em uma matriz de critérios de seleção populada por especialistas em ML através de uma plataforma complementar (icontributetoml.org).

• Ponderação: Especialistas de domínio atribuem pesos aos critérios (ex: acurácia, interpretabilidade, tempo de treinamento) e às características dos dados (ex: dados desbalanceados, alta dimensionalidade).
• Pontuação: O sistema calcula os pesos dos algoritmos usando um produto cartesiano (produto escalar) do vetor de pesos do especialista e os valores de critério do algoritmo da matriz de base de conhecimento.
• Medidas Alternativas: A estrutura também suporta distância euclidiana e similaridade de cosseno para classificação, bem como uma abordagem Naive Bayes (atualmente teórica) que trata as respostas dos especialistas como dados de treinamento para calcular probabilidades posteriores.
• Saída: Os algoritmos são classificados em ordem decrescente de relevância.

4. Construção e Refinamento de Pipeline

O sistema gera um pipeline de ML completo, não apenas um algoritmo único.

• Refinamento Baseado em Regras: Um motor de lógica de primeira ordem (implementado usando o solver Z3 da Microsoft em Python) aplica regras para refinar o pipeline selecionado. Por exemplo, se o algoritmo selecionado for ID3 (uma árvore de decisão) e os dados forem contínuos, o sistema recomenda automaticamente uma etapa de discretização.
• Visualização: O pipeline final é representado usando Notação de Modelo de Processo de Negócio (BPMN), fornecendo uma visualização clara e estruturada do fluxo de trabalho.
• Execução: Atualmente, o sistema exporta o pipeline como uma string (código/script) para que o usuário o execute independentemente, uma vez que a execução completa de todos os scripts de algoritmos referenciados ainda não foi implementada.

5. Gestão da Base de Conhecimento

O sistema é projetado para ser incremental e aberto. Uma plataforma complementar permite que especialistas em ML contribuam com novos algoritmos, critérios de seleção e conhecimento comportamental. Um mecanismo de sincronização garante que a plataforma de solução permaneça atualizada com o conhecimento mais recente dos especialistas.

Principais Contribuições

• Recomendação de Pipeline Semiautomática: Diferente das ferramentas existentes que recomendam algoritmos únicos, esta estrutura sugere um pipeline de ML completo e personalizado, incluindo etapas de pré-processamento, engenharia de atributos e modelagem.
• Integração de Transfer Learning e Lógica: O sistema combina de forma única a similaridade semântica (via Sentence-BERT) para o mapeamento de problemas com a lógica de primeira ordem para o refinamento de pipeline baseado em regras.
• Transparência e Controle: O processo de decisão é explícito. Os usuários podem visualizar a classificação dos algoritmos com base em critérios específicos e manter o controle para ajustar pesos ou modificar manualmente o pipeline.
• Arquitetura de Dupla Plataforma: A separação das plataformas "Solver" (para novatos) e "Contributor" (para especialistas) permite o enriquecimento contínuo e comunitário da base de conhecimento.
• Acessibilidade Pública: É apresentado como a primeira estrutura online gratuita e acessível publicamente que operacionaliza sistematicamente o conhecimento especializado para a resolução estruturada de problemas de ML.

Resultados

Os autores relatam resultados de validação baseados no processo de seleção:

• Acurácia de Seleção de Algoritmo: O sistema foi testado contra seis algoritmos (Naive Bayes, KNN, Rede Bayesiana, Random Forest, Rede Neural e SVM). Quando os valores de critérios de seleção fornecidos pelos especialistas de domínio coincidiram com os dos especialistas em ML na base de conhecimento, o sistema recomendou corretamente o algoritmo pretendido 100% das vezes em todas as medidas de similaridade testadas (produto escalar, distância euclidiana e distância de cosseno).
• Geração de Pipeline: O sistema gerou com sucesso descrições de pipeline estruturadas (BPMN) adaptadas a contextos de problemas específicos.
• Limitações: Os autores reconhecem que o desempenho atual do refinamento de pipeline e da seleção de componentes é limitado pelo tamanho reduzido da base de conhecimento de especialistas existente. O sistema ainda não executa os pipelines diretamente.

Significância e Alegações

O artigo alega que este trabalho representa um avanço significativo para tornar o aprendizado de máquina acessível a não especialistas. Ao combinar as forças das cheat sheets (diretrizes de especialistas) e dos sistemas de critérios de seleção (suporte à decisão interativo), a estrutura oferece uma alternativa estruturada e transparente aos sistemas de AutoML de "caixa-preta".

Os autores enfatizam que sua abordagem:

• Fornece respostas instantâneas em comparação com a execução lenta de processos de otimização pesados do AutoML.
• Prioriza a explicabilidade, permitindo que os usuários entendam por que um algoritmo ou pipeline específico foi escolhido.
• É escalável, permitindo a integração perfeita de novos algoritmos e critérios sem necessidade de novo deploy.
• Aborda a escassez de especialistas ao operacionalizar o conhecimento coletivo dos especialistas em uma ferramenta utilizável para profissionais de negócios.

O artigo conclui delineando trabalhos futuros, que incluem a implementação do sistema de AutoML baseado em otimização proposto, o enriquecimento adicional da base de conhecimento, a habilitação da execução direta de pipelines e a realização de testes mais amplos com especialistas de domínio.