Educational usability Analysis of WEKA and Orange for Learning Data Mining: A Task-Based Comparative Study with Students Feedback

Resumo Técnico: Análise de Usabilidade Educacional de WEKA e Orange para o Ensino de Mineração de Dados

Problema
Ferramentas de mineração de dados são essenciais para o ensino acadêmico e análise prática, mas a seleção de softwares apropriados para cursos introdutórios continua sendo um desafio. Embora ferramentas como WEKA e Orange sejam amplamente utilizadas em instituições de ensino devido à sua natureza de código aberto e interfaces amigáveis, estudos comparativos anteriores focaram predominantemente em métricas técnicas, como eficiência algorítmica, precisão preditiva e desempenho computacional. Há uma carência de pesquisas que avaliem essas ferramentas especificamente sob a perspectiva da usabilidade educacional para alunos iniciantes. Este estudo aborda essa lacuna investigando qual ferramenta — WEKA ou Orange — proporciona um ambiente mais intuitivo e educacionalmente eficaz para estudantes que aprendem conceitos fundamentais de mineração de dados, incluindo pré-processamento, classificação e visualização.

Metodologia
A pesquisa empregou um estudo comparativo baseado em tarefas utilizando uma versão modificada do Conjunto de Dados Iris Flower (Iris Flower Dataset). Para simular problemas de qualidade de dados do mundo real, o conjunto de dados foi intencionalmente alterado para incluir valores ausentes e outliers (valores atípicos). O ambiente experimental utilizou o WEKA (Versão 3.8) e o Orange (Versão 3.35) com o algoritmo de classificação Naive Bayes.

O estudo seguiu um fluxo de trabalho experimental de quatro estágios:

1. Ingestão e Exploração de Dados: Avaliação da facilidade de carregar conjuntos de dados e compreender as estruturas iniciais dos dados.
2. Pré-processamento de Dados: Avaliação da acessibilidade dos mecanismos de limpeza, como o tratamento de valores ausentes e outliers.
3. Construção de Modelo: Análise do processo de configuração e execução de algoritmos de classificação.
4. Avaliação e Visualização: Revisão de como os resultados, matrizes de confusão e representações gráficas são apresentados.

Os critérios de avaliação basearam-se na teoria educacional, em vez de métricas de desempenho bruto. Especificamente, o estudo avaliou:

• Transparência de Interface e Navegação: O quão claramente o software comunica as próximas etapas do processo de mineração.
• Carga Cognitiva: Baseado na Teoria da Carga Cognitiva de Sweller, o estudo mediu se a interface minimizava o esforço mental desnecessário relacionado à mecânica do software, permitindo que os alunos se concentrassem nos conceitos.
• Feedback Visual e Clareza do Fluxo de Trabalho: A capacidade da ferramenta de ilustrar visualmente a progressão dos dados, desde a entrada bruta até a saída final.

Para validar estas observações técnicas, foi realizada uma sessão de feedback baseada em questionários com oito estudantes de graduação que possuíam exposição prévia a ambas as ferramentas. Os alunos foram divididos em dois grupos com base em sua velocidade de aprendizado (aprendizes rápidos e aqueles que requerem mais tempo) para garantir uma perspectiva diversificada sobre usabilidade.

Principais Resultados
A análise comparativa revelou diferenças distintas na forma como as duas ferramentas apoiam alunos iniciantes:

• Interface e Fluxo de Trabalho: O WEKA utiliza uma interface baseada em cartões e menus (ex: abas "Preprocess", "Classify") que apresenta dados estatísticos brutos imediatamente. Embora detalhado, esse layout denso em texto foi considerado capaz de criar uma carga cognitiva precoce, exigindo que os alunos interpretem estatísticas abstratas antes de compreender a forma física do conjunto de dados. Em contraste, o Orange emprega um canvas de fluxo de trabalho visual onde os usuários arrastam e soltam widgets (ex: "File", "Preprocess") em um espaço vazio. Essa abordagem permite que os alunos construam seu espaço de trabalho passo a passo, separando explicitamente o arquivo de dados das ações realizadas sobre ele.
• Pré-processamento: No WEKA, aplicar filtros exige navegar por diretórios de texto complexos e aninhados (ex: Preprocess -> filters -> Unsupervised -> attributes). O Orange simplifica isso usando uma caixa de diálogo no estilo checklist dentro de um widget conectado, tornando a sequência de modificação de dados explicitamente clara através de linhas de dados visuais.
• Modelagem e Avaliação: O WEKA apresenta resultados de classificação como um fluxo estático baseado em texto, contendo dados matemáticos detalhados (probabilidades, desvios padrão, matrizes de confusão). Embora profissional, esse formato foi descrito como esmagador para iniciantes que têm dificuldade em processar "paredes de texto". O Orange apresenta resultados em uma grade tabular limpa e classificável e visualiza todo o framework de teste (divisões de Treino/Teste, Validação Cruzada) como um diagrama de blocos, decompondo o ciclo de vida do aprendizado de máquina em etapas claras e independentes.
• Visualização: O Orange oferece superioridade de interatividade, permitindo que os alunos visualizem múltiplos tipos de gráficos simultaneamente e ajustem os eixos dinamicamente. Ele também permite a conexão direta de tabelas de correlação com gráficos de dispersão, mapeando visualmente coeficientes ao lado dos pontos de dados. A visualização do WEKA é funcional, mas menos interativa e exige a navegação por janelas separadas para diferentes visualizações.

Feedback e Avaliações dos Estudantes
O feedback dos estudantes (n=8) apoiou quantitativamente as observações qualitativas. Em uma escala de 5 pontos, o Orange superou consistentemente o WEKA em todos os critérios de usabilidade educacional:

• Amigabilidade para Iniciantes: Orange (4,75) vs. WEKA (3,00).
• Clareza do Fluxo de Trabalho: Orange (4,63) vs. WEKA (2,88).
• Compreensão do Processo de Mineração de Dados: Orange (4,50) vs. WEKA (3,38).
• Visualização: Orange (4,38) vs. WEKA (3,38).

Em termos de preferência, 7 de 8 estudantes selecionaram o Orange como "Mais Fácil de Aprender", "Melhor para Aprendizado em Sala de Aula" e por proporcionar uma "Melhor Compreensão da Mineração de Dados". Todos os 8 estudantes preferiram o Orange para suporte à visualização e ao pré-processamento.

Significância e Alegações
O artigo conclui que, embora tanto o WEKA quanto o Orange executem com sucesso tarefas fundamentais de mineração de dados, eles servem a papéis educacionais distintos. O estudo afirma que o Orange é mais adequado para o ensino introdutório de mineração de dados devido ao seu fluxo de trabalho visual, interface interativa e capacidade de reduzir a carga cognitiva para iniciantes. A natureza modular de arrastar e soltar do Orange ajuda os alunos a visualizar o processo de mineração de dados e a compreender a sequência de operações sem ficarem presos em hierarquias de menus complexas ou saídas de texto densas.

Por outro lado, o estudo reconhece que o WEKA permanece uma ferramenta confiável para o aprendizado de técnicas tradicionais de mineração de dados e é valioso para alunos avançados que exigem saídas estatísticas detalhadas e baseadas em texto. No entanto, para o objetivo específico de ensinar conceitos introdutórios a aprendizes novatos, o estudo sugere que a transparência da interface e a clareza do fluxo de trabalho do Orange o tornam a escolha superior para educadores que visam otimizar a experiência de aprendizagem. As descobertas fornecem orientação para professores e instituições na seleção de softwares que se alinhem às necessidades cognitivas dos alunos iniciantes.