Multi-Level Support Analysis in Association Rule Mining across Large-Scale Transactional Data

Resumo Técnico: Análise de Suporte Multinível em Mineração de Regras de Associação em Dados Transacionais de Grande Escala

Declaração do Problema
A Mineração de Regras de Associação (ARM) é um pilar da mineração de dados para descobrir padrões ocultos de coocorrência em dados transacionais, amplamente utilizada em análises de varejo e sistemas de recomendação. Embora o algoritmo Apriori permaneça um padrão devido à sua interpretabilidade e simplicidade lógica, ele enfrenta desafios significativos de escalabilidade quando aplicado a conjuntos de dados de grande escala ou quando os limiares de suporte mínimo são definidos de forma muito baixa. O problema central abordado é a falta de uma compreensão sistemática de como variações nos tamanhos de conjuntos de dados (variando de 100.000 a 500.000 transações) e limiares absolutos de suporte mínimo interagem para afetar as compensações entre diversidade de regras, viabilidade computacional (tempo de execução e memória) e a interpretabilidade dos padrões resultantes. Especificamente, o estudo investiga como a redução dos limiares de suporte em grandes conjuntos de dados leva ao crescimento exponencial de conjuntos de itens candidatos, potencialmente tornando o processo computacionalmente proibitivo e gerando um vasto número de regras que podem variar em qualidade.

Metodologia
A pesquisa empregou um framework experimental controlado usando cinco conjuntos de dados transacionais sintéticos gerados para simular ambientes realistas de supermercado.

• Geração de Dados: Cinco conjuntos de dados foram criados com contagens de transações de 100.000, 200.000, 300.000, 400.000 e 500.000. Cada conjunto de dados continha itens extraídos de um conjunto fixo de 26 categorias de produtos (A–Z). As transações foram simuladas com subconjuntos aleatórios de 1 a 10 itens para mimetizar o comportamento do consumidor.
• Configuração do Algoritmo: O algoritmo Apriori foi executado em todos os conjuntos de dados. O limiar de confiança mínima foi mantido constante em 25% (0,25) em todas as execuções. O limiar de suporte mínimo foi variado utilizando cinco valores absolutos: 5.000, 10.000, 15.000, 20.000 e 25.000.
• Pré-processamento: Os dados transacionais brutos foram convertidos em um formato de matriz binária de codificação one-hot usando o TransactionEncoder da biblioteca mlxtend do Python para facilitar o processamento eficiente.
• Execução e Armazenamento: O algoritmo foi executado sob diferentes combinações de parâmetros. As saídas, incluindo conjuntos de itens frequentes e regras de associação, foram armazenadas em arquivos de texto estruturados para garantir a reprodutibilidade.
• Análise e Visualização: O desempenho foi avaliado usando múltiplas métricas: a contagem de conjuntos de itens frequentes, o número de regras de associação, o comprimento máximo do itemset, a confiança média, o lift, o tempo de execução e o uso de memória. Essas métricas foram visualizadas usando gráficos de linha, gráficos de barras e mapas de calor para identificar tendências e correlações.

Principais Contribuições

• Análise Sistemática de Sensibilidade de Parâmetros: O estudo fornece um framework reprodutível para analisar a sensibilidade do algoritmo Apriori aos limiares de suporte através de variados escalas de dados. Ele vai além de simples comparações de tempo de execução para avaliar a "riqueza" e a "interpretabilidade" do output.
• Quantificação de Compensações (Trade-offs): A pesquisa demonstra empiricamente a relação não linear entre o tamanho do conjunto de dados, limiares de suporte e custo computacional. Destaca que, embora limiares mais baixos aumentem o volume de padrões descobertos, eles acarretam aumentos exponenciais no tempo de execução e na memória, particularmente em conjuntos de dados que excedem 300.000 transações.
• Framework de Análise Visual: O artigo introduz uma abordagem estruturada para visualizar resultados de ARM, utilizando mapas de calor e box plots para revelar padrões latentes (como a correlação entre tempo de execução e contagem de regras) que não são imediatamente aparentes em dados tabulares.
• Insights de Correlação de Métricas: O estudo identifica uma correlação positiva quase perfeita (0,99) entre o tempo de execução e o número de regras geradas, e uma correlação perfeita (1,00) entre a confiança média e o lift médio sob as condições experimentais específicas, sugerindo redundância nessas métricas para avaliação de qualidade neste contexto.

Resultos

• Volume de Regras vs. Suporte: Limiares de suporte mais baixos (ex: 5.000) geraram números significativamente maiores de conjuntos de itens frequentes e regras de associação em comparação com limiares mais altos. No entanto, essa "explosão" na contagem de regras foi mais pronunciada nos conjuntos de dados de 200k e 500k.
• Custo Computacional: À medida que os limiares de suporte diminuíam, o tempo de execução e o uso de memória aumentavam exponencialmente. O estudo observou que, para os maiores conjuntos de dados (≥300.000 transações), limiares muito baixos eram computacionalmente ingovernáveis, levando os pesquisadores a omitir os limiares mais baixos para os maiores conjuntos de dados para manter o rigor metodológico.
• Qualidade e Estabilidade das Regras: Apesar da enorme variação no número de regras geradas em diferentes limiares, a confiança média das regras permaneceu relativamente estável (variando entre 0,32 e 0,34) para as configurações que produziram regras. Isso sugere que, embora limiares mais baixos aumentem a quantidade, eles não necessariamente degradam a força preditiva média das regras geradas.
• Comprimento do Itemset: Conjuntos de itens mais longos (comprimento 3 ou mais) foram escassos e encontrados primariamente sob condições específicas (ex: o conjunto de dados de 500k com suporte de 15.000). A maioria das configurações resultou apenas em conjuntos de comprimento 1 ou 2.
• Distribuição de Lift: No maior conjunto de dados (500k), as regras geradas com limiares de suporte mais altos exibiram valores de Lift mais elevados, indicando que pares de itens mais frequentes em grandes conjuntos de dados estavam mais fortemente ligados.

Significância e Alegações
O artigo afirma oferecer um "framework reprodutível e escalável" para analisar a sensibilidade do suporte em ARM de grande escala. Sua principal significância reside em fornecer orientação prática para analistas e profissionais sobre a seleção de valores de limiar que equilibram profundidade algorítmica com eficiência computacional. O estudo afirma que, embora o Apriori possa ser menos eficiente que alternativas modernas como o FP-Growth em termos de velocidade bruta, sua transparência e interpretabilidade o tornam uma ferramenta de diagnóstico valiosa para entender a dinâmica de formação de regras. A pesquisa enfatiza que a seleção de parâmetros não é uma decisão de "tamanho único", mas deve ser dependente do contexto, sendo fortemente influenciada pelo tamanho do conjunto de dados. Ao demonstrar como visualizar e estruturar esses outputs, o artigo visa aumentar a interpretabilidade e a usabilidade dos pipelines de ARM em ambientes de alto volume, como varejo e e-commerce, sem alegar substituir algoritmos mais eficientes para requisitos de velocidade em escala de produção.