Optimal or Greedy Decision Trees? Revisiting their Objectives, Tuning, and Performance
Este estudo experimental de grande escala resolve evidências conflitantes sobre árvores de decisão ótimas ao demonstrar sua superioridade em otimizar diretamente os objetivos pretendidos e produzir modelos menores e mais precisos, ao mesmo tempo em que refuta hipóteses de que suas vantagens diminuem com mais dados ou de que são mais propensas ao sobreajuste.
Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo
Imagine que você esteja tentando ensinar um computador a tomar decisões, como um médico diagnosticando um paciente ou um banco decidindo sobre um empréstimo. A ferramenta que você escolhe é frequentemente uma "árvore de decisão". Pense nisso como um fluxograma gigante: "Se o paciente tiver febre, vá para a esquerda; se não, vá para a direita." Eventualmente, você chega a uma folha na parte inferior que fornece a resposta. Essas árvores são famosas porque são fáceis de ler e entender para os humanos, o que é crucial quando precisamos saber por que uma máquina fez uma escolha.
Por décadas, a maneira padrão de construir essas árvores tem sido "gananciosa" (greedy). Imagine que você está escalando uma montanha em um nevoeiro espesso. Um escalador ganancioso apenas olha para o passo imediatamente à sua frente e segue o caminho mais íngreme para cima, esperando que isso o leve ao pico. Eles não olham adiante para ver se esse caminho íngreme leva a um beco sem saída mais tarde. Isso é rápido e geralmente leva você a uma altura considerável. No entanto, existe uma abordagem mais ambiciosa chamada abordagem "ótima" de árvores de decisão. Em vez de apenas olhar um passo à frente, este método tenta mapear a montanha inteira de uma só vez para encontrar o caminho absolutamente melhor para o topo. É como ter um mapa de satélite enquanto todos os outros estão tropeçando no nevoeiro. A grande questão tem sido: este método de mapeamento lento é realmente melhor do que a escalada rápida e nebulosa, ou é apenas uma perda de tempo?
Este artigo, escrito por pesquisadores da Universidade Tecnológica de Delft, mergulha fundo nesse debate. Eles realizaram o maior experimento de seu tipo, testando esses dois métodos em 109 conjuntos de dados do mundo real e milhares de outros sintéticos. Suas descobertas são um pouco de reviravolta para o mundo do aprendizado de máquina. Eles descobriram que o método "ótimo" é, de fato, superior, mas apenas se você jogar pelas regras certas.
Primeiro, eles descobriram que as árvores "ótimas" são incrivelmente flexíveis. Enquanto o método ganancioso está preso ao uso de uma regra específica e rígida (como verificar a "impureza de Gini", um termo matemático sofisticado para desordem) para decidir qual passo tomar, o método ótimo pode visar diretamente o objetivo: a precisão pura. É como se o escalador ganancioso fosse forçado a apenas procurar pela rocha mais íngreme, enquanto o escalador ótimo pode simplesmente procurar pelo ponto mais alto, não importa como seja o terreno. O artigo mostra que, quando você permite que o método ótimo vise diretamente a precisão, ele constrói árvores que são tanto menores quanto mais precisas do que as gananciosas.
No entanto, os pesquisadores também desmistificaram dois mitos populares. Um mito era que, conforme você fornece mais dados ao computador, o método ganancioso alcança o nível do outro e a diferença desaparece. O artigo mostra o contrário: com mais dados, o método ganancioso na verdade fica ainda mais para trás, construindo árvores massivas e bagunçadas que são difíceis de ler, enquanto o método ótimo permanece compacto e afiado. O segundo mito era que as árvores ótimas sofrem de "overfitting" (sobreajuste) — o que significa que elas memorizam os dados de treinamento muito bem e falham em novos dados. O estudo descobriu que, quando ajustadas corretamente, as árvores ótimas são, na verdade, menos propensas ao overfitting do que as gananciosas.
Mas há uma ressalva. O método ótimo é computacionalmente pesado. É como tentar resolver um quebra-cabeça enorme onde você verifica cada combinação de peças; leva muito tempo e energia. O artigo confirma que, embora essas árvores possam lidar com grandes conjuntos de dados (até 100.000 instâncias), elas têm dificuldades se o número de características (as peças do quebra-cabeça) for muito alto. Assim, os pesquisadores concluem que as árvores de decisão ótimas são a melhor escolha quando você precisa de um modelo pequeno, altamente preciso e fácil de entender, especialmente se seus dados forem ruidosos ou complexos. Mas, se você só precisa de uma resposta rápida e não se importa com o tamanho da árvore, o método ganancioso tradicional ainda é um amigo confiável e rápido. A lição principal? Se você quer o melhor dos dois mundos, deve ajustar sua árvore ótima cuidadosamente, ou ela não fará jus ao seu nome.
Afogado em artigos na sua área?
Receba digests diários dos artigos mais recentes que correspondam às suas palavras-chave de pesquisa — com resumos técnicos, no seu idioma.