Confidence intervals for the random forest generalization error

No mundo da ciência de dados moderna, os computadores são frequentemente solicitados a fazer previsões sobre o futuro com base em padrões encontrados no passado. Seja prevendo o preço de uma casa, diagnosticando uma condição médica ou adivinhando se um cliente deixará de usar um serviço, esses sistemas dependem de modelos complexos treinados em grandes conjuntos de informações. Um desafio central para qualquer pessoa que utiliza essas ferramentas é saber quanta confiança depositar em uma previsão. O fato de um modelo ter um bom desempenho nos dados em que foi treinado não garante que ele funcionará bem em novas situações não observadas. Para medir essa confiabilidade, os cientistas tradicionalmente dividiam seus dados em dois grupos: um para ensinar o modelo e outro para testá-lo. Embora isso funcione, é um processo lento e caro que exige a divisão dos dados pela metade e, muitas vezes, o retreinamento do modelo várias vezes para obter uma visão clara de sua precisão.

Um tipo específico de modelo conhecido como floresta aleatória (random forest) oferece há muito tempo um atalho inteligente para estimar o quão bem ele irá performar. Imagine uma floresta onde cada árvore é um tomador de decisão treinado em uma versão ligeiramente diferente dos dados. Devendo à maneira como essas árvores são cultivadas, cada árvore individual ignora uma pequena porção aleatória dos dados de treinamento. Isso significa que, para cada peça de informação no conjunto de dados, existe um grupo de árvores que nunca a viu durante o treinamento. Essas árvores podem então ser solicitadas a prever essa peça específica de informação, fornecendo um teste interno de precisão sem a necessidade de dividir os dados ou executar uma nova simulação. Este método, conhecido como estimativa out-of-bag, tem sido uma ferramenta padrão por décadas, oferecendo uma maneira rápida, quase gratuita, de obter um único número representando o provável erro do modelo. No entanto, durante muito tempo, este método forneceu apenas uma estimativa pontual, deixando os usuários sem uma sensação clara da amplitude de incerteza que envolve esse número.

Em um artigo publicado no final de 2021, o pesquisador Paulo C. Marques F., do Insper (Instituto de Ensino e Pesquisa) no Brasil, propôs uma forma de transformar esse número único em uma amplitude completa de confiança. O objetivo era utilizar os subprodutos existentes do processo de treinamento da floresta aleatória para construir um intervalo de confiança — uma amplitude estatística que indica onde a verdadeira taxa de erro provavelmente cairá — sem o pesado custo computacional de dividir dados ou retreinar modelos. A abordagem do pesquisador trata os dados de treinamento, juntamente com o registro de quais árvores ignoraram quais pontos de dados e o que essas árvores previram, como um pacote completo. Ao reamostrar repetidamente este pacote através de uma técnica estatística específica chamada bootstrapping, o método gera uma distribuição de possíveis taxas de erro. Isso permite a construção de um intervalo de confiança que reflete a incerteza do desempenho do modelo, tudo isso utilizando os mesmos dados que treinaram o modelo em primeiro lugar.

O artigo demonstra que este método não é apenas computacionalmente eficiente, mas também estatisticamente sólido. Por meio de extensas simulações computacionais usando tanto tarefas de regressão, onde o objetivo é prever um número contínuo, quanto tarefas de classificação, onde o objetivo é classificar itens em categorias, o pesquisador testou a frequência com que esses novos intervalos de confiança realmente capturavam a verdadeira taxa de erro. Em um exemplo de regressão envolvendo uma função matemática complexa com dez variáveis de entrada, e um exemplo de classificação envolvendo vinte variáveis, as simulações mostraram que os intervalos performaram exatamente como pretendido. Quando o pesquisador solicitou um nível de confiança de 95 por cento, o erro real caiu dentro da faixa calculada aproximadamente 95 por cento das vezes ao longo de milhares de tentativas simuladas. Além disso, a largura desses intervalos diminuiu a uma taxa previsível à medida que a quantidade de dados de treinamento aumentava, confirmando que o método se torna mais preciso com conjuntos de dados maiores.

Para provar que o método funciona em problemas do mundo real, o estudo aplicou a técnica a quatro conjuntos de dados distintos. O primeiro foi uma coleção clássica de dados sobre a eficiência de combustível de carros, onde o modelo tinha que prever milhas por galão com base nas características do veículo. O segundo envolveu um enorme conjunto de dados de e-mails para distinguir mensagens legítimas de spam. O terceiro foi um registro detalhado de vendas de casas em Ames, Iowa, usado para prever preços de venda, e o quarto rastreou o comportamento de clientes de uma empresa de telecomunicações para identificar aqueles propensos a cancelar seu serviço. Para cada conjunto de dados, o pesquisador calculou intervalos de confiança em vários níveis de certeza. Para os dados de habitação, por exemplo, o intervalo de confiança de 95 por cento para o erro de previsão variou de aproximadamente vinte e três mil dólares a vinte e sete mil dólares. Para a tarefa de detecção de spam, o intervalo para a taxa de erro foi uma faixa estreita entre aproximadamente 4,1 por cento e 5,4 por cento. Esses resultados mostraram que o método pode fornecer limites significativos e interpretáveis de erro para diversas aplicações práticas.

Uma vantagem significativa desta abordagem é sua velocidade e simplicidade. Como ela se baseia nos dados já gerados durante o treinamento inicial da floresta aleatória, evita o processo laborioso de dividir dados repetidamente e retreinar modelos. O pesquisador testou o tempo de execução do procedimento em um computador portátil padrão e descobriu que, mesmo para o maior conjunto de dados contendo mais de quatro mil e-mails, todo o processo de geração dos intervalos de confiança levou pouco mais de um segundo. Essa eficiência torna o método acessível para o uso cotidiano, permitindo que os cientistas de dados quantifiquem a confiabilidade de seus modelos com o mínimo de esforço adicional. O trabalho também destaca uma propriedade única do método: como ele é baseado na distribuição dos próprios erros, pode facilmente traduzir os resultados para as unidades naturais do problema, como dólares para preços de casas ou milhas por galão para carros, tornando a incerteza fácil de entender para não especialistas.

O artigo conclui observando que o código para realizar esses cálculos está disponível gratuitamente como uma biblioteca de código aberto, permitindo que outros apliquem a técnica imediatamente. Ao transformar os subprodutos ocultos de um processo de treinamento padrão em uma medida robusta de incerteza, este trabalho oferece um caminho direto para compreender os limites da generalização de um modelo. Ele confirma que, com as ferramentas estatísticas certas, os intervalos de confiança para o desempenho de uma floresta aleatória podem ser derivados diretamente dos dados de treinamento, oferecendo uma maneira confiável e de baixo custo de avaliar o quão bem um modelo preditivo resistirá no mundo real.