What composition selection buys in heterogeneous ensembles, and why oracle bounds overstate it

No mundo do aprendizado de máquina, onde os computadores aprendem a reconhecer padrões e fazer previsões, existe uma estratégia comum chamada aprendizado de conjunto (ensemble learning). Imagine uma equipe de especialistas tentando resolver um quebra-cabeça difícil. Em vez de confiar em um único especialista, a equipe combina as respostas de muitos indivíduos diferentes para chegar a uma conclusão mais precisa. Esse método funciona porque os erros de uma pessoa são frequentemente corrigidos pela sabedoria do grupo. Às vezes, essas equipes são compostas por membros que utilizam o mesmo método de pensamento, como um grupo de estatísticos. Outras vezes, a equipe é mista, reunindo especialistas que utilizam ferramentas e abordagens inteiramente diferentes. Esse mix de métodos distintos é conhecido como um conjunto heterogêneo. A questão central para os pesquisadores tem sido, há muito tempo, como construir tal equipe da melhor forma quando os recursos são limitados. Se você tiver um orçamento para treinar trezentos modelos de computador, quantos deve gastar no primeiro tipo de especialista, quantos no segundo e quantos no terceiro? Encontrar o equilíbrio perfeito parece ser uma maneira lógica de extrair desempenho extra, e muitos pesquisadores passaram anos desenvolvendo algoritmos complexos para buscar esse mix ideal.

Um novo estudo de Muhammetalp Erdem, da Universidade de Trabzon, desafia a própria premissa dessa busca. O pesquisador propôs-se a testar se o esforço gasto na caça à proporção perfeita de diferentes tipos de modelos realmente traz algum benefício real. Para fazer isso, ele construiu um experimento massivo usando trinta conjuntos de dados públicos distintos, variando de registros médicos a dados financeiros, e executou os testes dez vezes em cada um para garantir que os resultados não fossem apenas uma casualidade. Ele fixou o número total de modelos de computador em trezentos e os dividiu entre três famílias distintas de algoritmos de aprendizado: florestas aleatórias (random forests), árvores extremamente aleatórias (extremely randomized trees) e sacos de vizinhos próximos (bagged nearest neighbors). Estas são ferramentas padrão e bem compreendidas no campo. O estudo comparou seis maneiras diferentes de decidir como dividir os trezentos modelos. Alguns métodos usaram uma regra simples e fixa, enquanto outros usaram buscas sofisticadas para encontrar a melhor combinação com base no seu desempenho em um conjunto de teste.

Os resultados foram claros e surpreendentes. O estudo confirmou que uma equipe com um mix fixo e igual de todos os três tipos de modelos teve um desempenho inferior a qualquer método que tentasse escolher um mix específico. Em média, simplesmente tentar selecionar um mix melhorou a precisão em quase sete décimos de um ponto percentual em comparação com uma divisão uniforme e aleatória. Isso provou que a composição da equipe importa. No entanto, a busca pela composição perfeita revelou-se um beco sem saída. Nenhum dos métodos de busca sofisticados, incluindo aqueles que tentavam suavizar erros ou fazer a média de muitos palpites diferentes, conseguiu superar uma estratégia muito mais simples: escolher a melhor família individual e preencher todo o orçamento com apenas aquele tipo de modelo. De fato, os métodos de busca mais complexos tiveram um desempenho estatisticamente igual ao de simplesmente escolher a melhor família única. Os pesquisadores descobriram que o esforço extra para encontrar um mix de diferentes modelos não proporcionou nenhum ganho mensurável de precisão.

O artigo vai além para explicar por que isso ocorre, revelando que o potencial percebido de melhoria era, em grande parte, uma ilusão criada pela forma como os pesquisadores medem o sucesso. Em muitos estudos, o resultado "possível de melhor" é calculado observando todos os mixes candidatos e escolhendo aquele que obteve a pontuação mais alta nos dados de teste. Isso é frequentemente chamado de limite de oráculo (oracle bound), representando um teto teórico que os métodos do mundo real deveriam tentar alcançar. Erdem mostrou que esse teto é artificialmente alto. Como os diferentes mixes de modelos são tão semelhantes entre si — diferindo por apenas alguns modelos em centenas — suas pontuações de desempenho são altamente correlacionadas e ruidosas. Quando você escolhe a pontuação máxima de um grande grupo de estimativas ruidosas e semelhantes, está quase garantido que escolherá um número que é maior do que o potencial real. O estudo introduziu uma forma mais honesta de medir esse potencial, dividindo os dados de teste ao meio: usando uma metade para escolher o melhor mix e a outra metade para ver como ele realmente performa. Quando este teste mais justo foi aplicado, o suposto "espaço para melhoria" desapareceu completamente. A vantagem aparente de encontrar um mix perfeito revelou-se inteiramente viés de seleção, um artefato estatístico em vez de uma oportunidade real.

O estudo também explorou se adicionar mais diversidade à equipe mudaria o resultado. Os pesquisadores adicionaram um quarto tipo de modelo, uma família linear, para ver se um grupo mais variado tornaria a busca por um mix mais proveitosa. Mesmo com essa diversidade adicionada, os resultados mantiveram-se firmes. Embora o potencial de diferença entre os mixes tenha se tornado ligeiramente maior, os métodos de busca complexos ainda não conseguiram superar a estratégia simples de escolher a melhor família única. De fato, conforme o número de possíveis mixes aumentava, a vantagem aparente de encontrar um mix perfeito crescia, mas a vantagem real e honesta permanecia negativa. Isso confirmou que o problema não era a falta de diversidade nos modelos, mas a dificuldade fundamental de distinguir entre opções muito semelhantes quando os dados são ruidosos. O cenário de desempenho não é um pico agudo onde um mix específico se destaca claramente; é um planalto amplo e plano onde muitos mixes diferentes performam quase identicamente, e as pequenas diferenças entre eles são facilmente abafadas pelo ruído aleatório.

Para qualquer pessoa que esteja construindo esses modelos de computador, o conselho prático é direto. Não perca tempo ou esforço de engenharia tentando calcular a proporção perfeita de diferentes tipos de modelos. Em vez disso, escolha a única melhor família de modelos disponível e use todo o seu orçamento para construir uma grande equipe composta apenas por esse tipo. A única escolha que realmente importa é evitar um mix igual e padrão de tudo, que é, de forma confiável, a pior opção. O estudo sugere que o campo do aprendizado de conjunto tem perseguido um fantasma. A crença de que uma busca complexa pelo composto ideal é necessária baseia-se em um erro de medição que superestima os ganhos potenciais. Ao utilizar um método de teste mais rigoroso, a pesquisa mostra que o sinal de um mix melhor é frequentemente fraco demais para ser encontrado acima do ruído dos dados. O caminho mais eficaz não é buscar uma combinação complexa, mas sim selecionar a ferramenta mais forte e utilizá-la plenamente.