RocketStack: Level-aware Deep Recursive Ensemble Learning Architecture

O RocketStack é uma arquitetura de ensemble de aprendizado profundo recursivo e consciente de níveis que, ao combinar fusão de recursos, poda regularizada por perturbação gaussiana e compressão periódica, alcança ganhos de precisão e estabilidade em até dez níveis de empilhamento com crescimento computacional sublinear.

O essencial

Imagine que você está tentando prever o futuro: se um cliente vai cancelar um serviço, se uma máquina vai quebrar ou se um paciente tem uma doença. Para fazer isso com precisão, os cientistas de dados usam uma técnica chamada "Ensemble Learning" (Aprendizado de Conjunto). Pense nisso como um conselho de especialistas: em vez de confiar na opinião de uma única pessoa, você reúne 20, 30 ou mais especialistas, pede a opinião de cada um e tira uma média. Geralmente, o grupo acerta mais do que qualquer indivíduo sozinho.

O problema é que, na maioria das vezes, esse conselho é muito simples. Eles se reúnem uma vez, dão a opinião e pronto. Mas o que acontece se fizermos uma "reunião dentro de uma reunião"? E se os especialistas se reunirem, discutirem, descartarem os que erraram muito e depois se reunirem de novo com os melhores?

É aqui que entra o RocketStack.

O Que é o RocketStack?

O RocketStack é uma nova arquitetura de inteligência artificial que permite criar camadas profundas de conselhos. Em vez de apenas uma rodada de discussão, o sistema vai até 10 rodadas (ou "níveis").

A ideia é genial, mas tem um grande risco: o caos.
Se você deixar o conselho se reunir 10 vezes sem regras, a conversa fica confusa, as informações se repetem (redundância) e o processo demora uma eternidade para terminar. É como tentar organizar uma festa com 1.000 pessoas onde ninguém sabe quem já falou e o que já foi dito.

O RocketStack resolve isso com três "regras de ouro" criativas:

1. O Grande Cortador (Poda Dinâmica)

Imagine que a cada rodada de reunião, o líder olha quem errou mais nas previsões anteriores.

• A Regra: Se um especialista errou muito, ele é demitido (poda).
• O Truque Criativo: O RocketStack não é um líder rígido. Às vezes, ele adiciona um pouco de "ruído" (como se fosse um pouco de café ou uma brincadeira) nas notas de desempenho. Isso impede que o sistema demita um especialista apenas porque ele teve um dia ruim por acaso. Isso mantém a diversidade do grupo, garantindo que ideias diferentes sobrevivam para as próximas rodadas. É como dar uma segunda chance para quem quase acertou, mas não foi perfeito.

2. O Filtro de Memória (Compressão de Recursos)

A cada rodada, os especialistas geram novas informações. Se não fizermos nada, a pilha de papéis com anotações cresce infinitamente. O computador fica lento e "esquece" o que é importante.
O RocketStack usa três tipos de filtros inteligentes para limpar essa pilha:

• SFE (Simples, Rápido e Eficiente): Um filtro que pergunta: "Essa informação é realmente nova e útil, ou é só repetição?"
• Autoencoders (O Resumidor): Uma técnica que tenta reescrever a história inteira em uma versão muito mais curta, mantendo apenas o essencial.
• Atenção (O Foco): Um mecanismo que diz: "Olhe apenas para as 25% das informações mais importantes e ignore o resto."

A Grande Descoberta: O papel descobriu que fazer esse filtro a cada rodada (sempre limpar a mesa) é ruim. É melhor deixar as ideias se acumularem um pouco e só fazer a grande limpeza em momentos específicos (nas rodadas 3, 6 e 9). Isso permite que o grupo "pense" mais antes de jogar fora as informações.

3. A Torre de Observação (Stack-of-Stacking)

No final das 10 rodadas, o RocketStack não apenas pega a última opinião. Ele pega todas as versões resumidas de todas as rodadas e as mistura em uma "super opinião final". É como se o conselho tivesse um diário completo de todas as discussões passadas para tomar a decisão final.

Por Que Isso é Importante?

O estudo testou essa ideia em 33 problemas diferentes (desde prever falhas em placas de aço até diagnosticar doenças).

• Resultado: O RocketStack, mesmo sem ser "ajustado" com supercomputadores para encontrar os parâmetros perfeitos, conseguiu bater os modelos mais famosos e complexos do mundo (como Deep Forest e TabNet).
• A Lição: Você não precisa de especialistas "perfeitos" desde o início. O sistema é capaz de aprender e melhorar sozinho à medida que as camadas avançam, desde que você tenha as regras certas de quem fica e quem vai embora.

Analogia Final: O Treinamento de um Time de Futebol

Imagine que você quer criar o melhor time de futebol do mundo:

1. Método Antigo: Você contrata 20 jogadores, joga um amistoso, vê quem marcou gol e contrata apenas esses 5 para o jogo final.
2. RocketStack: Você contrata 20 jogadores.
   • Rodada 1: Eles jogam. Você descarta os 5 piores, mas mantém os 15 restantes.
   • Rodada 2: Os 15 jogam de novo. Você mistura as táticas antigas com as novas. Você descarta mais 5, mas usa um "sorteio" para não demitir um jogador que teve um dia ruim, mas é talentoso.
   • Rodada 3, 6 e 9: Você faz uma "limpeza de inventário". Reescreve as táticas para que sejam mais simples e focadas, jogando fora as ideias que não funcionam.
   • Final: Você tem um time de elite, treinado em 10 camadas de profundidade, que sabe exatamente como jogar porque passou por todas as fases de eliminação e refinamento.

Em resumo: O RocketStack é uma máquina de refinar inteligência artificial que sabe quando cortar o excesso, quando manter a diversidade e quando limpar a bagunça, permitindo que a IA aprenda muito mais profundamente do que nunca foi possível antes, sem ficar lenta ou confusa.

Resumo técnico

1. O Problema

O ensemble learning (aprendizado de conjunto), especificamente a técnica de stacking (empilhamento), é uma pedra angular da aprendizagem de máquina para dados tabulares, superando frequentemente redes neurais profundas. No entanto, a adoção de stacking profundo (múltiplos níveis recursivos) é limitada na prática devido a três barreiras principais:

• Acúmulo de Características (Feature Accumulation): À medida que as previsões dos modelos base são concatenadas em níveis superiores, a dimensionalidade dos dados explode, criando espaços de características inflados que degradam a generalização.
• Custo Computacional: O treinamento e a inferência tornam-se proibitivamente caros à medida que a profundidade aumenta, especialmente sem mecanismos de poda coordenada.
• Sobreajuste (Overfitting): A aplicação recursiva de aprendizes não lineares em conjuntos de dados pequenos ou com validação cruzada mal integrada aumenta o risco de sobreajuste.

A maioria das arquiteturas atuais limita-se a 1 ou 2 camadas meta, falhando em explorar o potencial hierárquico do aprendizado profundo de representações em dados tabulares.

2. Metodologia: A Arquitetura RocketStack

O RocketStack é uma arquitetura recursiva modular projetada para escalar o stacking até 10 níveis, integrando controle de profundidade, poda dinâmica e compressão de características.

Componentes Principais:

• Fusão de Níveis (Level-aware Fusion):
  • No Nível 1, as probabilidades Out-of-Fold (OOF) dos aprendizes base são fundidas com as características originais.
  • Em níveis subsequentes, as novas pontuações OOF são fundidas com a matriz de características já comprimida do nível anterior.
• Poda de Modelos Guiada por OOF:
  • Em cada nível, os modelos são avaliados por suas pontuações OOF. Apenas modelos que superam um limiar percentil adaptativo são mantidos para o próximo nível.
  • Perturbação Estocástica: Para evitar convergência prematura e aumentar a diversidade, ruído Gaussiano leve ($\lambda = 0.05$) ou moderado ($\lambda = 0.1$) é injetado nas pontuações OOF antes da seleção. Isso atua como um regularizador, permitindo que aprendizes menos dominantes tenham uma chance probabilística de persistir.
• Compressão de Características (Feature Compression):
  Para controlar a explosão dimensional, três estratégias de compressão são testadas, aplicadas de duas formas: em cada nível ou periodicamente (níveis 3, 6 e 9):
  1. SFE (Simple, Fast, Efficient): Seleção de características baseada em utilidade (relevância vs. redundância).
  2. Autoencoders: Redes neurais para aprender representações latentes (configurações de 2 e 3 camadas).
  3. Atenção (Attention Mechanisms): Camada de atenção que aprende pesos de relevância e retém apenas as características acima do percentil 75.
• Stack-of-Stacking: No final do pipeline, as saídas de todos os níveis recursivos são agregadas em uma matriz global para um estimador final, capturando a dinâmica de aprendizado hierárquico.

3. Contribuições Chave

1. Arquitetura Recursiva Profunda: Introdução e exploração sistemática de stacking até 10 níveis, superando as limitações de profundidade das arquiteturas anteriores.
2. Poda Dinâmica com Perturbação: Implementação de poda baseada em limiares percentis de OOF, aprimorada pela injeção de ruído Gaussiano para melhorar a estabilidade e os ganhos nos níveis tardios.
3. Estratégias de Compressão Periódica: Demonstração de que a compressão periódica (níveis 3, 6, 9) é superior à compressão em cada nível, equilibrando melhor a inflação de características com a retenção de informação.
4. Análise de Otimização de Hiperparâmetros (HPO): Evidência de que, em stacking profundo, a otimização de hiperparâmetros nos modelos base (Nível 0) oferece uma vantagem inicial que diminui com a profundidade. Configurações não otimizadas (padrão) podem superar ou igualar as otimizadas nos níveis mais profundos, reduzindo o custo computacional total.
5. Desempenho Superior: Validação em 33 conjuntos de dados (23 binários, 10 multiclasse) mostrando que o RocketStack supera baselines de stacking tradicional e modelos de tabulação profunda (Deep Forest, TabNet).

4. Resultados Principais

• Desempenho de Precisão:
  • Aumentar a profundidade do stacking resultou em ganhos consistentes de precisão.
  • No cenário binário, a configuração sem compressão atingiu ~88.52%, enquanto a poda com ruído leve e seleção SFE periódica atingiu ~88.40%.
  • No cenário multiclasse, a seleção baseada em atenção com ruído leve e poda periódica alcançou 98.60% de precisão no nível 10.
  • O RocketStack (Nível 10) superou modelos State-of-the-Art (SOTA) como TabNet e Deep Forest, mesmo quando estes foram otimizados com HPO Bayesiano.
• Eficiência Computacional:
  • A compressão periódica reduziu significativamente o tempo de execução e a dimensionalidade em comparação com o stacking sem compressão, mantendo a precisão.
  • A poda de modelos reduziu o pool de aprendizes ativos de forma linear (ex: de 20 para ~8 modelos no cenário binário ao nível 10), garantindo escalabilidade sublinear.
• Impacto da Frequência de Compressão:
  • A compressão periódica superou consistentemente a compressão em cada nível. A compressão contínua em cada nível tendeu a degradar o desempenho, sugerindo que a acumulação de características intermediárias antes da compressão é benéfica.
• Poda Estocástica:
  • A injeção de ruído Gaussiano leve nas pontuações OOF melhorou a estabilidade e os ganhos de precisão nos níveis profundos, atuando como um mecanismo de regularização eficaz.

5. Significado e Conclusão

O RocketStack redefine o stacking profundo como um paradigma escalável e eficiente para dados tabulares. Ao integrar poda dinâmica, compressão periódica e perturbação estocástica, a arquitetura resolve os problemas tradicionais de inflação de características e custo computacional.

A descoberta de que não é necessário otimizar hiperparâmetros nos modelos base para obter desempenho máximo em níveis profundos é particularmente relevante, pois sugere que a diversidade e a estrutura recursiva da arquitetura podem refinar sinais não otimizados ao longo do tempo. Isso oferece uma base modular e consciente da profundidade para a fusão de decisões escalável, permitindo que ensembles profundos superem modelos de aprendizado profundo tradicionais em tarefas tabulares complexas, com custos computacionais gerenciáveis.