stratum: A System Infrastructure for Massive Agent-Centric ML Workloads

O artigo apresenta o Stratum, uma infraestrutura de sistema unificada que desacopla a execução de pipelines do planejamento em buscas de pipelines agênicas, integrando-se ao ecossistema Python para compilar e executar lotes de pipelines em backends heterogêneos, alcançando acelerações de até 16,6x.

O essencial

Imagine que você é um chef de cozinha muito talentoso, mas que está tentando criar o prato perfeito para um restaurante lotado. No mundo da Inteligência Artificial, esse "chef" é um Agente de IA (um programa inteligente) e o "prato" é um pipeline de Machine Learning (uma receita complexa de dados).

O problema é que, até hoje, esses chefs estavam cozinhando em uma cozinha antiga, cheia de ferramentas manuais e lentas. Eles tentavam milhares de receitas ao mesmo tempo, mas a cozinha não aguentava: os fogos ficavam sobrecarregados, a geladeira enchia de ingredientes repetidos e o chef gastava horas apenas esperando a água ferver.

Aqui entra o Stratum, a solução proposta neste artigo. Vamos explicar como funciona usando uma analogia de uma Cozinha de Alta Performance.

1. O Problema: A Cozinha Caótica

Atualmente, quando um Agente de IA tenta criar um modelo de dados, ele usa bibliotecas populares de Python (como Pandas e Scikit-learn). Pense nelas como ferramentas manuais de cozinha: ótimas para um cozinheiro humano fazer um prato de cada vez, mas péssimas para uma produção em massa.

• O Caos: O Agente gera milhares de variações de receitas (pipelines) por segundo.
• O Desperdício: Ele muitas vezes repete o mesmo trabalho (ex: lavar a mesma salada 50 vezes) sem perceber.
• O Gargalo: O Python (a linguagem usada) é como um cozinheiro que só pode fazer uma coisa de cada vez com segurança. Se você tentar cozinhar 100 coisas ao mesmo tempo, a cozinha trava, a memória acaba e o sistema desaba.

2. A Solução: O Stratum (O "Super-Chef" e a Cozinha Moderna)

O Stratum é uma nova infraestrutura (um sistema) que atua como um gerente de cozinha superinteligente e um conjunto de equipamentos modernos. Ele não substitui o Agente (o chef), mas dá a ele uma cozinha de última geração para trabalhar.

Aqui estão os 4 pilares do Stratum, explicados de forma simples:

A. O Tradutor Universal (Abstração Declarativa)

O Agente escreve receitas em "idiomas" diferentes (bibliotecas diferentes). O Stratum pega todas essas receitas bagunçadas e as traduz para uma única linguagem de cozinha (um gráfico de tarefas).

• Analogia: É como se o Stratum pegasse receitas escritas em japonês, francês e português e as transformasse em um único plano de ação visual, onde todos os passos estão organizados em uma linha de montagem.

B. O Chefe de Cozinha Lógico (Otimizador Lógico)

Antes de começar a cozinhar, o Stratum olha para o plano e diz: "Ei, você vai cortar a cebola 10 vezes em receitas diferentes. Vamos cortar uma vez só e usar para todas!"

• Analogia: Ele elimina redundâncias. Se duas receitas pedem para "lavar a batata", o Stratum lava uma vez e usa a batata lavada para as duas. Isso economiza tempo e esforço.

C. A Cozinha de Aço Inoxidável (Backend em Rust)

O Python é lento para tarefas pesadas. O Stratum usa uma tecnologia chamada Rust para a parte pesada do cozimento.

• Analogia: Enquanto o Python é como um cozinheiro usando uma faca de madeira (lento e seguro), o Stratum usa um processador industrial de aço (Rust) que é extremamente rápido, não derruba ingredientes e permite que vários chefs trabalhem ao mesmo tempo sem bater os cotovelos.

D. O Gerente de Estoque Inteligente (Reutilização e Paralelismo)

O Stratum sabe exatamente o que tem na geladeira. Se um ingrediente já foi preparado na tentativa anterior, ele não prepara de novo; ele pega o que já está pronto. Além disso, ele distribui o trabalho para todos os fornos e geladeiras disponíveis na cozinha ao mesmo tempo.

• Analogia: Em vez de um único garçom correndo de um lado para o outro, o Stratum tem uma equipe de 48 garçons (núcleos do processador) trabalhando em sincronia, sem esbarrar uns nos outros.

3. O Resultado: Velocidade e Eficiência

O artigo mostra testes onde o Stratum foi usado com um Agente real (chamado AIDE).

• Sem Stratum: O sistema demorava muito, travava e usava mal os recursos.
• Com Stratum: O sistema ficou 16,6 vezes mais rápido.

É como se você trocasse uma bicicleta de madeira por um carro de Fórmula 1. O motorista (o Agente de IA) é o mesmo, mas agora ele pode chegar ao destino (o modelo de dados perfeito) em uma fração do tempo, gastando menos combustível (energia e dinheiro).

Resumo Final

O Stratum é a ponte entre a inteligência criativa das IAs (que querem testar milhares de ideias) e a realidade lenta dos computadores atuais. Ele organiza o caos, elimina o trabalho repetido e usa hardware moderno para que a busca por soluções de Inteligência Artificial seja rápida, barata e eficiente.

Em suma: Stratum é a infraestrutura que permite que a revolução dos Agentes de IA realmente aconteça em grande escala, sem que o sistema desabe no meio do caminho.

Resumo técnico

Resumo Técnico: stratum

1. O Problema

O avanço dos Grandes Modelos de Linguagem (LLMs) transformou o desenvolvimento de pipelines de Aprendizado de Máquina (ML), introduzindo um novo tipo de carga de trabalho: a pesquisa de pipelines agêntica. Neste cenário, agentes autônomos ou semi-autônomos geram, validam e otimizam milhares de pipelines de ciência de dados em Python.

No entanto, o ecossistema atual de ML baseado em Python enfrenta desafios críticos para suportar essa escala:

• Ineficiência de Execução: Bibliotecas populares (Pandas, scikit-learn) são projetadas para fluxos de trabalho interativos e sequenciais humanos, não para a execução massiva e concorrente de agentes.
• Falta de Otimização Holística: A execução atual é frequentemente "ingênua", resultando em sobreposição de execuções, falhas de memória (OOM), subutilização de hardware e redundância computacional (reexecução de etapas de pré-processamento idênticas).
• Desconexão de Sistemas de Alto Desempenho: Sistemas existentes de ML de alto desempenho (como SystemML ou DAPHNE) geralmente exigem linguagens específicas (DSLs) ou modelos de programação especializados, o que os torna incompatíveis com o código Python gerado por LLMs e dificulta sua adoção por agentes.
• Gargalo de Recursos: Agentes geram milhares de pipelines por segundo, mas a infraestrutura atual não consegue gerenciar a contenção de hardware, a serialização excessiva ou a reutilização de intermediários.

2. Metodologia e Arquitetura do Stratum

O stratum é proposto como uma infraestrutura de sistema unificada que desacopla o planejamento e o raciocínio do agente da execução do pipeline. Ele atua como uma camada intermediária que integra-se perfeitamente às bibliotecas Python existentes, compilando lotes de pipelines em grafos de execução otimizados.

Princípios de Design Chave:

• Suporte Universal a Bibliotecas: Funciona com bibliotecas arbitrárias (scikit-learn, Pandas, PyTorch, UDFs) sem exigir a portabilidade manual de operadores.
• Avaliação Preguiçosa (Lazy Evaluation) e Semântica de Operadores: Transforma pipelines em Grafos Acíclicos Direcionados (DAGs) com semântica bem definida para permitir otimizações de compilador.
• Backend Heterogêneo: Executa pipelines em CPUs, GPUs e backends distribuídos, com um foco especial em um novo runtime baseado em Rust.

Arquitetura do Sistema:

1. Abstração Declarativa (Entrada): O stratum utiliza a biblioteca skrub como ponto de entrada. Ele encapsula operações arbitrárias (transformações de dados, modelos, UDFs) em operadores semânticos explícitos (DataOps), formando um DAG controlado por fluxo de dados, livre de controle de fluxo complexo do Python.
2. Otimizador Lógico:
   • Coleta de Metadados: Extrai informações sobre tipos de operadores, bibliotecas de origem e características dos dados.
   • Reescritas (Rewrites): Aplica otimizações clássicas de sistemas de dados, como eliminação de subexpressões comuns (CSE), empurrão de predicados (predicate pushdown) e reordenação de operações para minimizar cópias de dados.
   • Abaixamento de Operadores (Operator Lowering): Decompõe operadores de alto nível (ex: TableVectorizer) em operadores de baixo nível granulares para permitir otimizações mais finas.
3. Seleção de Operadores: O sistema possui múltiplas implementações físicas para cada operador lógico. Ele seleciona dinamicamente a implementação mais eficiente baseada em estimativas de custo e memória (ex: escolher entre Pandas, Polars ou kernels nativos em Rust).
4. Runtime e Backend Rust:
   • Desenvolve um backend em Rust para operadores frequentemente usados, oferecendo controle de memória explícito, acesso a dados sem cópia (zero-copy) e liberação do Global Interpreter Lock (GIL) do Python para permitir paralelismo nativo.
   • Utiliza bibliotecas como PyO3 para bindings leves com Python.
5. Otimizações em Tempo de Execução:
   • Paralelismo: Gerencia paralelismo intra e inter-operador para evitar sobrecarga de recursos (oversubscription).
   • Reutilização de Intermediários: Implementa um cache de resultados materializados (hash map) para reutilizar dados de pré-processamento entre iterações de busca do agente, evitando reexecução desnecessária.

3. Contribuições Principais

• Definição de Cargas de Trabalho Agênticas: Identificação e análise das características de execução de pipelines gerados por agentes, destacando a redundância e a ineficiência dos métodos atuais.
• Arquitetura Unificada: Proposta de um sistema que integra otimização de compilador e runtime com o ecossistema Python existente, sem exigir mudança de linguagem para o usuário ou agente.
• Backend de Alto Desempenho: Desenvolvimento de um runtime em Rust que supera as limitações de desempenho do Python (GIL, alocação temporária) para operações de ML.
• Otimização Holística: Integração de técnicas de reescrita lógica, seleção de operadores baseada em custo, paralelismo multi-nível e caching de intermediários em um único sistema.
• Protótipo e Validação: Apresentação de um protótipo funcional e resultados experimentais que validam a viabilidade da abordagem.

4. Resultados Experimentais

Os autores avaliaram o stratum utilizando uma carga de trabalho real gerada pelo agente AIDE em um conjunto de dados imobiliários do Reino Unido (Kaggle), comparando-o com:

• Base: Execução sequencial padrão do agente.
• Base_par: Execução paralela ingênua (multiprocessamento).

Resultados Chave:

• Aceleração Global: O stratum alcançou um speedup de 16,6x em comparação com a execução sequencial (Base).
• Comparação com Paralelismo Ingênuo: O stratum foi 7,8x mais rápido que a execução paralela básica (Base_par), que sofre de alto overhead de serialização e consumo de memória.
• Análise de Ablação (Desdobramento de Otimizações):
  • Otimização Lógica (CSE, reescritas): Contribuiu com até 2,2x de melhoria.
  • Seleção de Operadores (substituição de Python por Rust/Polars): Adicionou 4,5x de melhoria.
  • Paralelismo Inter-operador: Contribuiu com uma melhoria adicional de 10%.
• Eficiência de Recursos: O sistema demonstrou melhor utilização de CPU e memória, evitando falhas de OOM comuns na abordagem ingênua.

5. Significado e Impacto

O trabalho stratum é significativo porque preenche a lacuna crítica entre a geração de código de ML por LLMs (que é abundante e exploratória) e a infraestrutura de execução necessária para processá-la em escala.

• Viabilidade da Autonomia em ML: Permite que agentes de IA explorem espaços de busca muito maiores e mais complexos de forma economicamente viável, reduzindo custos de computação e tempo de desenvolvimento.
• Evolução do Ecossistema Python: Demonstra que é possível manter a usabilidade e a flexibilidade das bibliotecas Python populares enquanto se obtém o desempenho de sistemas de baixo nível (Rust/C++), sem exigir que os usuários aprendam novas linguagens.
• Futuro da Pesquisa: Abre caminho para o desenvolvimento de "agentes conscientes do sistema" (system-aware agents), onde o agente e o sistema de execução colaboram para otimizar não apenas o código, mas também a estratégia de execução e alocação de recursos.

Em suma, o stratum representa um passo fundamental na evolução de sistemas de ML, transformando a execução de pipelines de um gargalo manual e ineficiente em um processo automatizado, otimizado e escalável.