Combining Serverless and High-Performance Computing Paradigms to support ML Data-Intensive Applications

Este artigo apresenta o Cylon, uma solução de data frame distribuído de alto desempenho que integra paradigmas de computação sem servidor e HPC, demonstrando que o uso de comunicação direta via NAT Traversal em funções AWS Lambda permite atingir uma eficiência de escalabilidade próxima à de clusters tradicionais (EC2) para aplicações intensivas em dados de aprendizado de máquina.

O essencial

Imagine que você precisa organizar uma festa gigantesca com milhões de convidados (os dados). No passado, para fazer isso, você precisava alugar um salão enorme, contratar seguranças, arrumar as cadeiras e ficar lá o dia todo, mesmo que a festa acabasse às 2 da manhã. Isso é como usar os servidores tradicionais (HPC ou EC2): você paga pelo espaço o tempo todo, quer a festa esteja cheia ou vazia.

Agora, imagine uma nova ideia: Serverless (como o AWS Lambda). É como se você não alugasse o salão, mas sim chamasse "ajudantes" (funções) apenas quando eles são necessários. Você chama um ajudante para cortar a comida, outro para servir a bebida, e paga apenas pelos segundos que eles trabalham. É muito eficiente e barato para picos de trabalho.

O Problema:
O problema é que, em festas tradicionais (servidores), os ajudantes podem conversar entre si gritando de um lado para o outro (comunicação direta e rápida). Mas no modelo "Serverless", os ajudantes são isolados. Eles não podem se ver nem se falar diretamente. Para passar uma mensagem, um ajudante tem que escrever um bilhete, colocar em um armário compartilhado (como o Amazon S3 ou Redis), e o outro ajudante tem que ir até lá buscar. Isso é lento e cria um gargalo, como se todos tivessem que fazer fila no balcão para se comunicar.

A Solução do Artigo (Cylon e o "Hole Punching"):
Os autores criaram uma ferramenta chamada Cylon. Pense no Cylon como um "super-organizador" que sabe como fazer os ajudantes isolados conversarem diretamente, sem precisar usar o armário compartilhado.

Eles usaram uma técnica chamada NAT Hole Punching (ou "furação de buraco no NAT").

• A Analogia: Imagine que cada ajudante está em uma casa com uma porta trancada e um porteiro (o NAT) que só deixa entrar quem ele conhece. Normalmente, eles não podem se encontrar.
• O Truque: O Cylon usa um "árbitro" (um servidor de encontro) que diz para o porteiro do Ajudante A: "Ei, deixe o Ajudante B entrar agora!". Ao mesmo tempo, diz para o porteiro do Ajudante B: "Deixe o Ajudante A entrar!".
• O Resultado: Os dois "abrem a porta" ao mesmo tempo e criam um túnel direto entre eles. Agora, eles podem gritar e conversar instantaneamente, como se estivessem no mesmo salão, mesmo estando em casas diferentes.

O que eles descobriram?

1. Velocidade: Com esse "túnel direto", a comunicação ficou 10 a 100 vezes mais rápida do que usar o armário compartilhado (S3/Redis).
2. Eficiência: Eles testaram com 64 ajudantes (nós) e descobriram que o sistema "Serverless" ficou 93,5% tão eficiente quanto o sistema tradicional de salão alugado. Ou seja, quase a mesma velocidade, mas pagando muito menos.
3. Custo: Para trabalhos que explodem de repente (como processar dados de terremotos ou genomas), o Serverless é muito mais barato. Se você alugar o salão (EC2) e ele ficar vazio, você perde dinheiro. No Serverless, você só paga quando o trabalho acontece.

Por que isso importa?
Isso muda as regras do jogo para cientistas que lidam com dados massivos (como previsão do tempo, inteligência artificial, genética e astronomia). Antes, eles tinham que usar supercomputadores caros e complexos para processar dados rapidamente. Agora, eles podem usar a "nuvem" de forma inteligente, pagando apenas pelo que usam, e ainda assim ter a velocidade necessária para fazer cálculos complexos.

Em resumo:
O artigo mostra como transformar a "festa Serverless" (que antes era lenta para os convidados conversarem) em uma festa super-rápida e eficiente, usando um truque de "abrir portas" diretas entre os ajudantes. Isso permite que cientistas processem dados do mundo inteiro de forma mais rápida, barata e fácil.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo em português:

Título: Combinando Paradigmas de Computação Sem Servidor (Serverless) e Computação de Alto Desempenho (HPC) para Aplicações Intensivas em Dados de ML

1. Problema e Motivação

O campo da engenharia de dados e do aprendizado de máquina (ML) enfrenta um crescimento exponencial no volume e complexidade dos dados (de terabytes a exabytes), exigindo soluções escaláveis e eficientes. Tradicionalmente, essas cargas de trabalho são executadas em grandes clusters de data centers (HPC) ou em máquinas virtuais provisionadas (como EC2), o que requer investimento significativo em hardware e manutenção.

A computação sem servidor (Serverless/FaaS), como o AWS Lambda, oferece escalabilidade horizontal e cobrança precisa, eliminando a necessidade de gerenciar infraestrutura. No entanto, existe uma lacuna crítica:

• Limitação de Comunicação: As funções serverless atuais carecem de comunicação eficiente para processamento paralelo de dados em larga escala.
• Gargalo de Armazenamento: As soluções atuais dependem de armazenamento externo (como AWS S3 ou Redis) para troca de dados entre funções. Isso introduz latência significativa e custos adicionais, tornando-se inadequado para aplicações que exigem comunicação frequente e de baixa latência, típicas de modelos de programação como Bulk Synchronous Parallel (BSP) e MPI.
• Objetivo: O objetivo é permitir que funções serverless executem cargas de trabalho intensivas em dados com eficiência comparável ao HPC tradicional, superando a dependência de armazenamento intermediário.

2. Metodologia e Arquitetura

Os autores introduzem o Cylon, uma biblioteca de dataframes distribuídos de alto desempenho em Python, e projetam um comunicador serverless inovador para habilitar a comunicação direta entre funções.

• Arquitetura Cylon: Baseada no Apache Arrow para processamento em memória e compartilhamento de dados sem cópia (zero-copy). O Cylon atua como uma camada unificada que permite a execução de operações de dados (como joins, groupby) em diferentes ambientes: Serverless (Lambda), VMs na nuvem (EC2) e HPC (Rivanna).
• Solução de Comunicação (NAT Hole Punching):
  • Para contornar a falta de comunicação direta nativa no AWS Lambda, a equipe implementou um comunicador personalizado utilizando NAT Traversal via TCP Hole Punching.
  • Diferente das abordagens baseadas em armazenamento (S3/Redis), esta técnica permite conexões TCP ponto a ponto diretas entre funções Lambda através de um servidor de encontro (rendezvous server).
  • A arquitetura utiliza o AWS Step Functions para orquestrar o fluxo de trabalho, gerenciando a inicialização, a validação do servidor de encontro e a invocação paralela das funções Lambda.
• Implementação Técnica:
  • Adaptação de bibliotecas de comunicação de alto desempenho (inspiradas no FMI e UCX/UCC) para o ambiente serverless.
  • Uso de contêineres Docker/Singularity para garantir portabilidade entre HPC e ambientes serverless.
  • Implementação de operações coletivas (como AllToAll, Barrier, AllReduce) necessárias para o modelo BSP.

3. Contribuições Principais

1. Modelo de Execução BSP em Serverless: Demonstração de que cargas de trabalho Bulk Synchronous Parallel (BSP), tradicionalmente restritas a HPC com interconexões de baixa latência, podem ser executadas eficientemente em ambientes serverless através de comunicação direta (NAT Hole Punching).
2. Framework Unificado (Cylon): Introdução de uma biblioteca de dataframes distribuídos portátil que executa operações intensivas em dados de forma transparente em Lambda, EC2 e HPC, suportando tanto treinamento quanto inferência de ML.
3. Análise Quantitativa de Custo-Desempenho: Criação de um modelo empírico mostrando que o serverless é competitivo para cargas de trabalho intermitentes ("bursty"), onde o custo de ociosidade em VMs provisionadas seria proibitivo.
4. Comparação de Substratos de Comunicação: Avaliação rigorosa de três abordagens: TCP direto (NAT), Redis e S3, estabelecendo o NAT Hole Punching como a solução viável para computação distribuída sensível à latência no serverless.

4. Resultados Experimentais

Os experimentos foram realizados comparando o AWS Lambda, EC2 e o cluster HPC Rivanna, utilizando operações de Distributed Join e GroupBy.

• Eficiência de Escalonamento (Scaling Efficiency):
  • Em testes de strong scaling (dados fixos, aumento de nós), o AWS Lambda alcançou uma eficiência de escalonamento dentro de 6,5% da eficiência do EC2 em 64 nós.
  • O speedup (aceleração) do Lambda foi de 15,85x em 64 nós, comparado a 16,96x do EC2, uma diferença mínima que refuta a ideia de que o serverless não escala bem para comunicações intensivas.
• Latência de Comunicação:
  • A comunicação direta via NAT Hole Punching foi 10 a 100 vezes mais rápida (menor latência) do que as abordagens mediadas por armazenamento (Redis e S3).
  • Em 32 nós, a operação de Join levou ~60 segundos via TCP direto, contra ~255 segundos via Redis e ~455 segundos via S3.
  • Operações coletivas como AllReduce e Barrier alcançaram latências na faixa de milissegundos (ex: 13ms para AllReduce em 32 nós), adequadas para workloads BSP.
• Análise de Custo:
  • Para cargas de trabalho intermitentes, o serverless mostrou-se altamente econômico. Um Join distribuído com 32 workers custou aproximadamente $0,03 no Lambda.
  • O custo é dominado pela fase de inicialização (configuração da conexão NAT) em vez do tempo de computação, mas ainda assim é significativamente mais barato que manter VMs ociosas.

5. Significado e Impacto

Este trabalho desafia o paradigma predominante de que a computação serverless é limitada apenas a tarefas "embaraçosamente paralelas" (independentes). Ao resolver o problema de comunicação de baixa latência, os autores abrem caminho para:

• Aplicações Científicas Complexas: Possibilidade de executar pipelines de ML, genômica, hidrologia, previsão de terremotos e astronomia em ambientes serverless elásticos.
• Redução de Custos e Barreiras: Democratização do acesso a recursos de HPC para processamento de dados intensivos sem a necessidade de investimento em infraestrutura física ou gerenciamento de clusters.
• Futuro da Engenharia de Dados: Estabelecimento de uma nova camada de abstração que unifica o processamento de dados entre HPC tradicional e nuvem serverless, permitindo que os desenvolvedores escrevam código uma vez e executem em qualquer ambiente com desempenho otimizado.

Em suma, o artigo prova que, com a arquitetura de comunicação correta (NAT Hole Punching), o serverless pode se tornar uma plataforma viável e de alto desempenho para computação científica e engenharia de dados em larga escala.