JACC v1.0: High-productivity Performance Portability in the LLVM-compiled Julia Language

Os supercomputadores modernos estão se tornando máquinas cada vez mais complexas, repletas de diferentes tipos de processadores que podem resolver problemas em velocidades incríveis. Por décadas, os cientistas confiaram em algumas poucas linguagens padrão para dizer a essas máquinas o que fazer, mas, à medida que o hardware evolui, escrever código para esses sistemas tornou-se uma tarefa difícil e especializada. Os pesquisadores frequentemente se veem forçados a reescrever os mesmos programas científicos várias vezes, uma vez para um tipo de chip de computador e novamente para outro, apenas para obter o mesmo resultado. Isso cria um gargalo onde o tempo gasto traduzindo o código para diferentes máquinas consome o tempo disponível para a descoberta real. O objetivo de muitos na área é encontrar uma maneira de escrever um único conjunto de instruções que funcione eficientemente em qualquer máquina, seja um laptop pessoal ou um enorme supercomputador nacional, sem a necessidade de conhecer os detalhes intrincados do design de cada processador.

Uma equipe de pesquisadores do Laboratório Nacional de Oak Ridge e outras instituições introduziu uma nova ferramenta chamada JACC, que visa resolver esse problema para cientistas que utilizam a linguagem de programação Julia. A Julia é uma linguagem projetada para ser tão fácil de ler quanto uma fórmula matemática, enquanto roda com a velocidade do código de máquina mais eficiente. O novo software JACC atua como um tradutor universal para essa linguagem, permitindo que os cientistas escrevam uma versão de seu código que possa rodar nos processadores centrais de um computador ou nos chips gráficos especializados usados para cálculos pesados. Os pesquisadores descobriram que essa abordagem não apenas torna a codificação mais fácil; ela permite que o software rode com quase a mesma velocidade do código escrito especificamente para cada tipo individual de hardware. Isso significa que um cientista pode desenvolver uma simulação em um laptop e depois rodar exatamente o mesmo programa em um supercomputador de classe mundial sem alterar uma única linha de código.

O cerne desta conquista reside em como o JACC lida com a relação entre o trabalho do cientista e o hardware do computador. No passado, mover um programa de um tipo de processador para outro frequentemente exigia uma reescrita completa, de forma muito semelhante a traduzir um livro do inglês para o francês e depois para o japonês, com cada tradução correndo o risco de perder a nuance ou a velocidade. O JACC elimina a necessidade dessas traduções separadas. Ele fornece um conjunto de comandos simples que dizem ao computador para realizar uma tarefa, como calcular valores através de uma grande grade de números, sem especificar qual processador específico deve realizar o trabalho. O software detecta automaticamente se o computador possui um chip da NVIDIA, AMD, Intel ou Apple, e então direciona o trabalho para o processador mais apropriado disponível. Essa flexibilidade permite que os pesquisadores usem as poderosas placas de vídeo encontradas em laptops modernos para testes interativos e, em seguida, alternem perfeitamente para as enormes matrizes de processadores em supercomputadores para execuções finais de grande escala.

Os pesquisadores demonstraram a eficácia deste sistema testando-o em uma variedade de problemas científicos do mundo real. Eles aplicaram a ferramenta a simulações de dinâmica de fluidos, que são usadas para modelar como o ar flui sobre asas ou como a água se move através de tubulações. Nestes testes, o software rodou em diferentes tipos de hardware com um desempenho que igualava ou chegava muito próximo ao código especializado escrito por especialistas para cada máquina específica. Por exemplo, ao simular o movimento de fluidos, o sistema alcançou velocidades em chips gráficos que estavam a poucos pontos percentuais do melhor desempenho possível, provando que a conveniência de um único código base não vem à custa da velocidade. A equipe também mostrou que o sistema poderia lidar com tarefas complexas envolvendo múltiplos processadores trabalhando juntos em uma única máquina, uma capacidade que está se tornando essencial à medida que os supercomputadores concentram mais potência em menos unidades físicas.

Além da simples velocidade, a ferramenta abre as portas para explorações científicas mais complexas que eram anteriormente difíceis demais de gerenciar. Os pesquisadores mostraram que o JACC poderia ser usado para simular materiais magnéticos quânticos, um campo que exige o rastreamento do comportamento de inúmeras partículas minúsculas. Ao usar este novo sistema, um cálculo que anteriormente levava uma hora para rodar em um único processador foi reduzido a apenas segundos quando executado em um chip gráfico, tudo isso usando o mesmo código. Esse tipo de aceleração é vital para campos como a química quântica e a física nuclear, onde os cientistas precisam rodar milhares de variações de uma simulação para entender como os materiais se comportam sob diferentes condições. A capacidade de rodar essas simulações em diferentes hardwares sem reescrever o código significa que os cientistas podem focar mais na física e menos na mecânica da programação.

O impacto deste trabalho estende-se ao futuro de como o software científico é construído e mantido. Os pesquisadores observaram que o sistema foi projetado para trabalhar ao lado das ferramentas existentes usadas pela comunidade científica, permitindo uma transição gradual em vez de uma reformulação completa dos projetos atuais. Isso significa que os laboratórios podem adotar o novo sistema peça por peça, testando partes específicas de seu código antes de se comprometerem com uma migração total. O software também suporta recursos avançados como memória compartilhada, que permite que diferentes partes de um cálculo acessem dados rapidamente, e execução assíncrona, que permite que o computador inicie uma nova tarefa antes que a anterior esteja totalmente finalizada. Esses recursos são críticos para tirar o máximo proveito dos últimos supercomputadores, que são projetados para lidar com muitas tarefas simultaneamente.

Olhando para o futuro, os pesquisadores veem esta tecnologia como uma fundação para aplicações ainda mais avançadas. Eles estão explorando como o sistema poderia ser usado no desenvolvimento de computadores quânticos, onde as regras da física são muito diferentes dos computadores clássicos que usamos hoje. A capacidade de escrever código que seja portátil e eficiente poderia ajudar os cientistas a projetar e testar algoritmos para essas máquinas futuras muito antes do hardware estar totalmente pronto. Adicionalmente, o sistema está sendo integrado com softwares inteligentes que podem decidir automaticamente qual processador deve lidar com uma tarefa específica, reduzindo ainda mais o fardo do programador humano. Esta combinação de facilidade de uso e alto desempenho sugere um futuro onde a barreira entre a ideia de um cientista e uma simulação em execução é muito menor do que é hoje.

O trabalho apresentado neste artigo representa um passo significativo para tornar a computação de alto desempenho acessível a um grupo mais amplo de cientistas. Ao fornecer uma ferramenta que faz a ponte entre a programação de alto nível e os detalhes de baixo nível do hardware, os pesquisadores criaram um caminho para uma descoberta científica mais eficiente e produtiva. Os resultados mostram que é possível ter tanto alta produtividade quanto alto desempenho, dois objetivos que muitas vezes estiveram em oposição no passado. À medida que o mundo avança em direção a sistemas de computação ainda mais complexos, ferramentas como o JACC provavelmente se tornarão essenciais para desbloquear todo o potencial dessas máquinas, permitindo que os cientistas enfrentem problemas que eram anteriormente difíceis demais de resolver.