🤖 machine learning

Harmonia: Enhancing Data Placement and Migration in Hybrid Storage Systems via Multi-Agent Reinforcement Learning

O artigo apresenta o Harmonia, um framework de aprendizado por reforço multiagente que otimiza holisticamente políticas de colocação e migração de dados interdependentes em sistemas de armazenamento híbrido, alcançando melhorias significativas de desempenho e custo em relação a abordagens anteriores de política única, com sobrecarga mínima.

Autores originais: Rakesh Nadig, Vamanan Arulchelvan, Rahul Bera, Taha Shahroodi, Gagandeep Singh, Andreas Kakolyris, Ismail Emir Yuksel, Mohammad Sadrosadati, Jisung Park, Onur Mutlu

Publicado 2026-05-27

📖 4 min de leitura☕ Leitura rápida

CC BY 4.0

Autores originais: Rakesh Nadig, Vamanan Arulchelvan, Rahul Bera, Taha Shahroodi, Gagandeep Singh, Andreas Kakolyris, Ismail Emir Yuksel, Mohammad Sadrosadati, Jisung Park, Onur Mutlu

Artigo original sob licença CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta é uma explicação gerada por IA do artigo abaixo. Não foi escrita nem endossada pelos autores. Para precisão técnica, consulte o artigo original. Ler aviso legal completo

Imagine que o sistema de armazenamento do seu computador é como uma cozinha movimentada de um restaurante de alto padrão.

O Problema: Uma Cozinha Caótica
Na computação moderna, os aplicativos (como modelos de IA ou bancos de dados) são como chefs que precisam de ingredientes (dados) constantemente. A cozinha possui dois tipos de bancadas:

A Bancada "Quente": Uma pequena tábua de mármore ultra-rápida (como um SSD de alta velocidade) onde os chefs podem pegar ingredientes instantaneamente. Mas ela é minúscula e enche-se rapidamente.
A Bancada "Fria": Uma mesa de madeira enorme e lenta (como um disco rígido) que guarda tudo, mas leva uma eternidade para se chegar até ela.

O objetivo é manter os ingredientes mais utilizados na bancada rápida, para que os chefs não percam tempo caminhando até a mesa lenta.

Durante anos, os cientistas da computação tentaram resolver isso com dois gerentes separados:

O Gerente de Posicionamento: Decide onde colocar um novo ingrediente quando ele chega pela primeira vez.
O Gerente de Migração: Decide quais ingredientes antigos remover da bancada rápida para fazer espaço, ou quais lentos trazer para cima.

O Defeito: Esses dois gerentes trabalhavam isoladamente. O Gerente de Posicionamento poderia empurrar um novo item para a bancada rápida, sem perceber que o Gerente de Migração estava prestes a expulsar um item diferente que era, na verdade, mais importante. Ou, o Gerente de Migração poderia mover as coisas enquanto o Gerente de Posicionamento tentava trabalhar, causando um engarrafamento. Era como ter dois chefs tentando organizar a mesma prateleira sem conversar entre si — eles continuavam pisando nos pés um do outro, atrasando toda a cozinha.

A Solução: Harmonia (A Equipe de Harmonia)
Os pesquisadores criaram um novo sistema chamado Harmonia. Em vez de um chefe ou dois gerentes silenciosos, eles introduziram uma equipe de dois assistentes de IA (chamados de "Aprendizado por Reforço Multiagente") que conversam entre si.

Pense neles como dois sous-chefs especializados que aprenderam a dançar juntos:

O Sous-Chef de Posicionamento: Este agente é super-rápido. Quando um novo pedido chega, ele decide instantaneamente: "Devo colocar isso na bancada de mármore rápida ou na mesa de madeira lenta?" Ele aprende a ser inteligente sobre como economizar espaço na bancada rápida para os itens mais críticos.
O Sous-Chef de Migração: Este agente trabalha em segundo plano. Enquanto a cozinha está silenciosa por um instante, ele observa o que está nas bancadas. Ele pergunta: "Este item na bancada rápida está sendo ignorado? Há um item quente na mesa lenta que precisa subir?" Ele troca as coisas silenciosamente para manter a bancada rápida otimizada para o futuro.

Como Eles Trabalham Juntos
A mágica da Harmonia é que esses dois agentes não agem apenas sozinhos; eles coordenam.

O agente de Posicionamento sabe que, se encher a bancada rápida com lixo, o agente de Migração terá que trabalhar horas extras para limpá-la.
O agente de Migração sabe que, se liberar espaço na bancada rápida, o agente de Posicionamento pode fazer um trabalho melhor com novos pedidos.

Eles usam um "sistema de recompensa" (como um cartão de pontuação). Se a cozinha funcionar suavemente e os pedidos forem rápidos, ambos recebem uma pontuação alta. Se causarem um engarrafamento, recebem uma pontuação baixa. Com o tempo, eles aprendem o ritmo perfeito de trabalhar juntos sem atrapalhar um ao outro.

Os Resultados
Os pesquisadores testaram isso em sistemas de computador reais com diferentes tipos de armazenamento (de SSDs rápidos a discos rígidos lentos).

Velocidade: A Harmonia fez a cozinha funcionar 29% a 44% mais rápido do que os melhores métodos anteriores.
Eficiência: Reduziu o tempo que os chefs (aplicativos) gastaram esperando por ingredientes.
Custo: Fez tudo isso com quase nenhum custo extra. O "cérebro" do sistema é tão pequeno que cabe num cantinho minúsculo da memória do computador (do tamanho de uma pequena foto), e toma decisões num piscar de olhos (240 nanossegundos).

Por Que Isso Importa
Antes disso, tentar otimizar tanto o posicionamento de novos dados quanto a movimentação de dados antigos ao mesmo tempo era como tentar malabarismos enquanto se anda de monociclo. Os pesquisadores mostraram que, ao usar dois agentes de IA especializados que coordenam como uma equipe de dança bem ensaiada, você pode obter o melhor dos dois mundos: um sistema de armazenamento rápido e eficiente que se adapta ao que o computador está fazendo, seja treinando uma IA, executando um banco de dados ou processando um genoma.

Em resumo, a Harmonia transforma uma cozinha caótica com gerentes discutindo em uma operação sincronizada e de alta velocidade, onde os ingredientes certos estão sempre no lugar certo, na hora certa.

Resumo Técnico: Harmonia

Declaração do Problema

Ambientes modernos de Computação de Alto Desempenho (HPC) dependem de Sistemas de Armazenamento Híbrido (HSS) que integram dispositivos heterogêneos (por exemplo, SSDs rápidos, HDDs lentos, PMEM) para equilibrar desempenho, capacidade e custo. O desempenho de um HSS depende criticamente de duas políticas de gerenciamento de dados interdependentes:

Alocação de Dados: Determinar o dispositivo ideal para solicitações de escrita ou alocação de entrada.
Migração de Dados: Reorganizar dinamicamente os dados armazenados (pré-busca de dados quentes, evicção de dados frios) para sustentar o desempenho conforme as cargas de trabalho e as condições do sistema evoluem.

Pesquisas anteriores otimizaram essas políticas amplamente de forma isolada. O artigo argumenta que otimizar a alocação sem considerar a migração (ou vice-versa) leva a um desempenho subótimo, pois as políticas estão fortemente acopladas. Por exemplo, uma política de migração estática não pode sustentar os benefícios de uma política de alocação otimizada se os padrões de acesso da carga de trabalho mudarem. Além disso, combinações ingênuas de técnicas de alocação e migração de última geração frequentemente resultam em decisões conflitantes, movimentação desnecessária de dados e desperdício de largura de banda. Abordagens existentes de Aprendizado por Reforço (RL) de agente único também lutam, pois alocação e migração diferem fundamentalmente em seus objetivos, entradas de dados e escalas de tempo de execução (a alocação está no caminho crítico de E/S, enquanto a migração é assíncrona), levando a interferência de tarefas.

Metodologia: Harmonia

Para abordar essas limitações, os autores propõem o Harmonia, uma técnica holística de gerenciamento de dados baseada em Aprendizado por Reforço Multi-Agente (MARL). O Harmonia emprega dois agentes de RL leves e autônomos que coordenam para otimizar o HSS:

1. Arquitetura do Agente

Agente de Alocação de Dados: Opera no caminho crítico do tratamento de E/S. Seleciona o dispositivo de armazenamento mais adequado para solicitações de escrita de entrada. Baseia-se na técnica de última geração Sibyl, mas incorpora novos recursos de estado relacionados à migração e uma estrutura de recompensa que incentiva a utilização eficaz de dispositivos rápidos sem causar contenção.
Agente de Migração de Dados: Opera assincronamente em segundo plano. Monitora páginas previamente alocadas, identifica candidatos à migração e seleciona dispositivos de destino. Visa maximizar o desempenho de longo prazo do HSS movendo dados proativamente com base em padrões de acesso previstos.

2. Mecanismo de Coordenação

Os agentes coordenam-se através de uma representação de estado compartilhada e uma estrutura de recompensa cuidadosamente projetada, em vez de um espaço de ação conjunto:

Estado Compartilhado: Ambos os agentes observam um vetor de estado de 32 bits contendo sete recursos: tipo de solicitação, tamanho da solicitação, intervalo de acesso, frequência de acesso, capacidade livre do dispositivo rápido, localização atual do dispositivo e intervalo de migração.
Estrutura de Recompensa:
- O Agente de Alocação recebe uma recompensa imediata inversamente proporcional à latência da solicitação de E/S atual.
- O Agente de Migração recebe uma recompensa atrasada com base na latência média de alocação das subsequentes $n$ solicitações de E/S (definida como 50). Isso incentiva decisões de migração que melhoram a eficiência futura de alocação.
- Uma penalidade é aplicada ao agente de migração para evitar migrações de "pingue-pongue" da mesma página.
Mitigação de Conflitos: O agente de migração ignora páginas alocadas ou migradas recentemente e age apenas durante períodos de ociosidade do sistema ou janelas de baixa utilização para evitar interferir em solicitações de E/S críticas.

3. Detalhes de Implementação

Algoritmo RL: Ambos os agentes usam C51 (uma Rede Q-Profunda Categórica) para aprender a distribuição de valores Q.
Threads: Cada agente possui threads separadas de treinamento e inferência. A thread de inferência roda no caminho crítico (para alocação) ou em segundo plano (para migração), garantindo baixa latência.
Sobrecarga: O sistema é projetado para baixa sobrecarga, com latência de inferência de ~240 ns e uma pegada total de armazenamento de ~206 KiB em DRAM para ambos os agentes combinados.

Contribuições Principais

Demonstração Empírica das Limitações: Os autores mostram que as abordagens anteriores de gerenciamento de dados em HSS (heurísticas e baseadas em ML) otimizam alocação ou migração de forma isolada. Eles demonstram que mesmo a melhor abordagem anterior (Sibyl) incorre em latência significativamente maior (100,4% maior em HSS otimizado para desempenho) em comparação com uma política ideal "Oráculo".
Baselines Estendidas: O artigo constrói quatro técnicas estendidas (por exemplo, combinando Sibyl com K-SVM ou RNN-HSS) para provar que combinações ingênuas de políticas de última geração performam pior do que suas partes constituintes devido a conflitos de política.
Proposta Harmonia: A introdução de uma estrutura de RL multi-agente que co-otimiza alocação e migração usando dois agentes especializados e coordenados.
Avaliação em Sistema Real: Uma avaliação rigorosa em um sistema Linux real com até quatro dispositivos de armazenamento heterogêneos e 25 cargas de trabalho diversas intensivas em dados (incluindo ML, bancos de dados e processamento de grafos).

Resultados da Avaliação

O Harmonia foi avaliado contra oito baselines (incluindo Sibyl, CDE, K-SVM, RNN-HSS e variantes de RL de agente único) em várias configurações de HSS (Dual, Tri e Quad-HSS) e cargas de trabalho.

Ganhos de Desempenho:
- Em um Dual-HSS otimizado para desempenho, o Harmonia reduz a latência média de solicitações de E/S em 29,3% em comparação com a melhor abordagem anterior (Sibyl).
- Em um Dual-HSS otimizado para custo, a melhoria é de 44,8%.
- Em configurações Tri-HSS e Quad-HSS, o Harmonia supera o Sibyl em 38,9% e 39,2%, respectivamente.
- Em cargas de trabalho multiprogramadas, as melhorias escalam com a concorrência, atingindo até 39,4% em oito cargas de trabalho concorrentes.
Comparação com o Oráculo: O Harmonia alcança desempenho próximo ao Oráculo teórico (que possui conhecimento perfeito dos padrões de acesso futuros), com latência apenas 41,0% maior que a do Oráculo em HSS otimizado para desempenho.
Latência de Cauda: O Harmonia reduz significativamente a latência de cauda (percentis 99 e 99,99) em até 32,3% em comparação com o Sibyl, principalmente ao evitar migrações em massa no caminho crítico.
Sobrecarga: A técnica incorre em sobrecarga mínima: 240 ns para inferência e 206 KiB de armazenamento em DRAM.
Vida Útil do Dispositivo: O Harmonia aumenta ligeiramente a Amplificação de Escrita (WA) em comparação com algumas baselines (por exemplo, 1,44 vs. 1,38 para o Sibyl em HSS otimizado para desempenho) devido à pré-busca proativa de dados quentes, mas essa troca é aceita pelos ganhos significativos de latência.

Significado e Alegações

O artigo afirma que o Harmonia é a primeira técnica holística de gerenciamento de dados baseada em RL multi-agente que otimiza conjuntamente a alocação e a migração de dados em sistemas de armazenamento híbrido. Seu significado reside em:

Otimização Holística: Ir além do isolamento das políticas de alocação e migração para abordar sua interdependência.
Design Multi-Agente Desacoplado: Demonstrar que o uso de agentes heterogêneos com diferentes escalas de tempo e objetivos, coordenados via recompensas, é superior a formulações de agente único ou combinações ingênuas de técnicas existentes.
Praticidade: Provar que tal gerenciamento complexo baseado em aprendizado pode ser implementado com baixa latência e sobrecarga de armazenamento, tornando-o viável para aplicações de HPC sensíveis à latência.
Extensibilidade: Mostrar que a estrutura escala para configurações de HSS com até quatro dispositivos e generaliza bem para cargas de trabalho não vistas e tecnologias emergentes como Memória Persistente (PMEM).

Os autores concluem que o Harmonia abre caminho para sistemas de armazenamento auto-otimizantes que podem gerenciar dados adaptativamente em dispositivos heterogêneos sob condições dinâmicas de carga de trabalho.