Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction

Resumo Técnico: Hermes

Declaração do Problema

Solicitações de carga de longa latência que falham na hierarquia de cache on-chip e acessam a memória principal off-chip permanecem como um gargalo primário para processadores out-of-order (OOO) de alto desempenho modernos. Essas solicitações frequentemente travam o núcleo do processador ao bloquear a finalização de instruções no Reorder Buffer (ROB).

Os autores identificam duas tendências críticas nos designs atuais de processadores que limitam o desempenho, apesar das otimizações existentes:

1. Cobertura Limitada de Prefetcher: Mesmo os prefetchers de hardware de última geração (ex: Pythia) conseguem prever apenas aproximadamente metade das solicitações de carga off-chip em uma ampla gama de cargas de trabalho. As solicitações restantes imprevisíveis continuam a causar stalls significativos.
2. Aumento da Latência de Cache On-Chip: À medida que os caches on-chip crescem em tamanho e complexidade para acomodar maiores pegadas de dados (data footprints), a latência necessária para percorrer a hierarquia de cache on-chip (L1, L2, LLC) para determinar que uma solicitação é um miss aumentou significativamente. Uma fração substancial da latência total de uma carga off-chip é gasta meramente acessando a hierarquia on-chip para confirmar o miss, em vez de esperar pela resposta da memória principal.

Metodologia

O artigo propõe o Hermes, uma técnica projetada para acelerar solicitações de carga off-chip removendo a latência de acesso ao cache on-chip de seu caminho crítico.

Mecanismo Central

O Hermes opera sob o princípio de busca off-chip especulativa:

1. Predição: Para cada solicitação de carga, um preditor determina se a solicitação provavelmente resultará em um miss na hierarquia on-chip e irá para o off-chip.
2. Busca Especulativa: Se uma carga for prevista como indo para o off-chip, o Hermes emite uma solicitação especulativa (uma "solicitação Hermes") diretamente ao controlador de memória principal assim que o endereço físico é gerado.
3. Execução Concorrente: Esta solicitação especulativa prossegue concorrentemente com a solicitação de carga regular, que ainda percorre a hierarquia de cache on-chip padrão.
4. Ocultação de Latência: Se a predição estiver correta, a carga regular eventualmente sofre um miss no Last-Level Cache (LLC) e aguarda a conclusão da solicitação especulativa em curso. Isso efetivamente oculta a latência de travessia do cache on-chip sob a sombra da latência da memória principal.
5. Coerência: Se a predição estiver incorreta (a carga efetivamente atinge o cache), a solicitação especulativa é descartada e nenhum dado é preenchido no cache, garantindo que a coerência do cache seja mantida sem mecanismos de recuperação complexos.

POPET: O Preditor

Para viabilizar o Hermes, os autores introduzem o POPET (Perceptron-based Off-chip load Prediction Technique), um preditor leve que aprende a identificar cargas off-chip usando múltiplos recursos do programa.

• Algoritmo: O POPET utiliza um modelo de aprendizado de perceptron com hashing. Ele agrega pesos de vários recursos do programa para fazer uma classificação binária (on-chip vs. off-chip).
• Recursos (Features): O preditor utiliza uma combinação de recursos, incluindo:
  • XOR do Program Counter (PC) e do offset da linha de cache.
  • XOR do PC e do offset de byte.
  • PC mais um indício de "primeiro acesso" (rastreando toques recentes em páginas).
  • Offset da linha de cache mais "primeiro acesso".
  • Um histórico dos últimos quatro PCs de carga.
• Treinamento: O POPET é treinado online usando o resultado real das solicitações de carga (se foram off-chip ou não) para atualizar os pesos dos recursos.
• Overhead: O POPET requer apenas 4 KB de armazenamento por núcleo (3,2 KB para tabelas de pesos e 0,8 KB para metadados da Load Queue), evitando os overheads de metadados impraticáveis de abordagens anteriores de rastreamento de endereços.

Principais Contribuições

1. Identificação de Oportunidades: O artigo destaca que uma fração significativa das cargas off-chip permanece imprevisível para os prefetchers atuais e que uma parte crescente da latência off-chip é consumida pela travessia do cache on-chip.
2. Técnica Hermes: A introdução de um mecanismo que busca especulativamente dados da memória principal para cargas off-chip previstas enquanto acessa concorrentemente a hierarquia de cache, eliminando assim a latência on-chip do caminho crítico.
3. Preditor POPET: O design de um novo preditor baseado em perceptron de baixo overhead que alcança alta precisão e cobertura para predição de carga off-chip sem exigir grandes estruturas de metadados ou suporte do SO.
4. Avaliação Abrangente: Avaliação extensa através de 110 cargas de trabalho single-core e 220 multi-core (SPEC CPU2006/2017, PARSEC, Ligra, CVP) e várias configurações de sistema (variando número de núcleos, largura de banda de memória e prefetchers).
5. Código Aberto: O lançamento do código-fonte, traces e scripts do Hermes para reproduzir os resultados.

Resultados

A avaliação demonstra que o Hermes fornece melhorias de desempenho consistentes sobre as baselines de última geração:

• Precisão de Predição: O POPET atinge uma precisão média de 77,1% e uma cobertura de 74,3% para cargas off-chip. Isso é significativamente superior ao melhor preditor de precisão anterior (HMP), que alcançava 47% de precisão e 22,3% de cobertura.
• Ganhos de Desempenho:
  • Single-Core: O Hermes combinado com o prefetcher Pythia melhora o desempenho em uma média de 5,4% (até 23,4%) em relação ao Pythia sozinho.
  • Multi-Core (8-core): Melhorias médias de 5,1% (até 25,7%).
  • Largura de Banda Limitada: Em configurações de largura de banda restrita, o Hermes melhora o desempenho em 6,2% (até 32,2%) sobre o Pythia, superando o Pythia sozinho nesses cenários devido ao menor overhead de largura de banda de memória.
• Eficiência: O Hermes incorre em um aumento modesto de 0,5% nas solicitações de memória principal para cada 1% de ganho de desempenho, enquanto o prefetcher Pythia incorre em um aumento de 2% de solicitações para o mesmo ganho.
• Robustez: O Hermes melhora consistentemente o desempenho quando combinado com vários prefetchers de alto desempenho (Bingo, SPP, MLOP, SMS) e permanece eficaz mesmo com estimativas pessimistas de latência de interconexão on-chip (até 24 ciclos).
• Energia e Armazenamento: O Hermes adiciona apenas 3,6% de overhead de potência dinâmica (comparado a 8,7% do Pythia) e requer apenas 4 KB de armazenamento por núcleo, comparado aos 25,5 KB do Pythia.

Significância e Alegações

Os autores afirmam que o Hermes representa um passo significativo no tratamento de acessos à memória de longa latência ao mudar fundamentalmente o caminho crítico das cargas off-chip. Diferente dos prefetchers tradicionais que tentam ocultar a latência buscando dados antes de serem necessários, o Hermes reduz a latência da própria carga ao contornar a hierarquia on-chip para misses previstos.

O artigo enfatiza que, conforme os caches on-chip continuam a crescer em tamanho e complexidade, a penalidade de latência para percorrer esses caches para confirmar um miss apenas aumentará. O Hermes aborda esse problema específico ao desacoplar a decisão de buscar na memória principal da latência da hierarquia de cache on-chip. Os autores postulam que a observação chave — que as cargas off-chip podem ser previstas com alta precisão usando aprendizado de perceptron leve — abre as portas para futuras otimizações de sistemas de memória que reduzam ainda mais o impacto de solicitações de longa latência.

O trabalho é apresentado como uma solução prática que não exige suporte de SO ou armazenamento de metadados impraticáveis, tornando-o um candidato viável para adoção em processadores comerciais. Os autores concluem que o Hermes fornece uma "melhoria de desempenho significativa e consistente" em uma ampla gama de cargas de trabalho e configurações de sistema.