Hermes: Accelerating Long-Latency Load Requests via Perceptron-Based Off-Chip Load Prediction

Resumen Técnico: Hermes

Planteamiento del Problema

Las solicitudes de carga de larga latencia que fallan en la jerarquía de caché integrada en el chip y acceden a la memoria principal fuera del chip siguen siendo un cuello de botella primario para los procesadores modernos de ejecución fuera de orden (OOO). Estas solicitudes suelen bloquear el núcleo del procesador al impedir el retiro de instrucciones desde el Reorder Buffer (ROB).

Los autores identifican dos tendencias críticas en los diseños actuales de procesadores que limitan el rendimiento a pesar de las optimizaciones existentes:

1. Cobertura Limitada del Prefetcher: Incluso los prefetchers de hardware de última generación (por ejemplo, Pythia) solo pueden predecir aproximadamente la mitad de las solicitudes de carga fuera del chip en una amplia gama de cargas de trabajo. Las solicitudes restantes, impredecibles, continúan causando estancamientos significativos.
2. Aumento de la Latencia de Caché en el Chip: A medida que las cachés integradas crecen en tamaño y complejidad para acomodar huellas de datos más grandes, la latencia requerida para atravesar la jerarquía de caché en el chip (L1, L2, LLC) para determinar que una solicitud es un fallo ha aumentado significativamente. Una fracción sustancial de la latencia total de una carga fuera del chip se gasta meramente en acceder a la jerarquía en el chip para confirmar el fallo, en lugar de esperar la respuesta de la memoria principal.

Metodología

El artículo propone Hermes, una técnica diseñada para acelerar las solicitudes de carga fuera del chip eliminando la latencia de acceso a la caché en el chip de su ruta crítica.

Mecanismo Central

Hermes opera bajo el principio de búsqueda especulativa fuera del chip:

1. Predicción: Para cada solicitud de carga, un predictor determina si es probable que la solicitud falle en la jerarquía en el chip y vaya fuera del chip.
2. Búsqueda Especulativa: Si se predice que una carga irá fuera del chip, Hermes emite una solicitud especulativa (una "solicitud Hermes") directamente al controlador de memoria principal tan pronto como se genera la dirección física.
3. Ejecución Concurrente: Esta solicitud especulativa procede de forma concurrente con la solicitud de carga regular, la cual aún atraviesa la jerarquía de caché estándar en el chip.
4. Ocultación de Latencia: Si la predicción es correcta, la carga regular eventualmente falla en la Último Nivel de Caché (LLC) y espera a que la solicitud especulativa en curso se complete. Esto efectivamente oculta la latencia de recorrido de la caché en el chip bajo la sombra de la latencia de la memoria principal.
5. Coherencia: Si la predicción es incorrecta (la carga realmente acierta en la caché), la solicitud especulativa se descarta y no se llena ningún dato en la caché, asegurando que la coherencia de la caché se mantenga sin mecanismos de recuperación complejos.

POPET: El Predictor

Para habilitar Hermes, los autores introducen POPET (Técnica de Predicción de Carga Fuera del Chip basada en Perceptrón), un predictor ligero que aprende a identificar cargas fuera del chip utilizando múltiples características del programa.

• Algoritmo: POPET utiliza un modelo de aprendizaje de perceptrón con hash. Agrega pesos de varias características del programa para realizar una clasificación binaria (fuera del chip vs. dentro del chip).
• Características: El predictor utiliza una combinación de características que incluyen:
  • XOR del Contador de Programa (PC) y el desplazamiento de la línea de caché.
  • XOR del PC y el desplazamiento de bytes.
  • PC más una pista de "primer acceso" (rastreando toques de páginas recientes).
  • Desplazamiento de la línea de caché más "primer acceso".
  • Un historial de los últimos cuatro PCs de carga.
• Entrenamiento: POPET se entrena en línea utilizando el resultado real de las solicitudes de carga (si fueron fuera del chip o no) para actualizar los pesos de las características.
• Sobrecarga: POPET requiere solo 4 KB de almacenamiento por núcleo (3.2 KB para tablas de pesos y 0.8 KB para metadatos de la Cola de Carga), evitando las sobrecargas de metadatos poco prácticas de los enfoques previos de seguimiento de direcciones.

Contribuciones Clave

1. Identificación de Oportunidades: El artículo destaca que una fracción significativa de las cargas fuera del chip permanecen impredecibles para los prefetchers actuales y que una porción creciente de la latencia fuera del chip es consumida por el recorrido de la caché en el chip.
2. Técnica Hermes: La introducción de un mecanismo que busca especulativamente los datos de la memoria principal para las cargas fuera del chip predichas mientras se accede concurrentemente a la jerarquía de caché, eliminando así la latencia en el chip de la ruta crítica.
3. Predictor POPET: El diseño de un nuevo predictor basado en perceptrón de baja sobrecarga que logra alta precisión y cobertura para la predicción de cargas fuera del chip sin requerir grandes estructuras de metadatos o soporte del SO.
4. Evaluación Exhaustiva: Evaluación extensa a través de 110 cargas de trabajo de un solo núcleo y 220 de múltiples núcleos (SPEC CPU2006/2017, PARSEC, Ligra, CVP) y diversas configuraciones de sistema (variando número de núcleos, ancho de banda de memoria y prefetchers).
5. Código Abierto: La publicación del código fuente de Hermes, trazas y scripts para reproducir los resultados.

Resultados

La evaluación demuestra que Hermes proporciona mejoras de rendimiento consistentes sobre las líneas base de vanguardia:

• Precisión de Predicción: POPET logra un promedio de 77.1% de precisión y 74.3% de cobertura para cargas fuera del chip. Esto es significativamente mayor que el mejor predictor de precisión previa (HMP), que logró 47% de precisión y 22.3% de cobertura.
• Ganancias de Rendimiento:
  • Núcleo Único: Hermes combinado con el prefetcher Pythia mejora el rendimiento en un promedio de 5.4% (hasta un 23.4%) sobre Pythia solo.
  • Multinúcleo (8 núcleos): Las mejoras promedian 5.1% (hasta un 25.7%).
  • Limitación de Ancho de Banda: En configuraciones con restricciones de ancho de banda, Hermes mejora el rendimiento en un 6.2% (hasta un 32.2%) sobre Pythia, superando a Pythia solo en estos escenarios debido a una menor sobrecarga de ancho de banda de memoria.
• Eficiencia: Hermes incurre en un aumento modesto del 0.5% en las solicitudes de memoria principal por cada 1% de ganancia de rendimiento, mientras que el prefetcher Pythia incurre en un aumento del 2% en las solicitudes para la misma ganancia.
• Robustez: Hermes mejora consistentemente el rendimiento cuando se combina con varios prefetchers de alto rendimiento (Bingo, SPP, MLOP, SMS) y sigue siendo efectivo incluso con estimaciones pesimistas de la latencia del interconector en el chip (hasta 24 ciclos).
• Potencia y Almacenamiento: Hermes añade solo un 3.6% de sobrecarga de potencia dinámica (comparado con el 8.7% de Pythia) y requiere solo 4 KB de almacenamiento por núcleo, frente a los 25.5 KB de Pythia.

Significado y Reivindicaciones

Los autores afirman que Hermes representa un paso significativo hacia el manejo de accesos a memoria de larga latencia al cambiar fundamentalmente la ruta crítica de las cargas fuera del chip. A diferencia de los prefetchers tradicionales que intentan ocultar la latencia buscando los datos antes de que sean necesarios, Hermes reduce la latencia de la propia carga al omitir la jerarquía en el chip para los fallos predichos.

El artículo enfatiza que, a medida que las cachés en el chip continúen creciendo en tamaño y complejidad, la penalización de latencia por recorrerlas para confirmar un fallo solo aumentará. Hermes aborda esta tendencia específica al desacoplar la decisión de buscar en la memoria principal de la latencia de la jerarquía de caché en el chip. Los autores postulan que la observación clave —que las cargas fuera del chip pueden predecirse con alta precisión usando un aprendizaje de perceptrón ligero— abre la puerta a futuras optimizaciones del sistema de memoria que reduzcan aún más el impacto de las solicitudes de larga latencia.

El trabajo se presenta como una solución práctica que no requiere soporte del SO ni un almacenamiento de metadatos impráctico, lo que lo convierte en un candidato viable para la adopción en procesadores comerciales. Los autores concluyen que Hermes proporciona una "mejora de rendimiento significativa y consistente" a través de una amplia gama de cargas de trabajo y configuraciones de sistema.