PIM-SHERPA: Software Method for On-device LLM Inference by Resolving PIM Memory Attribute and Layout Inconsistencies

Ce papier présente PIM-SHERPA, une méthode logicielle qui résout les incohérences d'attributs et de mise en page de la mémoire dans les systèmes PIM pour permettre une inférence efficace de grands modèles de langage sur appareil, en utilisant des techniques de double tamponnage ou de réorganisation en ligne pour économiser jusqu'à 49,7 % de capacité mémoire tout en maintenant des performances optimales.

L'essentiel

🧠 Le Problème : Le Dilemme du Chef Cuisinier et de la Bibliothèque

Imaginez que vous avez un super-cuisinier (votre téléphone ou votre ordinateur) qui doit préparer un repas géant grâce à une recette complexe (un modèle d'Intelligence Artificielle, ou LLM).

Ce cuisinier a deux façons de travailler :

1. La phase "Préparation" (Prefill) : Il lit tout le livre de recettes d'un coup pour comprendre le contexte. C'est du travail intense, il a besoin de voir les pages rapidement. Pour aller vite, il veut que les pages soient sur son bureau (la mémoire cache), à portée de main, pour les relire sans bouger.
2. La phase "Service" (Decode) : Il sert le plat, une bouchée à la fois. Ici, le problème n'est pas de lire, mais d'aller chercher les ingrédients dans les rayonnages (la mémoire DRAM). Pour aller super vite, il utilise une technologie magique appelée PIM (Traitement en Mémoire).

Le problème, c'est que la technologie magique (PIM) a une règle bizarre :
Pour que la magie fonctionne, les ingrédients doivent être rangés dans un rayonnage spécial (mémoire non-cacheable) que le cuisinier ne peut pas toucher directement avec ses mains. S'il essaie de les prendre sur son bureau (cache), la magie ne se déclenche pas et tout ralentit.

Le conflit :

• Pour la Préparation, il faut les ingrédients sur le bureau (rapide, réutilisable).
• Pour le Service, il faut les ingrédients dans le rayonnage spécial (pour activer la magie PIM).

La solution précédente (Le Gâchis) :
Jusqu'à présent, pour résoudre ce problème, les ingénieurs disaient : "Bon, on va acheter deux fois plus de rayonnages. On met une copie des ingrédients sur le bureau et une autre copie dans le rayonnage spécial."
C'est comme avoir deux bibliothèques complètes dans votre maison. Ça marche, mais ça prend trop de place (mémoire RAM) et ça coûte cher. Sur un téléphone, cela signifie qu'on ne peut pas faire tourner les gros modèles d'IA.

---

🦸‍♂️ La Solution : PIM-SHERPA (Le Héros de la Mémoire)

L'équipe de Samsung a créé PIM-SHERPA. C'est une méthode logicielle (pas de nouveau matériel) qui résout ce conflit sans avoir besoin de deux bibliothèques complètes. Ils utilisent deux astuces intelligentes :

1. L'Astuce du "Double Tampon" (DDB) : Le Convoyeur de Cuisine

Imaginez que le cuisinier a deux petits chariots à côté de lui.

• Pendant qu'il prépare le plat actuel sur le chariot A, un assistant (le logiciel) va chercher les ingrédients du prochain plat dans le rayonnage spécial et les place sur le chariot B.
• Dès qu'il finit le plat A, il saute sur le chariot B, et l'assistant va chercher les ingrédients du plat suivant sur le chariot A.
• Le résultat : Le cuisinier ne s'arrête jamais. Le temps de chercher les ingrédients est "caché" derrière le temps de cuisiner. On n'a besoin que d'un tout petit espace de stockage temporaire, pas d'une deuxième bibliothèque entière.

2. L'Astuce du "Remplissage à la Volée" (OWR) : Le Chef qui S'adapte

Parfois, le plat est si gros (une très longue conversation) que le temps de cuisiner est beaucoup plus long que le temps de chercher les ingrédients.

• Dans ce cas, le cuisinier prend simplement un seul chariot. Il va chercher les ingrédients, les arrange sur le chariot, cuisine, puis recommence.
• Comme le temps de cuisine est très long, le temps perdu à chercher les ingrédients devient négligeable (comme attendre 10 secondes pour faire cuire un gâteau de 2 heures).
• C'est plus simple à gérer et ne demande presque pas d'espace supplémentaire.

---

🎯 Pourquoi c'est génial ? (Les Résultats)

Grâce à PIM-SHERPA, voici ce qui change pour vous :

• Moins de place perdue : Au lieu de devoir doubler la mémoire de votre téléphone (ce qui est impossible pour les gros modèles), on économise environ 48% d'espace. C'est comme si on vidait la moitié de votre placard pour y mettre plus de vêtements !
• Vitesse maintenue : Le cuisinier reste aussi rapide que s'il avait deux bibliothèques complètes.
• Première fois dans l'histoire : C'est la première fois qu'on résout ce problème spécifique (le conflit entre le bureau et le rayonnage spécial) sur des systèmes réels de produits, sans avoir à changer le matériel du téléphone.

En résumé

PIM-SHERPA, c'est comme un chef d'orchestre très organisé qui sait exactement quand faire entrer les musiciens (les données) sur scène (la mémoire cache) et quand les faire sortir, sans avoir besoin de construire une deuxième salle de concert. Cela permet de faire tourner des intelligences artificielles très puissantes directement sur votre téléphone, rapidement et sans saturer sa mémoire.

Résumé technique

Titre

PIM-SHERPA : Méthode logicielle pour l'inférence LLM sur appareil en résolvant les incohérences d'attributs mémoire et de mise en page PIM.

1. Problématique

Le déploiement de modèles de langage de grande taille (LLM) sur des appareils mobiles et périphériques (Edge) est en pleine expansion. L'inférence LLM se compose de deux phases distinctes :

1. Phase de préremplissage (Prefill) : Traitement intensif en calcul (GEMM), nécessitant une réutilisation élevée des poids.
2. Phase de décodage (Decode) : Traitement intensif en bande passante mémoire (GEMV), où la mémoire Processing-in-Memory (PIM), comme LPDDR-PIM, offre un avantage théorique majeur (jusqu'à 8x de bande passante effective).

Cependant, l'application du PIM sur des systèmes réels rencontre deux obstacles critiques non résolus par les travaux précédents :

• Incohérence des attributs mémoire :
  • La phase Prefill bénéficie d'une zone cacheable pour maximiser la réutilisation des données.
  • La phase Decode (PIM) nécessite une zone non cacheable. Si les poids sont en cache, les requêtes DRAM ne parviennent pas au contrôleur mémoire, empêchant le déclenchement de l'exécution PIM.
• Incohérence de la mise en page des poids (Layout) :
  • Le processeur hôte (CPU/GPU) préfère une mise en page contiguë et "hôte-friendly" (intercalée sur les banques/channels).
  • Le PIM préfère une mise en page "PIM-aware" où les lignes complètes de la matrice résident dans une seule banque DRAM pour maximiser l'utilisation SIMD locale.

Les solutions existantes (comme HBM-PIM) contournent ces problèmes par la duplication des poids (une copie pour chaque phase), ce qui double l'empreinte mémoire et rend le déploiement impossible sur des appareils aux ressources limitées (ex: smartphones). D'autres approches (FACIL) nécessitent des modifications matérielles du contrôleur mémoire.

2. Méthodologie : PIM-SHERPA

PIM-SHERPA est une méthode 100% logicielle conçue pour résoudre ces incohérences sans modifier le matériel, en utilisant de petits tampons (buffers) DRAM cacheables et une copie mémoire spécifique.

L'approche repose sur deux techniques principales adaptées aux séquences d'entrée de plus en plus longues (tendance des LLM interactifs et RAG) :

A. Double Buffering DRAM (DDB)

• Principe : Utilise deux petits tampons DRAM dans la zone cacheable.
• Fonctionnement : Pendant que le tampon 0 exécute le calcul GEMM pour la couche actuelle, les poids de la couche suivante sont préchargés (prefetch) depuis la zone non cacheable (PIM-aware) vers le tampon 1.
• Optimisation : Les poids sont copiés et réorganisés (swizzled) en parallèle des calculs, masquant ainsi la latence de réorganisation.
• Mécanisme de copie : Utilise une Swizzled Memory Copy (SMC) qui transforme les poids d'une mise en page PIM-aware vers une mise en page hôte-friendly pendant le transfert vers le tampon cacheable.

B. Réorganisation en ligne avec copie mémoire mélangée (OWR)

• Principe : Conçu pour les très longues séquences d'entrée où le temps de calcul GEMM domine.
• Fonctionnement : Effectue la copie mémoire mélangée (SMC) de manière séquentielle juste avant le calcul GEMM de chaque couche, en utilisant un seul tampon cacheable.
• Avantage : Élimine la complexité de synchronisation et d'équilibrage de charge requise par le DDB, simplifiant l'implémentation. La latence fixe de la copie devient négligeable par rapport au temps de calcul croissant.

3. Contributions Clés

1. Identification du problème : Première étude à identifier et formaliser les incohérences d'attributs mémoire et de mise en page entre les phases Prefill et Decode dans les systèmes PIM.
2. Solutions logicielles : Proposition de deux méthodes (DDB et OWR) qui utilisent de petits tampons cacheables (équivalents à 1 ou 2 couches de poids) pour éviter la duplication complète des poids.
3. Preuve de concept : Validation sur une plateforme commerciale (Samsung Galaxy S24+ avec Exynos 2400) et émulation PIM de haute fidélité.

4. Résultats Expérimentaux

Les évaluations ont été réalisées sur les modèles Llama 3.2 (1B et 3B) en format BF16.

• Économie de capacité mémoire :
  • Par rapport à la duplication des poids (WD), PIM-SHERPA réduit l'utilisation DRAM de 47,8 % à 49,7 %.
  • Cela permet d'exécuter des modèles comme Llama 3.2 3B sur des smartphones (limités à 8-12 Go) qui seraient autrement impossibles à déployer avec PIM en raison du manque de mémoire.
• Performance (TTFT - Time To First Token) :
  • Pour des séquences d'entrée longues (SL ≥ 128), les performances de PIM-SHERPA (S-DDB et S-OWR) sont comparables, voire légèrement inférieures, à la solution théorique idéale (FACIL-O) qui suppose un contrôleur mémoire modifié.
  • S-DDB masque efficacement la latence de copie grâce au chevauchement calcul/transfert.
  • S-OWR rattrape les autres méthodes à mesure que la longueur de séquence augmente (ex: 16,7 TPS pour SL=192 sur le modèle 3B).
• Accélération globale :
  • L'utilisation de PIM avec PIM-SHERPA offre un speedup allant jusqu'à 3,3x par rapport à une inférence sans PIM (basée sur la DRAM standard) pour des séquences courtes à moyennes, et maintient des gains significatifs pour les longues séquences.

5. Signification et Impact

• Faisabilité commerciale : PIM-SHERPA démontre que l'inférence LLM efficace sur PIM est possible sur des appareils mobiles grand public sans nécessiter de modifications matérielles coûteuses ni de doublement de la mémoire.
• Universalité : La méthode est applicable non seulement aux CPU, mais aussi aux GPU et NPU, à condition qu'ils disposent d'une hiérarchie de cache ou de SRAM permettant l'implémentation de tampons doubles.
• Avenir du PIM : Ce travail lève un verrou majeur (l'incohérence d'attributs) qui freinait l'adoption du PIM pour les LLM, ouvrant la voie à des assistants IA plus performants, privés et réactifs directement sur l'appareil.

En résumé, PIM-SHERPA transforme une contrainte système complexe en un problème gérable par logiciel, permettant de tirer pleinement parti de la bande passante mémoire accrue du PIM pour les LLM sur mobile.