Résumé technique : Du volume à la valeur : Construction de mémoire alignée sur les préférences pour le RAG sur appareil

Énoncé du problème

L'émergence rapide d'agents IA personnels basés sur des modèles de langage de grande taille (LLM) nécessite un déploiement sur appareil pour garantir la confidentialité et la réactivité. Cependant, ces agents font face à un goulot d'étranglement critique : gérer la nature intrinsèquement personnelle et dépendante du contexte des requêtes du monde réel dans le cadre de budgets mémoire stricts.

Les approches traditionnelles de Génération Augmentée par Récupération (RAG) reposent souvent sur le stockage indiscriminé de toutes les données entrantes (par exemple, historiques de conversation, traces numériques, documents statiques) pour assurer une couverture de récupération. Sur les appareils personnels, cette approche est irréalisable en raison de la capacité de stockage limitée. De plus, les récupérateurs standards optimisent la similarité requête-texte plutôt que les préférences de l'utilisateur, conduisant à un contenu récupéré qui peut être factuellement correct mais non aligné avec les contraintes de l'utilisateur (par exemple, recommander des fruits de mer à un utilisateur allergique). Le défi central identifié est de déterminer quoi stocker en premier lieu pour créer une mémoire compacte et alignée sur les préférences, qui reste efficace sous des contraintes de ressources serrées.

Méthodologie : EPIC

Les auteurs proposent EPIC (Construction d'Index Alignée sur les Préférences Efficace), un cadre conçu pour construire une mémoire sur appareil compacte et alignée sur les préférences à partir de données brutes. EPIC déplace l'accent de « comment utiliser les informations personnelles au moment de la récupération » vers « quoi stocker » en intégrant les préférences de l'utilisateur tout au long du pipeline RAG via trois composants principaux :

1. Filtrage grossier basé sur la sémantique

Cette étape effectue un élagage à haut rappel du contenu non pertinent pour les préférences.

• Mécanisme : Les éléments de données ($x$) et les préférences de l'utilisateur ($P$) sont intégrés dans un espace sémantique partagé à l'aide d'un encodeur de phrases (par exemple, Contriever).
• Processus : Le système calcule la similarité cosinus entre les intégrations d'éléments et les intégrations de préférences. Les éléments sont conservés uniquement s'ils correspondent à au moins une préférence au-dessus d'un seuil $\tau$.
• Objectif : Rejeter rapidement les éléments clairement non pertinents sans nécessiter d'inférence coûteuse par modèle, réduisant ainsi considérablement l'ensemble des candidats pour les étapes suivantes.

2. Vérification fine alignée sur les préférences

Cette étape comble le fossé entre la similarité latente approximative et la pertinence sémantique explicite.

• Module de Décision (DM) : Un modèle de langage vérifie si un élément candidat s'aligne véritablement avec les préférences de l'utilisateur. Il produit une décision structurée (Conserver ou Rejeter) et une justification. Les éléments marqués Rejeter sont supprimés.
• Générateur d'Instructions (IG) : Pour les éléments marqués Conserver, l'IG synthétise des instructions ancrées conditionnées par les préférences. Ce sont des directives concises expliquant comment et quand le contenu doit être utilisé compte tenu de préférences spécifiques.
• Construction de la mémoire : La mémoire sur appareil est indexée non pas par du texte brut, mais par les intégrations de ces instructions générées. Chaque entrée de mémoire stocke l'intégration de l'instruction, le texte de l'instruction, l'élément brut associé et les métadonnées de préférence.

3. Pilotage de requête guidé par les préférences

Ce composant garantit que les requêtes de récupération sont alignées avec la mémoire conditionnée par les préférences.

• Mécanisme : Étant donné une requête utilisateur $q$, le système identifie la préférence la plus similaire $p^*$ dans l'espace d'intégration.
• Pilotage : L'intégration de la requête est décalée vers la direction de la préférence : $\tilde{q} = \text{normalize}(E(q) + E(p^*))$.
• Récupération : La requête pilotée $\tilde{q}$ est utilisée pour effectuer une recherche des plus proches voisins sur les intégrations d'instructions dans l'index FAISS, récupérant les k meilleures instructions qui pointent vers les éléments bruts ancrés et alignés sur les préférences.

Contributions clés

1. Changement de focalisation : L'article plaide pour un changement fondamental dans le RAG sur appareil, passant de l'optimisation des mécanismes de récupération à l'optimisation de la construction de mémoire (décider quoi stocker) dans le cadre de budgets serrés.
2. Cadre EPIC : Introduction d'un pipeline à trois étapes (Filtrage grossier, Vérification fine, Pilotage de requête) qui construit une mémoire centrée sur les instructions, réduisant le stockage aux seules données pertinentes pour les préférences.
3. Nouveaux benchmarks : Les auteurs introduisent trois nouveaux benchmarks pour évaluer la mémoire alignée sur les préférences au-delà de l'historique de conversation :
   • PrefWiki : Corpus de connaissances statiques (Wikipedia) pour des tâches de recommandation.
   • PrefRQ : Questions de débat subjectives.
   • PrefELI5 : Traces numériques bruyantes dérivées du web pour des tâches d'explication.
   • Ceux-ci sont construits sur le protocole PrefEval, qui utilise des juges basés sur des LLM pour évaluer la précision du suivi des préférences.
4. Validation sur appareil : Expériences menées sur des appareils périphériques (Jetson Orin Nano, MacBook Pro M4, Galaxy Z Flip 6) démontrant la faisabilité pratique du déploiement.

Résultats

EPIC a été évalué sur quatre benchmarks (PrefWiki, PrefRQ, PrefELI5, PrefEval) par rapport au RAG standard, au RAG enrichi par indexation (par exemple, RAPTOR, HippoRAG) et aux baselines de RAG conditionnées par les préférences.

• Efficacité mémoire : EPIC réduit l'utilisation de la mémoire d'indexation par un facteur de 2 404 par rapport à la baseline la plus performante (NV-Embed-v2). Dans les expériences sur appareil, EPIC maintient une empreinte mémoire inférieure à 1 Mo.
• Précision : EPIC améliore la précision du suivi des préférences de 20,17 points de pourcentage en moyenne par rapport à la meilleure baseline (NV-Embed-v2).
• Latence :
  • Récupération : Atteint une latence de récupération 33,33 fois inférieure à celle de la meilleure baseline. Dans le streaming sur appareil, la latence de récupération est de 29,35 ms/requête, avec une surcharge de pilotage de requête de seulement 0,18 ms.
  • Indexation : Réduit la latence d'indexation par rapport aux méthodes d'indexation augmentées par LLM en limitant le nombre d'éléments transmis au LLM pour la vérification fine.
• Robustesse : Dans les expériences de streaming avec dérive stochastique des préférences, EPIC maintient une haute précision et une utilisation mémoire constante, tandis que les baselines qui stockent toutes les données présentent une utilisation mémoire croissant linéairement et une performance en déclin.

Importance et revendications

L'article revendique que EPIC établit une base technique solide pour les agents IA personnels sur appareil préservant la confidentialité. En priorisant le stockage des informations pertinentes pour les préférences et les contraintes de l'utilisateur, EPIC permet aux agents de rester efficaces sous des budgets de ressources serrés sans compromettre la qualité de la personnalisation.

Les auteurs soulignent que leur approche se distingue de :

• Personnalisation paramétrique : EPIC utilise une construction de mémoire non paramétrique plutôt qu'un fine-tuning de modèle par utilisateur.
• Personnalisation côté mémoire : Contrairement aux méthodes qui supposent que les mémoires sont déjà disponibles, EPIC aborde l'étape de construction à partir de données brutes et hétérogènes.
• Compression d'index : Bien que les méthodes de compression (par exemple, la quantification vectorielle) réduisent la taille des index existants, EPIC réduit l'empreinte mémoire au niveau du contenu en décidant quels éléments stocker en premier lieu.

Ce travail suggère que la construction de mémoire alignée sur les préférences est une voie viable pour transférer le RAG personnalisé des environnements côté serveur vers des appareils personnels aux ressources limitées, équilibrant le compromis entre volume (tout stocker) et valeur (stocker ce qui compte).