Résumé Technique : Sentinel

Problématique

Les systèmes de Génération Augmentée par Récupération (RAG) sont fréquemment confrontés à des contextes récupérés longs, bruyants et redondants qui dépassent les limites d'entrée du modèle ou dégradent les performances. Les méthodes existantes de compression de contexte se divisent généralement en deux catégories :

1. Approches basées sur des métriques : Elles reposent sur une estimation heuristique de la pertinence (ex: similitude requête-contexte, perplexité) ou sur des statistiques d'attention agrégées. Bien que légères, elles échouent souvent à corréler directement avec la manière dont un Grand Modèle de Langage (LLM) utilise réellement le contexte lors de l'inférence.
2. Approches basées sur les données : Elles apprennent les décisions de compression via une supervision externe ou le feedback d'un générateur. Bien qu'efficaces, elles traitent la compression comme un problème d'optimisation externe au processus d'inférence du modèle, introduisant des coûts d'entraînement importants et liant la performance à des objectifs spécifiques.

De plus, des études mécanistes récentes indiquent que les LLM forment activement des comportements d'utilisation contextuelle conditionnés par la requête lors de l'inférence, pourtant les méthodes de compression basées sur l'attention précédentes traitent souvent les magnitudes d'attention brutes comme un proxy statique, ignorant la nature dynamique et dépendante du contexte des têtes d'attention.

Méthodologie : Sentinel

Les auteurs proposent Sentinel, un cadre de compression au niveau de la phrase, léger, qui reformule la compression de contexte comme un problème de décodage de l'utilisation contextuelle. Au lieu d'estimer une pertinence heuristique, Sentinel décode la manière dont un LLM gelé utilise le contexte récupéré lors de l'inférence en analysant les motifs d'attention par tête.

Composants Clés

1. Décodage de l'Utilisation Contextuelle :

   • Sentinel injecte une requête et un contexte récupéré dans un modèle proxy décodeur uniquement, compact et gelé (ex: Qwen-2.5-0.5B) en utilisant un prompt de type QA (Question-Réponse).
   • Il extrait les poids d'auto-attention de la dernière position du prompt à travers toutes les couches et têtes du transformer.
   • Les caractéristiques au niveau de la phrase sont construites en agrégeant et en normalisant les masses d'attention assignées aux jetons (tokens) au sein de chaque phrase, créant ainsi un vecteur de caractéristiques représentant le signal d'utilisation de la phrase.

2. Sondage Léger (Lightweight Probing) :

   • Un sondage linéaire (régression logistique) est entraîné sur ces vecteurs de caractéristiques de niveau phrase pour prédire un « score d'utilisation ».
   • Supervision Faible : Le sonde est entraîné sur des exemples de QA où le modèle ne réussit que si le contexte récupéré est fourni (exemples dépendants de la récupération). Des étiquettes positives sont assignées aux phrases contenant les bonnes réponses ou les faits de support (pour le raisonnement multi-étapes), tandis que des étiquettes négatives sont assignées aux autres phrases du même contexte.
   • Robustesse : Pour éviter le biais de position, l'ordre des phrases est mélangé pendant l'entraînement.

3. Compression au Moment de l'Inférence :

   • Sentinel effectue la compression en utilisant un seul passage direct non-autorégressif.
   • Le sonde entraîné assigne des scores d'utilisation aux phrases.
   • Un sous-ensemble de phrases les mieux classées est sélectionné sur la base d'un budget de jetons ou d'un ratio de compression, puis transmis au LLM en aval pour la génération de la réponse. Aucun entraînement de compression dédié ou scoring autorégressif n'est requis lors de l'inférence.

Contributions Clés

• Réinterprétation de la Compression : L'article redéfinit la compression de contexte comme le décodage des comportements d'utilisation contextuelle lors de l'inférence, plutôt que comme l'estimation de scores de pertinence statiques.
• Cadre Efficace : Sentinel réalise la compression en utilisant un seul passage direct d'un modèle proxy gelé, évitant ainsi le décodage itératif ou le scoring par jeton des méthodes basées sur la génération.
• Efficacité du Modèle Proxy Compact : Les auteurs démontrent que des signaux d'utilisation contextuelle efficaces sont accessibles même dans des modèles proxy compacts (0,5B de paramètres), leur permettant d'atteindre des performances de compression compétitives avec des méthodes construites sur des modèles de l'échelle 7B.
• Généralisation Cross-Linguale : Malgré un entraînement exclusivement sur des données de QA en anglais, le cadre se généralise efficacement aux benchmarks chinois et aux contextes hors domaine sans supervision supplémentaire.

Résultats Expérimentaux

Les auteurs ont évalué Sentinel sur le benchmark LongBench (sous-ensembles anglais et chinois) pour des tâches de QA à document unique, de QA multi-documents et de résumé conditionné par la requête.

• Performance vs Échelle : Sentinel utilisant un modèle proxy de 0,5B a atteint jusqu'à 5× de compression tout en obtenant des performances de QA compétitives avec des méthodes de compression basées sur des modèles de 7B. Dans certaines tâches filtrées, il a même surpassé des baselines métriques plus larges comme LLMLingua et Selective Context.
• Comparaison avec l'Attention Brute : Sentinel a systématiquement surpassé une baseline d'« Attention Brute » (qui agrège directement les magnitudes d'attention), suggérant que le décodage de motifs d'attention hétérogènes est supérieur au recours à la seule magnitude.
• Compression Agressive : Sous des budgets stricts de 2K jetons, Sentinel a maintenu sa stabilité et a souvent surpassé la performance du prompt original non compressé (qui moyenne >10K jetons), alors que les baselines d'attention brute se sont considérablement dégradées à des ratios de compression élevés.
• Comportement de Mise à l'Échelle (Scaling) : L'augmentation de la taille du modèle proxy (de 0,5B à 8B) n'a pas amélioré la qualité de la compression de manière constante. Les auteurs ont observé que la famille de modèles (ex: Qwen vs Mistral) importait plus que l'échelle, suggérant que les signaux d'utilisation émergent tôt dans les modèles ajustés par instructions.
• Efficacité : Sentinel a introduit une latence et un surcoût mémoire négligeables (74,6 ms pour 10k jetons) par rapport au prefilling standard, offrant une accélération de 300 à 500× par rapport aux méthodes de compression génératives.

Signification et Revendications

L'article affirme que Sentinel offre une alternative hautement efficace et performante aux méthodes de compression existantes en exploitant les mécanismes internes des LLM. Sa principale importance réside dans la démonstration que :

1. Les signaux d'utilisation contextuelle sont décodables : Les comportements spécifiques de la manière dont un LLM utilise le contexte pour répondre à des questions peuvent être extraits de modèles gelés via un sondage léger.
2. Des modèles compacts suffisent : Il n'est pas nécessaire d'utiliser des modèles massifs pour effectuer une compression de contexte efficace ; des modèles proxy compacts peuvent décoder efficacement ces signaux, permettant des gains d'efficacité significatifs.
3. Généralisation sans réentraînement : Les comportements d'utilisation décodés par Sentinel semblent robustes à travers les langues et les domaines, permettant un transfert zero-shot de l'entraînement en anglais vers le chinois et d'autres contextes.

Les auteurs reconnaissent des limites, notant que Sentinel est spécifiquement conçu pour la compression conditionnée par la requête et repose sur l'hypoth খে assumption que les comportements d'utilisation sont suffisamment reflétés dans la dynamique d'attention des modèles proxy gelés. Ils suggèrent que l'extension de cela à des contextes non liés à une requête (ex: complétion de code) et l'exploration de mécanismes de décodage plus riches au-delà du sondage linéaire sont des directions pour les travaux futurs.