FrugalPrompt: Reducing Contextual Overhead in Large Language Models via Token Attribution

1. Problématique : Le Surcoût Contextuel des LLM

Les grands modèles de langage (LLM) actuels, bien que performants, souffrent d'une inefficacité fondamentale liée à leur dépendance à des contextes d'entrée verbeux. Contrairement à la communication humaine, qui repose sur la laconie et la pragmatique inférentielle (permettant de reconstruire du sens à partir de signaux tégographiques), les LLM traitent souvent l'ensemble des tokens d'une requête avec une importance égale.

Ce phénomène génère trois problèmes majeurs :

• Redondance sémantique : Une grande partie des tokens (mots de liaison, articles, répétitions) apporte peu d'information nouvelle une fois le contexte local établi.
• Coûts économiques et écologiques : Le traitement de tokens inutiles augmente les coûts monétaires (API), l'empreinte carbone et la latence d'inférence.
• Limites de contexte : La longueur de contexte est une contrainte physique et computationnelle qui limite l'application des modèles.

L'objectif de l'article est de déterminer dans quelle mesure les LLM peuvent reconstruire le sens à partir d'indices pragmatiques suffisants, sans avoir besoin d'une explicitation linguistique complète, afin de réduire ces coûts sans sacrifier la performance.

2. Méthodologie : FRUGALPROMPT

Les auteurs proposent FRUGALPROMPT, un cadre de compression de prompts sans entraînement (training-free) qui filtre sélectivement les tokens peu importants en se basant sur leur attribution sémantique.

A. Attribution de Tokens (Saliency Scores)

Au lieu d'utiliser les poids d'attention bruts (souvent imparfaits pour mesurer l'importance réelle), la méthode utilise deux techniques d'attribution de tokens à l'état de l'art :

1. GlobEnc : Agrège les analyses couche par couche via le rollout d'attention et les normes vectorielles pour quantifier l'attribution globale.
2. DecompX : Propage les représentations de tokens décomposées localement à l'échelle globale, intégrant tous les composants du modèle (y compris les réseaux feed-forward non linéaires).

Ces méthodes sont appliquées via un encodeur pré-entraîné léger (un modèle BERT de 110M paramètres), évitant ainsi le besoin d'un modèle auxiliaire massif.

B. Processus de Frugalisation

Le pipeline fonctionne comme suit :

1. Calcul des scores : Pour une séquence d'entrée $T$, une fonction de scoring $\phi_\tau$ attribue un score de saillance $s_i$ à chaque token $t_i$.
2. Classement : Les tokens sont classés par ordre décroissant de leur score de saillance.
3. Filtrage Top-k : Seuls les $k\%$ premiers tokens (les plus saillants) sont conservés.
4. Restitution de l'ordre : Les tokens sélectionnés sont réindexés pour maintenir leur ordre original dans la séquence, préservant ainsi la cohérence syntaxique et temporelle, tout en éliminant les tokens non informatifs.

C. Fondements Théoriques

Les auteurs établissent des bornes théoriques sur l'effet de la suppression de tokens. Ils démontrent que la dégradation de performance (perte de fonction de perte) est bornée par la somme des scores de saillance des tokens supprimés et un terme d'interaction paire. Cela garantit la stabilité de l'approche : tant que les tokens supprimés ont une faible saillance, l'impact sur la performance est théoriquement contrôlé.

3. Contributions Clés

1. Stratégie de Frugalisation sans Entraînement : Une méthode nouvelle qui filtre les tokens basés sur les scores de saillance d'encodeurs pré-entraînés, sans nécessiter de fine-tuning du LLM cible.
2. Efficacité et Faible Surcharge : La méthode utilise un seul petit modèle (BERT 110M) pour générer les scores, offrant une surcharge paramétrique bien inférieure aux méthodes de compression existantes (qui utilisent souvent des modèles de paraphrase ou des compresseurs lourds).
3. Analyse des Compromis Performance-Coût : Une évaluation empirique rigoureuse montrant qu'une réduction de 20% des tokens (conserver 80%) préserve la performance pour la plupart des tâches et modèles, avec une surcharge négligeable.
4. Insights sur la Contamination des Tâches : Révélation que certaines tâches (comme le QCM) semblent tolérer une forte réduction de contexte, suggérant une contamination potentielle des benchmarks (les modèles répondant correctement même avec peu de contexte grâce à la mémorisation des données d'entraînement).

4. Résultats Expérimentaux

L'évaluation a été menée sur quatre tâches NLP (classification de sentiments, résumé, QCM de bon sens, raisonnement mathématique) et cinq modèles (Llama-3 8B/70B, GPT-3.5, Gemini 2.0, o3-mini).

• Performance par Tâche :
  • Classification et QCM : Très robustes. Une réduction à 80% ou même 60% des tokens entraîne une dégradation minime (souvent < 5%).
  • Résumé : Performance globalement préservée, bien que certaines métriques (comme ROUGE) montrent un déclin plus marqué selon le modèle.
  • Raisonnement Mathématique : C'est la tâche la plus sensible. La suppression de tokens (surtout en dessous de 60%) fait chuter drastiquement les performances (ex: pass@1 < 15% à 50% de rétention), car ces tâches dépendent de la chaîne symbolique séquentielle intacte.
• Comparaison des Méthodes d'Attribution :
  • GlobEnc surpasse généralement DecompX pour la classification et le résumé.
  • DecompX montre de meilleurs résultats pour les tâches de raisonnement, probablement grâce à sa capacité à capturer des contributions sémantiques plus fines via les couches non linéaires.
• Analyse de Coût :
  • Pour les modèles coûteux (ex: o3-mini), la réduction de tokens offre des économies significatives avec une perte de performance acceptable sur les tâches non critiques.
  • Pour les modèles plus petits ou moins chers, le gain économique est souvent annulé par la dégradation de performance.
• Benchmarks de Contamination :
  • L'expérience de rétention de tokens aléatoires ou des tokens "les moins importants" (bottom-k) montre que les modèles obtiennent encore de bons scores sur les tâches de classification/QCM. Cela suggère fortement que les modèles répondent à partir de la mémoire des données d'entraînement plutôt que d'une véritable compréhension du contexte restant.

5. Signification et Implications

Ce travail apporte une compréhension nuancée du comportement des LLM face au compromis entre efficacité et performance :

• Efficacité Pratique : Il démontre qu'il est possible de réduire considérablement les coûts d'inférence et l'empreinte carbone en éliminant la redondance linguistique, rendant les LLM plus accessibles aux environnements à ressources limitées.
• Limites de l'Évaluation : Il met en lumière le problème de la contamination des benchmarks. Si un modèle réussit une tâche avec seulement 50% du contexte, cela peut indiquer qu'il a mémorisé la réponse plutôt que de raisonner, ce qui remet en question la validité de certaines évaluations standard.
• Futur : Les auteurs suggèrent le développement de stratégies d'frugalisation adaptatives, ajustant dynamiquement la rétention de tokens en fonction de la complexité de la tâche et de la confiance du modèle.

En conclusion, FRUGALPROMPT offre une approche théoriquement fondée et empiriquement validée pour optimiser l'entrée des LLM, tout en servant d'avertissement sur les limites des évaluations actuelles face à la mémorisation des modèles.