Résumé Technique : Entropy Gate

Énoncé du Problème

Les pipelines de Grands Modèles de Langage (LLM) souffrent d'une « taxe sur les tokens » significative, où des budgets de tokens substantiels sont consommés par un contenu à faible teneur informationnelle. Les auteurs identent trois sources principales de cette inefficacité :

1. Amnésie du Contexte : Les agents relisent les mêmes fichiers de code source ou l'historique des conversations à travers les sessions.
2. Verbosité de Sortie : Les réponses par défaut des modèles contiennent souvent jusqu'à 75 % de tokens de « remplissage » (fluff).
3. Redondance Intra-Prompt : Instructions système répétitives, boilerplate et motifs structurels.

Ces facteurs gonflent la consommation de tokens de 50 à 500 fois par rapport au minimum de la théorie de l'information. Bien que les solutions existantes traitent des composants individuels (ex: contraintes de style de sortie, systèmes de mémoire externe ou élagage spécifique de prompts), il manque une couche de compression unifiée, mathématiquement fondée, opérant au niveau du token pour l'entrée et la sortie sans nécessiter de réentraînement du modèle.

Méthodologie : Entropy Gate

Le document présente Entropy Gate, un cadre de travail (framework) sans état (stateless) et agnostique au modèle, inspiré de l'extinction de l'entropie en mécanique statistique. Le concept central traite l'importance des tokens comme une « énergie d'information » ($E(t)$) et la compression comme un processus thermodynamique qui « gèle » (supprime) progressivement les tokens de faible énergie tout en préservant la fidélité sémantique.

1. Énergie d'Information Multi-Facteurs

Chaque token $t_i$ se voit attribuer un score d'énergie $E(t_i)$ composé de trois composantes additives :
$$E(t_i) = w_1 E_{stat}(t_i) + w_2 E_{struct}(t_i) + w_3 E_{pos}(t_i)$$

• Énergie Statistique ($E_{stat}$) : Dérivée d'un TF-IDF multi-blocs, attribuant une énergie élevée aux termes spécifiques au domaine concentrés dans peu de blocs et une énergie faible aux mots communs uniformes.
• Énergie Structurelle ($E_{struct}$) : Basée sur les rôles syntaxiques (ex: mots-clés, identifiants, opérateurs) identifiés via des motifs regex, avec des poids dérivés des hiérarchies d'importance des nœuds AST.
• Énergie Positionnelle ($E_{pos}$) : Une fonction de décroissance exponentielle ($e^{-i/h}$) qui attribue une importance accrue aux tokens apparaissant plus tôt dans le prompt.
• Énergie de Domaine Auto-Calibrée : Un composant novateur qui identifie les tokens critiques au domaine par leur proximité avec des verbes définissant des tâches universelles (ex: « audit », « revue », « debug »), éliminant ainsi le besoin de listes de termes de domaine pré-configurées.
• Amplification par Carré de l'Énergie : Le cadre applique une opération de mise au carré ($E \to E^2$) aux scores d'énergie. Les auteurs prouvent que cela amplifie le rapport signal/bruit, étirant la queue droite de la distribution pour mieux séparer les tokens à haute information du bruit.

2. Programme d'Extinction de l'Entropie (Quenching Schedule)

La compression est régie par un programme de température $T(\tau) = T_0 / (1 + \alpha\tau)$, où $\tau$ est l'étape d'extinction.

• Probabilité de Survie : Les tokens survivent selon une probabilité de Boltzmann $p_i = \exp(-E_i/kT)$.
• Modes :
  • Déterministe (Phase 1) : Conserve les $k$ meilleurs tokens ayant l'énergie la plus élevée.
  • Boltzmann (Phase 2) : Utilise une survie probabiliste, sélectionnant le meilleur résultat parmi plusieurs essais pour équilibrer l'exploration et la fidélité.
• Porte de Fidélité (Fidelity Gate) : Une condition de terminaison garantit que le processus s'arrête lorsque la Similarité Pondérée par l'Énergie (SE) entre le prompt original et le prompt compressé descend en dessous d'un seuil $\theta$. Cela garantit que le prompt compressé conserve au moins une fraction $\theta$ de l'énergie d'information originale.

3. Architecture et Pipeline

Entropy Gate fonctionne comme une couche de proxy HTTP compatible avec les points de terminaison (endpoints) OpenAI. Le pipeline consiste en :

1. Déduplication de Blocs : Identifie et supprime les blocs logiques répétés (ex: fichiers de code répétés) en utilisant le hachage SHA-256.
2. Estimation de l'Énergie : Calcule $E(t)$ pour tous les tokens.
3. Extinction (Quenching) : Supprime de manière itérative les tokens selon le programme de température.
4. Vérification de la Fidélité : Valide le prompt compressé par rapport au seuil $\theta$.
5. Extinction du Côté Sortie : Applique un programme d'extinction plus agressif aux réponses des modèles en amont, exploitant le constat que la brièveté améliore la précision.

Contributions Clés

Le papier présente huit contributions spécifiques :

1. Modèle d'Énergie Multi-Facteurs : Une décomposition de l'importance des tokens en composantes statistiques, structurelles et positionnelles, augmentée par un mécanisme d'énergie de domaine auto-calibré.
2. Programme d'Extinction et Modes de Survie : Un programme de refroidissement mathématiquement défini avec des modes de survie déterministes et de Boltzmann.
3. Lemme d'Amplification par Carré de l'Énergie : Une preuve que le carré des scores d'énergie augmente l'efficacité de la compression en amplifiant le rapport signal/bruit.
4. Porte de Fidélité : Une métrique de similarité pondérée par l'énergie qui garantit la préservation sémantique à chaque étape.
5. Extinction du Côté Sortie : Une méthode pour compresser les réponses des modèles, opérationnalisant le constat que les contraintes de brièveté améliorent la précision.
6. Limites Prouvables : Limites théoriques sur les taux de refroidissement optimaux, les ratios de compression réalisables et la relation avec la limite de la théorie de l'information ($CR \to 1 - I(P; T)/H(P)$).
7. Limite de Compression Mémoire Combinée : Un théorème prouvant que la mémoire externe (suppression du contenu répété des sessions) et l'extinction de l'entropie (suppression de la redondance intra-message) se composent multiplicativement, atteignant une réduction totale de tokens de 88 à 96 % dans les flux de travail agentiques.
8. Compression Structurelle Multi-Tours : Une stratégie pour les sessions agentiques qui protège les requêtes actives et les appels d'outils tout en compressant agressivement les anciens tours de contexte.

Résultats Expérimentaux

Le cadre a été évalué sur cinq catégories de prompts (revue de code, audit de sécurité, documentation, génération SQL, prompts système) en utilisant un Apple M4 Max.

• Ratio de Compression (CR) : La Phase 1 (heuristique) atteint une compression de 40 à 60 % sur les types de prompts tout en maintenant une Similarité Pondérée par l'Énergie ($SE$) > 0,80.
  • Revue de Code : CR de 53,1 %, SE de 0,809.
  • Audit de Sécurité : CR de 54,0 %, SE de 0,814.
  • La déduplication de contexte ajoute 50 à 70 % d'économies supplémentaires sur les blocs répétés.
• Fidélité : La métrique de similarité pondérée par l'énergie ($SE$) est fortement corrélée ($r=0,994$) avec la similarité cosinus des embeddings, validant son rôle de proxy fidèle pour la préservation sémantique sans nécessendre d'inférence de modèle supplémentaire.
• Performance des Benchmarks : Sur les benchmarks MMLU, HumanEval et GSM8K, le cadre a préservé la justesse des tâches sur 6/9 questions compressées avec un CR effectif de 24 % (incluant les passages directs). Les échecs étaient principalement limités à la notation mathématique LaTeX, ce que les auteurs notent comme étant résoluble via la tokenisation de sous-mots (subword) de la Phase 2.
• Latence et Surcharge : Le proxy ajoute environ 6 ms de latence (0,06–0,3 % du temps d'inférence typique) et nécessite environ 12 Mo de mémoire pour la Phase 1.
• Flux de Travail Agentiques : Dans les sessions agentiques multi-tours, la compression structurelle multi-tours a atteint un CR de 57 % sur les segments compressibles tout en préservant la causalité des appels d'outils et les requêtes actives.

Signification et Revendications

Le papier positionne Entropy Gate comme une étape fondamentale vers la résolution de la « taxe sur les tokens » dans les pipelines de LLM. Sa signification réside dans :

• Cadre Unifié : Contraな aux solutions ponctuelles, il fournit une couche unique gérant la redondance d'entrée, de sortie et de session.
• Garanties Théoriques : Il offre des limites de fidélité prouvables et démontre que la compression peut approcher la limite de la théorie de l'information lorsque l'information pertinente à la tâche devient parcimonieuse par rapport à l'entropie totale du prompt.
• Aucun Entraînement Requis : La Phase 1 opère immédiatement en utilisant une estimation heuristique de l'énergie, tandis que la Phase 2 utilise des modèles locaux standards, évitant le besoin de données d'entraînement spécialisées ou de fine-tuning.
• Scalabilité : Le cadre est sans état (stateless) et déployable comme un proxy HTTP standard, ce qui le rend compatible avec les infrastructures LLM existantes.

Les auteurs concluent que si la Phase 1 atteint une compression conservatrice (40–60 %), le cadre théorique suggère qu'avec l'énergie dérivée par le modèle (Phase 2) et la tokenisation de sous-mots, les ratios de compression pourraient approcher 10–100×, particulièrement lorsqu'ils sont combinés avec des systèmes de mémoire externe. Ce travail établit qu'une compression fondée sur des principes mathématiques est une nécessité architecturale pour le passage à l'échelle des pipelines de LLM.