Résumé technique : CAVEWOMAN – Comment les grands modèles de langage se comportent sous une compression linguistique des entrées et des sorties

Énoncé du problème

Les coûts d'inférence pour les grands modèles de langage (LLM) évoluent en fonction du nombre de jetons (tokens) d'entrée et de sortie, les jetons de sortie étant généralement facturés 4 à 8 fois plus cher que les jetons d'entrée. Bien que des méthodes de compression existent pour réduire soit le prompt (entrée), soit la réponse (sortie), elles sont traditionnellement évaluées de manière isolée en utilisant une métrique unique : la précision de la tâche à un nombre de jetons réduit.

Cet article identifie deux failles critiques dans les protocoles d'évaluation existants :

1. Échec de la mesure du coût réalisé : Un prompt plus court ne réduit pas nécessairement le coût total d'inférence si le modèle compense par la génération d'une réponse plus longue.
2. Effondrement binaire de la précision : Les métriques de précision standard réduisent les générations à des résultats binaires, ne parvenant pas à distinguer une réponse compressée qui s'aligne sur le raisonnement non contraint du modèle d'une réponse qui diverge de celui-ci tout en restant « correcte ».

Méthodologie : Le protocole CAVEWOMAN

Les auteurs introduisent CAVEWOMAN, un protocole d'évaluation à deux canaux conçu pour scorer chaque génération selon trois axes : la précision de la tâche, le coût réalisé par élément, et l'accord avec le texte de référence par rapport à la propre génération non contrainte du modèle.

Conception expérimentale

• Modèles : Huit modèles ont été évalués, incluant des modèles à poids ouverts (Qwen2.5-VL-7B, Qwen3.5-9B, DeepSeek-R1-Distill-Qwen-7B, Gemma-4-E4B) et des modèles API (GPT-4o, GPT-5.4, Claude Haiku 4.5, Claude Sonnet 4.6).
• Jeux de données : Cinq benchmarks couvrant quatre types de tâches : GSM8K (mathématiques), BoolQ (booléen), ARC-Easy (QCM scientifiques), CommonsenseQA (QCM de bon sens) et MMLU-STEM (QCM STEM).
• Niveaux de compression : Cinq niveaux de réduction linguistique ($L_0$ à $L_4$) ont été appliqués à l'aide d'un filtre de catégories grammaticales (POS) déterministe :
  • $L_0$ : Référence non contrainte.
  • $L_1$ : Télégraphique (supprime les mots de classe fermée comme les déterminants, prépositions, conjonctions).
  • $L_2$ : Mots-clés uniquement (noms, verbes, nombres cardinaux).
  • $L_3$ : Squelette de groupes nominaux (noms et nombres cardinaux).
  • $L_4$ : Budget de 15 jetons.
• Deux conditions :
  • Condition A (Compression de l'entrée) : Le prompt de l'utilisateur est filtré via le filtre POS avant que le modèle ne le voie.
  • Condition B (Contrainte de sortie) : Le prompt reste intact, mais le prompt système ordonne au modèle de générer une réponse dans le registre réduit correspondant.

Métriques d'évaluation

1. Précision de la tâche : Réponses extraites par regex comparées à la vérité de terrain (ground truth).
2. Coût réalisé : Calculé comme $C = n_{in} \cdot p_{in} + n_{out} \cdot p_{out}$, mesurant le coût réel en jetons encouru.
3. Accord avec le texte de référence : Mesuré via l'implication de l'inférence de langage naturel (NLI) bidirectionnelle par rapport à la génération non contrainte ($L_0$) du modèle sur le même élément. Ceci est complété par 11 mesures sémantiques complémentaires.
4. Table de dissociation : Une matrice 2x2 croisant la justesse de la tâche avec l'accord avec le texte de référence pour identifier les cas où les réponses sont correctes mais sémantiquement divergentes de la base non contrainte (Cellule C2).

Principaux résultats

1. Asymétrie de coût entre les canaux

• Compression de la sortie (Condition B) : Réduit avec succès le coût réalisé sur la plupart des modèles API (réduction de 1,4 à 2,4× par modèle, jusqu'à 3× dans le meilleur des cas) et sur les quatre modèles à poids ouverts. Cela s'explique par le fait que la contrainte limite directement les jetons de sortie, qui sont les plus coûteux.
• Compression de l'entrée (Condition A) : Résulte en un « échec total » (strict lose-lose). Elle augmente le coût net (environ 1,15× en moyenne, jusqu'à 1,8× sur certains jeux de données, et 2,7× sous compression profonde) car les modèles compensent le prompt appauvri en générant des réponses plus longues. Puisque les jetons de sortie sont plus chers, les économies sur les jetons d'entrée sont supplantées par l'expansion du coût de sortie.
• Mécanisme : La compression d'entrée déclenche une « expansion de sortie compensatoire », où le modèle tente de reconstruire le contexte manquant, entraînant des coûts totaux plus élevés malgré l'effondrement de la précision lors des compressions profondes.

2. Découplage de la précision et de l'accord avec le texte de référence

Sous compression de sortie, une divergence significative apparaît entre la justesse de la tâche et la trace de raisonnement interne du modèle :

• Divergence de surface textuelle : Sur les modèles de non-raisonnement, 51,9 % des générations au niveau télégraphique ($L_1$) sont correctes, mais leur texte de surface n'implique plus la génération non contrainte ($L_0$) du modèle.
• Robustesse : Cette divergence persiste même en contrôlant la longueur (re-scoring des générations $L_0$ tronquées pour correspondre à la longueur de $L_1$) et se maintient à travers de multiples métriques sémantiques et juges.
• Interprétation : Le modèle peut parvenir à la bonne réponse via un chemin de raisonnement ou une formulation de surface différente lorsqu'il est contraint, ce qui signifie que la « justesse » de la réponse ne garantit pas la préservation de la trace de raisonnement originale.

3. Robustesse variable selon les modèles

• La robustesse à la compression de sortie (le ratio de la précision sous contrainte de sortie par rapport à la précision sous contrainte d'entrée) varie considérablement selon les modèles (plage de 1,5× à 3,7×).
• Cette robustesse n'est pas prédite par le nombre de paramètres ou la précision de la base non contrainte. Par exemple, le modèle API le plus précis (GPT-5.4) était parmi les moins robustes aux contraintes de sortie, tandis qu'un modèle à poids ouverts de 7B (Gemma-4-E4B) a montré la plus grande robustesse.

Signification et revendications

L'article soutient qu'une évaluation à axe unique de la compression est sous-déterminée. Les auteurs affirment que :

1. Le coût ne peut être déduit de la réduction du prompt : Le coût réalisé dépend de l'interaction entre la réduction d'entrée et l'expansion de sortie.
2. La précision est conditionnelle : La précision observée dépend de la fiabilité de l'extraction et de l'axe sémantique spécifique utilisé pour l'évaluation.
3. Implications de déploiement : Pour les déploiements ne consommant que la réponse finale, la compression de sortie est une stratégie viable d'économie de coûts. Cependant, pour les déploiements nécessitant des pistes d'audit ou une transparence du raisonnement (où le texte généré lui-même est consommé), la compression de sortie introduit un risque important de divergence sémantique par rapport au raisonnement non contraint du modèle.
4. Protocole d'évaluation : Les candidats au déploiement contraint devraient être classés en fonction de leur performance au niveau de contrainte spécifique auquel ils seront confrontés, plutôt que sur leur performance de base non contrainte.

L'étude conclut que la compression de l'inférence des LLM est un problème à deux canaux où la compression d'entrée et de sortie produisent des résultats économiques et sémantiques fondamentalement différents, nécessitant des protocoles d'évaluation multi-métriques comme CAVEWOMAN.