Résumé Technique : OccamToken

Énoncé du Problème

Les modèles vision-langage (VLM) reposent sur de longues séquences de jetons visuels pour encoder les images, entraînant une surcharge computationnelle et mémoire significative lors de l'étape de préremplissage et du décodage autoregressif. Les méthodes existantes de compression de jetons visuels suivent principalement un paradigme de classement absolu : elles attribuent des scores d'importance aux jetons et conservent un sous-ensemble fixe du top-$K$. Les auteurs soutiennent que ce paradigme est fondamentalement fragile pour deux raisons :

1. Puits d'Attention : Les jetons à faible information (souvent des valeurs aberrantes avec des normes élevées) peuvent absorber une masse d'attention excessive, faussant le classement d'importance des jetons véritablement informatifs et comprimant la distribution des scores.
2. Inadéquation du Budget Statique : Une coupure fixe du top-$K$ ne peut pas s'adapter à la variation par échantillon des distributions de scores d'attention. Elle ne prend pas en compte la redondance de l'image ni les demandes d'évidence dépendantes de la requête, conservant souvent des jetons redondants dans des cas simples tout en éliminant des preuves critiques dans des cas complexes.

De plus, les méthodes adaptatives existantes nécessitent souvent un entraînement supplémentaire ou s'appuient sur des statistiques sans entraînement faiblement réactives qui ne capturent pas pleinement les besoins d'évidence conditionnés par la requête.

Méthodologie : OccamToken

Les auteurs proposent OccamToken, un cadre sans entraînement et adaptatif au budget qui remplace le classement absolu des jetons par un test d'évidence relative ancré sur un registre. L'idée centrale est que les jetons de registre (introduits dans des études récentes sur les transformateurs pour absorber les puits d'attention) absorbent naturellement les motifs d'attention à faible information, les rendant une référence stable et non discriminative pour identifier les preuves visuelles véritablement informatives.

Le cadre fonctionne en deux étapes :

1. Mécanisme Central : Comparaison Relative

Au lieu de demander « Ce jeton est-il dans le top-$K$ ? », OccamToken demande « Ce jeton fournit-il une preuve plus forte que le jeton de registre ? »
La règle d'élagage est définie comme suit :
$$S(x) = \{v \in V(x) \mid s_x(v) \ge \lambda \cdot s_x(r(x))\}$$
Où $r(x)$ est un jeton de référence dépendant de l'échantillon (le registre), $s_x$ est la fonction de notation, et $\lambda$ contrôle l'intensité de l'élagage. Cela permet au budget de jetons conservés de varier dynamiquement en fonction de la distribution des scores de l'entrée.

2. Pipeline d'Élagage en Deux Étapes

• Étape I : Élagage de la Redondance Adaptative à l'Image (AdapRP)

  • Emplacement : Sortie de l'encodeur de vision.
  • Mécanisme : Un jeton de registre au moment du test est construit en redirigeant les activations de « puits » à haute norme provenant de neurones épars vers un jeton de registre dédié. Le jeton [CLS] (ou un schéma de notation mutuelle pour les architectures sans [CLS]) note conjointement tous les jetons visuels et le jeton de registre.
  • Action : Les jetons notés en dessous de $\lambda_1 \cdot s_1(r)$ sont élagués. Cela élimine la redondance au niveau de l'image avant que les jetons n'entrent dans le Grand Modèle de Langage (LLM), créant un budget intermédiaire adaptatif à l'image.

• Étape II : Élagage de la Pertinence Ancré sur le Registre (RegRP)

  • Emplacement : À l'intérieur du Modèle de Langage (à une couche de décodeur spécifique, par exemple la couche 11).
  • Mécanisme : Les jetons de texte agissent comme des évaluateurs conditionnés par la requête. Pour chaque jeton visuel survivant, l'attention maximale reçue des jetons de texte est utilisée comme son score (pour capturer la pertinence localisée). L'attention moyenne reçue par le jeton de registre de la part du texte sert de seuil dynamique.
  • Action : Les jetons notés en dessous de $\lambda_2 \cdot s_2(r)$ sont supprimés. Cela produit un budget final adaptatif à la requête, où la même image peut générer différents nombres de jetons en fonction de la question spécifique posée.

Contributions Clés

1. Seuillage Dynamique Ancré sur le Registre : Un mécanisme sans entraînement qui lie l'atténuation des puits d'attention à l'élagage adaptatif. En insérant un jeton de registre dans la compétition d'attention, il absorbe la distorsion induite par les puits et sert de seuil adaptatif à la distribution.
2. Cadre OccamToken : Un système d'élagage en deux étapes, plug-and-play, qui effectue une élimination de la redondance au niveau de l'image suivie d'une sélection de pertinence au niveau de la requête, permettant une allocation adaptative des jetons sans prédicteurs appris ni données d'entraînement supplémentaires.
3. Validation Empirique : Des expériences extensives démontrent qu'OccamToken surpasse les références de l'état de l'art, sans entraînement et avec entraînement, sur diverses architectures (LLaVA-v1.5, LLaVA-NeXT, Qwen3-VL) et benchmarks (GQA, POPE, MME, etc.).

Résultats Expérimentaux

• Compromis Précision-Efficacité : OccamToken améliore constamment le compromis par rapport aux budgets fixes et aux autres méthodes adaptatives.
• Compression Extrême : Sur LLaVA-NeXT (traitant 2 880 jetons visuels), OccamToken réduit le nombre de jetons à environ 40 jetons (un régime de 1,4 % de rétention) tout en préservant plus de 93 % de la précision originale avec tous les jetons.
• Robustesse : La méthode maintient une précision relative élevée (par exemple, 97,2 % sur LLaVA-v1.5 avec 32 jetons) et surpasse significativement les références à budget fixe dans les régimes à faible budget où la préservation des preuves pertinentes pour la tâche est critique.
• Efficacité : En réduisant la longueur de la séquence visuelle, OccamToken diminue considérablement l'utilisation de la mémoire KV-cache (par exemple, passant de 313 Mo à 47 Mo sur LLaVA-v1.5) et la latence de préremplissage, bien qu'il introduise une surcharge mineure pour la logique de notation adaptative.
• Généralisation : La méthode se transfère efficacement à des architectures non-LLaVA (par exemple, Qwen3-VL, Mini-Gemini) et aux VLM vidéo, démontrant que le principe ancré sur le registre n'est pas lié à des interfaces de jetons spécifiques.

Signification et Revendications

L'article revendique que l'élagage adaptatif basé sur la référence est une direction simple mais efficace pour l'inférence multimodale évolutive. En passant du classement absolu à la comparaison relative par rapport à une ancre de registre, OccamToken adresse les déficiences structurelles des puits d'attention et des budgets statiques sans nécessiter de réentraînement du modèle. Les auteurs soulignent que cette approche permet une compression stable des jetons visuels, même dans des régimes extrêmes (1,4 % de rétention), tout en préservant les preuves nécessaires au raisonnement multimodal.

Le travail positionne OccamToken non pas simplement comme un outil de réduction de latence, mais comme une solution pratique pour équilibrer précision et efficacité, en particulier dans des scénarios de déploiement contraints par les ressources où la préservation des preuves visuelles critiques est primordiale. Les auteurs reconnaissent les limites concernant la dépendance à la construction de jetons de registre fiables au moment du test pour des backbones spécifiques basés sur Transformer, suggérant que des travaux futurs pourraient étendre cela à des architectures multimodales plus larges.