Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

Résumé technique : Des pixels pour des programmes ? Une étude de cas multi-fournisseurs sur la comptabilité des jetons d'entrée pour le code source sous forme de texte et d'images

Énoncé du problème
Les contextes de code source longs dépassent souvent les limites de jetons (tokens) des modèles de langage, ce qui motive les propositions de rendre le code sous forme d'images pour les modèles de langage-vision (VLM). Bien que des recherches récentes étudient si les modèles peuvent résoudre des tâches de codage après cette transformation, une question systémique critique reste sans réponse : comment les fournisseurs d'API commerciaux comptabilisent-ils les requêtes résultantes ? Plus précisément, il n'est pas clair comment la comptabilité des jetons d'entrée change lorsque le code est transmis sous forme de texte brut par rapport à des images rendues compactes, comment cette relation évolue avec la longueur de la source, et si la « compression visuelle » offre une réduction nette des jetons rapportés à travers différents fournisseurs et alias de modèles.

Méthodologie
L'étude utilise un protocole de mesure en boîte noire reproductible pour comparer la comptabilité des jetons d'entrée entre trois principaux fournisseurs : Anthropic, OpenAI et Google Vertex AI.

• Corpus : Le jeu de données consiste en cinq fichiers sources à version figée (Python, JavaScript, Rust, Go et Java) provenant de projets open-source de premier plan. Ces fichiers sont découpés en neuf préfixes imbriqués allant de 20 à 2 000 lignes.
• Traitement (Image compacte) : Le bras d'image applique une transformation en deux étapes :
  1. Compression de l'indentation : Les espaces de tête sont remplacés par des marqueurs compacts (par exemple, > pour les indentations de 4 espaces, ^N pour les séquences irrégulières).
  2. Rendu : Le texte transformé est rendu en pages PNG.
• Conception expérimentale : Pour chaque taille de source et chaque langage, des requêtes appariées sont envoyées à 15 alias de modèles disponibles (4 Anthropic, 6 OpenAI, 5 Gemini). Les deux bras incluent une instruction de résumé identique d'une phrase (« Résumez ce que fait ce code en une phrase »).
• Métriques : La métrique principale est le ratio entre les jetons d'entrée d'image rapportés par le fournisseur ($I$) et les jetons d'entrée de texte ($T$). L'étude rapporte des ratios agrégés pondérés (somme de tous les jetons à travers le jeu de données) et des ratios stratifiés par taille pour identifier les points de bascule.
• Contraintes : L'étude isole explicitement la comptabilité des jetons de la fidélité sémantique, de la précision des tâches, de la latence, du coût monétaire ou de l'efficacité des agents de codage. Elle ne prétend pas que les jetons d'image sont computationnellement équivalents aux jetons de texte.

Contributions clés

1. Artéfact reproductible : Un jeu de données de 1 350 appels d'API réussis et 675 paires texte/image complètes, incluant les enregistrements d'utilisation bruts, les validateurs et les scripts d'analyse déterministes.
2. Mesures stratifiées par taille : Preuve empirique montrant que la réduction de jetons n'est pas uniforme ; elle varie considérablement selon la longueur de la source et le fournisseur.
3. Audit de modalité : Une investigation ciblée révélant un comportement non monotone dans la comptabilité des images, spécifiquement aux limites de pages.
4. Limite de validité : Une démarcation claire entre les métriques de comptage de jetons et la préservation de l'information, évitant la confusion entre « moins de jetons » et « meilleure performance » ou « coût inférieur ».

Résultats

• Réductions agrégées : Sur l'ensemble du benchmark, les images compactes reçoivent nettement moins de jetons d'entrée rapportés que le texte brut :
  • Anthropic : Ratio de 0,135 (réduction de 86,5 %).
  • OpenAI : Ratio de 0,194 (réduction de 80,6 %).
  • Gemini : Ratio de 0,242 (réduction de 75,8 %).
• Comportement de bascule : Les ratios agrégés masquent des différences critiques d'échelle :
  • Anthropic et OpenAI : Les entrées d'image reçoivent des comptes de jetons inférieurs au texte pour chaque taille testée (de 20 à 2 000 lignes).
  • Gemini : Les images engendrent un surcoût massif pour les contextes courts. À 20 lignes, les images Gemini nécessitent 6,95 fois plus de jetons que le texte. L'approche par image ne devient avantageuse (passant sous la parité) qu'à partir de 200 lignes.
• Alias de modèles : Au sein des fournisseurs, de nombreux alias de modèles partagent des signatures de comptabilité identiques (par exemple, les six modèles OpenAI de l'étude ont renvoyé des ratios agrégés identiques), suggérant des règles de comptabilité internes partagées plutôt que des comportements de modèles indépendants.
• Non-monotonie : Un audit ciblé de Gemini a révélé que les comptes de jetons d'image rapportés peuvent changer de manière non monotone aux limites de pages. Par exemple, augmenter la source de 800 à 1 200 lignes (ajoutant une seconde page) a entraîné une diminution des jetons d'image rapportés pour un modèle, contredisant l'attente d'une progression linéaire des comptes de jetons avec le contenu.

Signification et affirmations
L'article affirme que bien que le rendu d'image compact puisse réduire considérablement les jetons d'entrée rapportés pour les contextes longs, l'avantage est hautement conditionnel :

1. Spécificité du fournisseur : Il n'existe pas d'avantage universel de « compression visuelle ». Les fournisseurs comme Gemini présentent des coûts fixes élevés qui rendent les images contre-productives pour les contextes courts.
2. Implications de routage : Une structure de codage ne peut pas se reposer sur une politique globale de type « envoyer le code sous forme d'images ». Au lieu de cela, la logique de routage doit être calibrée par fournisseur et par taille de source, pouvant revenir au texte pour les contextes courts ou lorsque les limites de pages introduisent des discontinuités.
3. Limites des comptes de jetons : L'étude souligne qu'une réduction des jetons rapportés n'implique pas un contenu informationnel équivalent, un coût monétaire moindre ou une puissance de calcul réduite. Les marqueurs d'indentation peuvent être mal décodés, et la rastérisation peut masquer la ponctuation ou la structure.
4. Travaux futurs : Les auteurs positionnent cette étude comme une « surface de mesure » sur laquelle de futures recherches pourront s'appuyer. Ils soutiennent que la prochaine étape nécessaire est de croiser la représentation avec la qualité des tâches (par exemple, transcription exacte, localisation de défauts) afin de déterminer si les économies de jetons se traduisent par une utilité réelle pour le codage.

L'article conclut que le code rendu de manière compacte est une stratégie viable pour la comptabilité des jetons dans des régimes spécifiques (contextes longs, fournisseurs spécifiques), mais qu'il nécessite un calibrage prudent et spécifique à chaque fournisseur ainsi qu'une validation supplémentaire concernant la fidélité de l'information.