Pixels for Programs? A Cross-Provider Case Study of Input-Token Accounting for Source Code as Text and Images

Technische Samenvatting: Pixels voor Programma's? Een Cross-Provider Casestudy van Input-Token Rekeningvoering voor Broncode als Tekst en Afbeeldingen

Probleemstelling
Lange contexten van broncode overschrijden vaak de tokenlimieten van taalmodellen, wat aanleiding geeft tot voorstellen om code te renderen als afbeeldingen voor vision-language modellen (VLM's). Terwijl recent onderzoek onderzoekt of modellen code-taken kunnen oplossen na deze transformatie, blijft een cruciale systeemvraag onbeantwoord: hoe tellen commerciële API-providers de resulterende verzoeken? Specifiek is het onduidelijk hoe de input-token rekeningvoering verandert wanneer code wordt verzonden als ruwe tekst versus compacte gerenderde afbeeldingen, hoe deze relatie schaalt met de bronlengte, en of "visuele compressie" een netto reductie in gerapporteerde tokens biedt over verschillende providers en model-aliassen.

Methodologie
De studie maakt gebruik van een reproduceerbaar, black-box meetprotocol om de input-token rekeningvoering te vergelijken tussen drie belangrijke providers: Anthropic, OpenAI en Google Vertex AI.

• Corpus: De dataset bestaat uit vijf versie-gepinde bronbestanden (Python, JavaScript, Rust, Go en Java) uit prominente open-source projecten. Deze bestanden zijn opgedeeld in negen geneste prefixes variërend van 20 tot 2.000 regels.
• Behandeling (Compacte Afbeelding): De afbeelding-arm past een tweestaps-transformatie toe:
  1. Indentatie-compressie: Inspringingen worden vervangen door compacte markers (bijv. > voor 4-spatiëring, ^N voor onregelmatige reeksen).
  2. Rendering: De getransformeerde tekst wordt gerenderd als PNG-pagina's.
• Experimenteel Ontwerp: Voor elke bronomvang en taal worden gepaarde verzoeken verzonden naar 15 beschikbare model-aliassen (4 Anthropic, 6 OpenAI, 5 Gemini). Beide armen bevatten een identieke instructie van één zin voor samenvatting ("Vat samen wat deze code doet in één zin").
• Metrieken: De primaire metriek is de ratio van de door de provider gerapporteerde afbeelding-inputtokens ($I$) ten opzichte van de tekst-inputtokens ($T$). De studie rapporteert gewogen geaggregeerde ratio's (het sommeren van alle tokens over de dataset) en grootte-gestratificeerde ratio's om break-even punten te identificeren.
• Restricties: De studie isoleert expliciet token-rekeningvoering van semantische getrouwheid, taaknauwkeurigheid, latentie, monetaire kosten of de efficiëntie van coding-agents. Het claimt niet dat afbeelding-tokens computationeel gelijkwaardig zijn aan tekst-tokens.

Belangrijkste Bijdragen

1. Reproduceerbaar Artefact: Een dataset van 1.350 succesvolle API-aanroepen en 6-75 volledige tekst/afbeelding-paren, inclusief ruwe gebruiksgegevens, validators en deterministische analyse-scripts.
2. Grootte-gestratificeerde Metingen: Empirisch bewijs dat token-reductie niet uniform is; het varieert significant per bronlengte en provider.
3. Modality Audit: Een gerichte investigatie die niet-monotoon gedrag in afbeelding-rekeningvoering onthult, specifelijk bij pagina-grenzen.
4. Validiteitsgrens: Een duidelijke afbakening tussen token-telling metrieken en informatiebehoud, om de verwarring tussen "minder tokens" en "betere prestaties" of "lagere kosten" te voorkomen.

Resultaten

• Geaggregeerde Reducties: Over de volledige benchmark ontvangen compacte afbeeldingen aanzienlijk minder gerapporteerde inputtokens dan ruwe tekst:
  • Anthropic: 0,135 ratio (86,5% reductie).
  • OpenAI: 0,194 ratio (80,6% reductie).
  • Gemini: 0,242 ratio (75,8% reductie).
• Break-Even Gedrag: De geaggregeerde ratio's verhullen cruciale verschillen in schaling:
  • Anthropic en OpenAI: Afbeelding-inputs ontvangen lagere token-aantallen dan tekst bij elke geteste omvang (20 tot 2.000 regels).
  • Gemini: Afbeeldingen veroorzaken een enorme overhead voor korte contexten. Bij 20 regels vereisen Gemini-afbeeldingen 6,95 keer meer tokens dan tekst. De afbeelding-aanpak wordt pas voordelig (het kruisen van de pariteit naar beneden) bij 200 regels.
• Model Aliassen: Binnen providers delen veel model-aliassen identieke rekeningvoering-signatures (bijv. alle zes de OpenAI-modellen in de studie gaven identieke geaggregeerde ratio's terug), wat suggereert dat ze gedeelde interne rekeningvoeringregels delen in plaats van onafhankelijke modelgedragingen.
• Niet-monotoniciteit: Een gerichte audit van Gemini onthulde dat gerapporteerde afbeelding-token-aantallen niet-monotoon kunnen veranderen bij pagina-grenzen. Bijvoorbeeld, het verhogen van de bron van 800 naar 1.200 regels (het toevoegen van een tweede pagina) resulteerde in een afname van de gerapporteerde afbeelding-tokens voor één model, wat de verwachting dat token-aantallen lineair schalen met de inhoud tegenspreekt.

Significantie en Claims
Het paper claimt dat hoewel compacte afbeelding-rendering de gerapporteerde input-tokens voor lange contexten drastisch kan verminderen, het voordeel zeer voorwaardelijk is:

1. Provider Specificiteit: Er is geen universeel voordeel van "visuele compressie". Providers zoals Gemini vertonen hoge vaste kosten waardoor afbeeldingen contraproductief zijn voor korte contexten.
2. Routing Implicaties: Een coding harness kan niet vertrouwen op een globale policy om "code als afbeeldingen te verzenden". In plaats daarvan moet de routing-logica per provider en bronomvang worden gekalibreerd, waarbij eventueel wordt teruggevallen op tekst voor korte contexten of wanneer pagina-grenzen discontinuïteiten introduceren.
3. Beperkingen van Token-aantallen: De studie benadrukt dat een reductie in gerapporteerde tokens niet impliceert dat er een gelijkwaardige informatieve inhoud, lagere monetaire kosten of minder compute tegenover staat. Indentatie-markers kunnen verkeerd worden gedecodeerd, en rasterisatie kan interpunctie of structuur obscureren.
4. Toekomstig Werk: De auteurs positioneren deze studie als een "meetoppervlak" waarop toekomstig onderzoek kan voortbouwen. Ze stellen dat de volgende noodzakelijke stap het kruisen van representatie met taakkwaliteit is (bijv. exacte transcriptie, defect lokalisatie) om te bepalen of de token-besparingen vertalen naar werkelijke programmeer-utiliteit.

Het paper concludeert dat compacte gerenderde code een levensvatbare strategie is voor token-rekeningvoering in specifieke regimes (lange contexten, specifieke providers), maar dat dit zorgvuldige, provider-specifieke kalibratie en verdere validatie met betrekking tot informatiegetrouwheid vereist.